Comment vérifier si un mot est un mot anglais avec Python ?

Question

Je veux vérifier dans un programme Python si un mot est dans le dictionnaire anglais.

Je pense que l'interface wordnet de nltk pourrait être la solution, mais je n'ai aucune idée de comment l'utiliser pour une tâche aussi simple.

def is_english_word(word):
    pass # how to I implement is_english_word?

is_english_word(token.lower())

À l'avenir, je pourrais vouloir vérifier si la forme singulière d'un mot se trouve dans le dictionnaire (par exemple, propriétés -> propriété -> mot anglais). Comment pourrais-je réaliser cela ?

Answer 1

Pour plus de puissance et de flexibilité, utilisez une bibliothèque de correction orthographique dédiée comme PyEnchant . Il y a un tutoriel ou vous pouvez vous plonger directement dedans :

>>> import enchant
>>> d = enchant.Dict("en_US")
>>> d.check("Hello")
True
>>> d.check("Helo")
False
>>> d.suggest("Helo")
['He lo', 'He-lo', 'Hello', 'Helot', 'Help', 'Halo', 'Hell', 'Held', 'Helm', 'Hero', "He'll"]
>>>

PyEnchant est livré avec quelques dictionnaires (en_GB, en_US, de_DE, fr_FR), mais vous pouvez utiliser n'importe lequel des dictionnaires suivants Ceux d'OpenOffice si vous voulez plus de langues.

Il semble exister une bibliothèque de pluralisation appelée inflect mais je ne sais pas si c'est bon.

Answer 2

Il ne fonctionnera pas bien avec WordNet, car WordNet ne contient pas tous les mots anglais. Une autre possibilité basée sur NLTK sans enchantement est le corpus de mots de NLTK

>>> from nltk.corpus import words
>>> "would" in words.words()
True
>>> "could" in words.words()
True
>>> "should" in words.words()
True
>>> "I" in words.words()
True
>>> "you" in words.words()
True

Answer 3

Utilisation de NLTK :

from nltk.corpus import wordnet

if not wordnet.synsets(word_to_test):
  #Not an English Word
else:
  #English Word

Vous devez vous référer à cet article si vous avez des difficultés à installer wordnet ou si vous voulez essayer d'autres approches.

Answer 4

Utiliser un jeu pour stocker la liste de mots parce que les rechercher sera plus rapide :

with open("english_words.txt") as word_file:
    english_words = set(word.strip().lower() for word in word_file)

def is_english_word(word):
    return word.lower() in english_words

print is_english_word("ham")  # should be true if you have a good english_words.txt

Pour répondre à la deuxième partie de la question, les pluriels seraient déjà dans une bonne liste de mots, mais si vous vouliez spécifiquement les exclure de la liste pour une raison quelconque, vous pourriez effectivement écrire une fonction pour le faire. Mais les règles de pluralisation de l'anglais sont suffisamment compliquées pour que je commence par inclure les pluriels dans la liste de mots.

Quant à savoir où trouver des listes de mots anglais, j'en ai trouvé plusieurs en tapant simplement sur Google "English word list". En voici une : http://www.sil.org/linguistics/wordlists/english/wordlist/wordsEn.txt Vous pouvez chercher sur Google l'anglais britannique ou américain si vous voulez spécifiquement l'un de ces dialectes.

Answer 5

Pour une approche de web sémantique, vous pourriez exécuter un Requête sparql contre WordNet au format RDF . En gros, il suffit d'utiliser le module urllib pour lancer une requête GET et renvoyer les résultats au format JSON, à analyser avec le module python 'json'. Si ce n'est pas un mot anglais, vous n'obtiendrez aucun résultat.

Comme autre idée, vous pourriez interroger L'API du Wiktionnaire .