Comment faire un dédoublement de mot ou une lemmatisation ?

Question

J'ai essayé PorterStemmer et Snowball mais les deux ne fonctionnent pas sur tous les mots, il en manque certains très courants.

Mes mots d'essai sont : " chats courir courir cactus cactus cactus communauté communautés communautés ", et les deux obtiennent moins de la moitié de la vérité.

Voir aussi :

• Algorithme d'étymologie qui produit de vrais mots
• Stemming - exemples de code ou projets open source ?

Answer 1

Si vous connaissez Python, le Boîte à outils en langage naturel (NLTK) possède un lemmatiseur très puissant qui fait usage de WordNet .

Notez que si vous utilisez ce lemmatiseur pour la première fois, vous devez télécharger le corpus avant de l'utiliser. Ceci peut être fait par :

>>> import nltk
>>> nltk.download('wordnet')

Vous ne devez le faire qu'une seule fois. En supposant que vous avez maintenant téléchargé le corpus, cela fonctionne comme suit :

>>> from nltk.stem.wordnet import WordNetLemmatizer
>>> lmtzr = WordNetLemmatizer()
>>> lmtzr.lemmatize('cars')
'car'
>>> lmtzr.lemmatize('feet')
'foot'
>>> lmtzr.lemmatize('people')
'people'
>>> lmtzr.lemmatize('fantasized','v')
'fantasize'

Il existe d'autres lemmatiseurs dans la gamme module nltk.stem mais je ne les ai pas essayés moi-même.

Answer 2

J'utilise stanford nlp pour effectuer la lemmatisation. J'ai été confronté à un problème similaire ces derniers jours. Je remercie stackoverflow de m'avoir aidé à résoudre ce problème.

import java.util.*; 
import edu.stanford.nlp.pipeline.*;
import edu.stanford.nlp.ling.*; 
import edu.stanford.nlp.ling.CoreAnnotations.*;  

public class example
{
    public static void main(String[] args)
    {
        Properties props = new Properties(); 
        props.put("annotators", "tokenize, ssplit, pos, lemma"); 
        pipeline = new StanfordCoreNLP(props, false);
        String text = /* the string you want */; 
        Annotation document = pipeline.process(text);  

        for(CoreMap sentence: document.get(SentencesAnnotation.class))
        {    
            for(CoreLabel token: sentence.get(TokensAnnotation.class))
            {       
                String word = token.get(TextAnnotation.class);      
                String lemma = token.get(LemmaAnnotation.class); 
                System.out.println("lemmatized version :" + lemma);
            }
        }
    }
}

Il pourrait également être une bonne idée d'utiliser des mots d'arrêt pour minimiser les lemmes de sortie s'ils sont utilisés plus tard dans le classificateur. Jetez un coup d'œil à coreNlp extension écrite par John Conwell.

Answer 3

J'ai essayé votre liste de termes sur le site de démonstration de cette boule de neige et les résultats semblent corrects....

• chats -> chat
• running -> courir
• ran -> ran
• cactus -> cactus
• cactus -> cactus
• communauté -> communiti
• communautés -> communiti

Un démonteur est censé ramener les formes infléchies des mots à une racine commune. Ce n'est pas vraiment le rôle d'un déracineur de faire de cette racine un mot "correct" du dictionnaire. Pour cela, il faut regarder analyseurs morphologiques/orthographiques .

Je pense cette question traite plus ou moins de la même chose, et c'est de la réponse de Kaarel à cette question que je tire le deuxième lien.

Answer 4

Le débat entre le déracineur et le lemmatiseur continue. Il s'agit de préférer la précision à l'efficacité. Il faut lemmatiser pour obtenir des unités linguistiquement significatives et déraciner pour utiliser un minimum de ressources informatiques tout en indexant un mot et ses variations sous la même clé.

Voir Dissociateurs et lemmatiseurs

Voici un exemple avec python NLTK :

>>> sent = "cats running ran cactus cactuses cacti community communities"
>>> from nltk.stem import PorterStemmer, WordNetLemmatizer
>>>
>>> port = PorterStemmer()
>>> " ".join([port.stem(i) for i in sent.split()])
'cat run ran cactu cactus cacti commun commun'
>>>
>>> wnl = WordNetLemmatizer()
>>> " ".join([wnl.lemmatize(i) for i in sent.split()])
'cat running ran cactus cactus cactus community community'

Answer 5

La page officielle de Martin Porter contient un Porter Stemmer en PHP ainsi que autres langues .

Si vous voulez vraiment obtenir un bon démembrement, vous devrez commencer par quelque chose comme l'algorithme de Porter, l'affiner en ajoutant des règles pour corriger les cas incorrects communs à votre ensemble de données, et enfin ajouter beaucoup d'exceptions aux règles. Cela peut être facilement mis en œuvre avec des paires clé/valeur (dbm/hash/dictionnaires) où la clé est le mot à rechercher et la valeur est le mot tronqué pour remplacer l'original. Un moteur de recherche commercial sur lequel j'ai travaillé une fois s'est retrouvé avec 800 exceptions à un algorithme Porter modifié.