Comment extraire des phrases communes / significatives d'une série d'entrées de texte

Question

J'ai une série d'éléments textuels - HTML brut provenant d'une base de données MySQL. Je veux trouver les phrases les plus courantes dans ces entrées (pas la phrase la plus courante, et idéalement, sans imposer une correspondance mot à mot).

Mon exemple est n'importe quelle critique sur Yelp.com, qui montre 3 extraits parmi des centaines de critiques d'un restaurant donné, dans le format:

"Essayez le hamburger" (dans 44 critiques)

par exemple, la section "Points forts de l'avis" de cette page:

http://www.yelp.com/biz/sushi-gen-los-angeles/

J'ai NLTK installé et j'ai un peu joué avec, mais je suis franchement dépassé par les options. Cela semble être un problème assez courant et je n'ai pas pu trouver de solution directe en cherchant ici.

Answer 1

Je soupçonne que vous ne voulez pas seulement les phrases les plus courantes, mais plutôt les collocations les plus intéressantes. Sinon, vous pourriez vous retrouver avec une sur-représentation de phrases composées de mots courants et moins de phrases intéressantes et informatives.

Pour ce faire, vous voudrez essentiellement extraire des n-grammes de vos données, puis trouver ceux qui ont le plus d'information mutuelle ponctuelle (PMI). Autrement dit, vous voulez trouver les mots qui co-occurrent ensemble beaucoup plus que ce à quoi vous vous attendriez par hasard.

Le guide des collocations NLTK explique comment faire cela en environ 7 lignes de code, par exemple :

import nltk
from nltk.collocations import *
bigram_measures = nltk.collocations.BigramAssocMeasures()
trigram_measures = nltk.collocations.TrigramAssocMeasures()

# change this to read in your data
finder = BigramCollocationFinder.from_words(
    nltk.corpus.genesis.words('english-web.txt'))

# only bigrams that appear 3+ times
finder.apply_freq_filter(3)

# return the 10 n-grams with the highest PMI
finder.nbest(bigram_measures.pmi, 10)

Answer 2

Si vous voulez simplement passer à des n-grammes supérieurs à 3, vous pouvez essayer ceci. Je suppose que vous avez enlevé toutes les choses inutiles comme HTML, etc.

import nltk
ngramlist=[]
raw=

x=1
ngramlimit=6
tokens=nltk.word_tokenize(raw)

while x <= ngramlimit:
  ngramlist.extend(nltk.ngrams(tokens, x))
  x+=1

Probablement pas très pythonique car je ne fais cela que depuis un mois environ moi-même, mais cela pourrait vous aider !

Answer 3

Je pense que ce que vous recherchez est le chunking. Je recommande de lire le chapitre 7 du livre NLTK ou peut-être mon propre article sur l'extraction de chunks. Les deux supposent une connaissance de l'étiquetage des parties du discours, qui est traité dans le chapitre 5.

Answer 4

Eh bien, pour commencer, vous devriez probablement supprimer toutes les balises HTML (recherchez "<[^>]*>" et remplacez-la par ""). Après cela, vous pourriez essayer l'approche naïve de chercher les sous-chaînes communes les plus longues entre chaque paire d'éléments de texte, mais je ne pense pas que vous obtiendriez de très bons résultats. Vous pourriez faire mieux en normalisant les mots (les réduisant à leur forme de base, en supprimant tous les accents, en mettant tout en minuscules ou en majuscules) en premier lieu et ensuite analyser. Encore une fois, en fonction de ce que vous voulez accomplir, vous pourriez regrouper les éléments de texte de manière plus efficace si vous permettez une certaine flexibilité dans l'ordre des mots, c'est-à-dire traiter les éléments de texte comme des ensembles de mots normalisés et mesurer la similarité des ensembles.

J'ai commenté sur un sujet similaire (bien que non identique) ici.