Comment diviser un texte en phrases ?

Question

J'ai un fichier texte. J'ai besoin d'obtenir une liste de phrases.

Comment cela peut-il être mis en œuvre ? Il y a beaucoup de subtilités, comme l'utilisation d'un point dans les abréviations.

Mon ancienne expression régulière fonctionne mal :

re.compile('(\. |^|!|\?)([A-Z][^;\.<>@\^&/\[\]]*(\.|!|\?) )',re.M)

Answer 1

Vous pouvez également utiliser la fonction de tokenisation des phrases dans NLTK :

from nltk.tokenize import sent_tokenize
sentence = "As the most quoted English writer Shakespeare has more than his share of famous quotes.  Some Shakespare famous quotes are known for their beauty, some for their everyday truths and some for their wisdom. We often talk about Shakespeare’s quotes as things the wise Bard is saying to us but, we should remember that some of his wisest words are spoken by his biggest fools. For example, both ‘neither a borrower nor a lender be,’ and ‘to thine own self be true’ are from the foolish, garrulous and quite disreputable Polonius in Hamlet."

sent_tokenize(sentence)

Answer 2

Pour les cas simples (où les phrases se terminent normalement), cela devrait fonctionner :

import re
text = ''.join(open('somefile.txt').readlines())
sentences = re.split(r' *[\.\?!][\'"\)\]]* *', text)

La regex est *\. + qui correspond à un point entouré de 0 espace ou plus à gauche et de 1 espace ou plus à droite (pour éviter que quelque chose comme le point dans re.split soit compté comme un changement de phrase).

Évidemment, ce n'est pas la solution la plus robuste, mais elle fera l'affaire dans la plupart des cas. Le seul cas qui n'est pas couvert est celui des abréviations (vous pouvez parcourir la liste des phrases et vérifier que chaque chaîne de caractères dans le champ sentences commence par une majuscule ?)

Answer 3

Utilisation de spacy :

import spacy

nlp = spacy.load('en_core_web_sm')
text = "How are you today? I hope you have a great day"
tokens = nlp(text)
for sent in tokens.sents:
    print(sent.string.strip())

Answer 4

Si le sent_tokenize de NLTK n'est pas une chose (par exemple, il nécessite beaucoup de mémoire vive du GPU pour les textes longs) et si le regex ne fonctionne pas correctement dans toutes les langues, séparateur de phrases pourrait valoir la peine d'être essayé.

Answer 5

Vous pourriez créer un nouveau tokenizer pour le russe (et d'autres langues) en utilisant cette fonction :

def russianTokenizer(text):
    result = text
    result = result.replace('.', ' . ')
    result = result.replace(' .  .  . ', ' ... ')
    result = result.replace(',', ' , ')
    result = result.replace(':', ' : ')
    result = result.replace(';', ' ; ')
    result = result.replace('!', ' ! ')
    result = result.replace('?', ' ? ')
    result = result.replace('\"', ' \" ')
    result = result.replace('\'', ' \' ')
    result = result.replace('(', ' ( ')
    result = result.replace(')', ' ) ') 
    result = result.replace('  ', ' ')
    result = result.replace('  ', ' ')
    result = result.replace('  ', ' ')
    result = result.replace('  ', ' ')
    result = result.strip()
    result = result.split(' ')
    return result

et l'appeler de cette façon :

text = '  ,  Google SSL;'
tokens = russianTokenizer(text)