Comment diviser un texte en phrases ?

Question

J'ai un fichier texte. J'ai besoin d'obtenir une liste de phrases.

Comment cela peut-il être mis en œuvre ? Il y a beaucoup de subtilités, comme l'utilisation d'un point dans les abréviations.

Mon ancienne expression régulière fonctionne mal :

re.compile('(\. |^|!|\?)([A-Z][^;\.<>@\^&/\[\]]*(\.|!|\?) )',re.M)

Answer 1

Méfiez-vous également des domaines de premier niveau supplémentaires qui ne figurent pas dans certaines des réponses ci-dessus.

Par exemple, les noms .info, .biz, .ru, .online sont susceptibles d'être utilisés par certains analyseurs de phrases, mais ne sont pas inclus ci-dessus.

Voici quelques informations sur la fréquence des domaines de premier niveau : https://www.westhost.com/blog/the-most-popular-top-level-domains-in-2017/

Cela peut être résolu en modifiant le code ci-dessus comme suit :

alphabets= "([A-Za-z])"
prefixes = "(Mr|St|Mrs|Ms|Dr)[.]"
suffixes = "(Inc|Ltd|Jr|Sr|Co)"
starters = "(Mr|Mrs|Ms|Dr|He\s|She\s|It\s|They\s|Their\s|Our\s|We\s|But\s|However\s|That\s|This\s|Wherever)"
acronyms = "([A-Z][.][A-Z][.](?:[A-Z][.])?)"
websites = "[.](com|net|org|io|gov|ai|edu|co.uk|ru|info|biz|online)"

Answer 2

Autant le dire tout de suite, puisque c'est le premier message qui s'affiche pour la division de la phrase par n phrases.

Cela fonctionne avec une longueur de division variable, qui indique les phrases qui sont réunies à la fin.

import nltk
//nltk.download('punkt')
from more_itertools import windowed

split_length = 3 // 3 sentences for example 

elements = nltk.tokenize.sent_tokenize(text)
segments = windowed(elements, n=split_length, step=split_length)
text_splits = []
for seg in segments:
          txt = " ".join([t for t in seg if t])
          if len(txt) > 0:
                text_splits.append(txt)

Answer 3

Il ne fait aucun doute que NLTK est le plus adapté à cet objectif. Mais le démarrage avec NLTK est assez pénible (mais une fois que vous l'avez installé, vous en récoltez les fruits).

Voici donc un code simple basé sur le re disponible à http://pythonicprose.blogspot.com/2009/09/python-split-paragraph-into-sentences.html

# split up a paragraph into sentences
# using regular expressions

def splitParagraphIntoSentences(paragraph):
    ''' break a paragraph into sentences
        and return a list '''
    import re
    # to split by multile characters

    #   regular expressions are easiest (and fastest)
    sentenceEnders = re.compile('[.!?]')
    sentenceList = sentenceEnders.split(paragraph)
    return sentenceList

if __name__ == '__main__':
    p = """This is a sentence.  This is an excited sentence! And do you think this is a question?"""

    sentences = splitParagraphIntoSentences(p)
    for s in sentences:
        print s.strip()

#output:
#   This is a sentence
#   This is an excited sentence

#   And do you think this is a question

Answer 4

Je devais lire des fichiers de sous-titres et les découper en phrases. Après un prétraitement (comme la suppression des informations temporelles, etc. dans les fichiers .srt), la variable fullFile contenait le texte complet du fichier de sous-titres. La méthode brute ci-dessous permet de les diviser en phrases. J'ai probablement eu la chance que les phrases se terminent toujours (correctement) par un espace. Essayez d'abord cette méthode et si elle présente des exceptions, ajoutez des contrôles supplémentaires.

# Very approximate way to split the text into sentences - Break after ? . and !
fullFile = re.sub("(\!|\?|\.) ","\\1<BRK>",fullFile)
sentences = fullFile.split("<BRK>");
sentFile = open("./sentences.out", "w+");
for line in sentences:
    sentFile.write (line);
    sentFile.write ("\n");
sentFile.close;

Oh ! bien. Je réalise maintenant que puisque mon contenu était espagnol, je n'ai pas eu à faire face aux problèmes de "M. Smith", etc. Néanmoins, si quelqu'un veut un analyseur rapide et sale...

Answer 5

J'espère que cela vous aidera pour les textes latins, chinois et arabes.

import re

punctuation = re.compile(r"([^\d+])(\.|!|\?|;|\n|。|！|？|；|…|　|!|؟|؛)+")
lines = []

with open('myData.txt','r',encoding="utf-8") as myFile:
    lines = punctuation.sub(r"\1\2<pad>", myFile.read())
    lines = [line.strip() for line in lines.split("<pad>") if line.strip()]