Comment Apple trouve-t-il les dates, heures et adresses dans les e-mails ?

Question

Dans le client email iOS, lorsque qu'un email contient une date, une heure ou un lieu, le texte devient un lien hypertexte et il est possible de créer un rendez-vous ou de regarder une carte simplement en tapant sur le lien. Cela fonctionne non seulement pour les email en anglais, mais aussi dans d'autres langues. J'adore cette fonctionnalité et j'aimerais comprendre comment ils font.

La manière naïve de le faire serait d'avoir de nombreuses expressions régulières et de les exécuter toutes. Cependant, cela ne va pas bien s'adapter et ne fonctionnera que pour un langage spécifique ou un format de date, etc. Je pense qu'Apple doit utiliser un concept d'apprentissage automatique pour extraire des entités (20h, 8PM, 8h00, 0800, 20:00, 20h, 20h00, 2000 etc.).

Avez-vous une idée de comment Apple est capable d'extraire des entités si rapidement dans son client email? Quel algorithme d'apprentissage automatique appliqueriez-vous pour accomplir une telle tâche?

Answer 1

Ils utilisent probablement des techniques d'extraction d'informations pour cela.

Voici une démo de l'outil SUTime de Stanford :

http://nlp.stanford.edu:8080/sutime/process

Vous extrairiez des attributs sur des n-grammes (mots consécutifs) dans un document :

• nombreDeLettres
• nombreDeSymboles
• longueur
• motPrécédent
• motSuivant
• nombreDeSymbolesDuMotSuivant
  ...

Ensuite, utilisez un algorithme de classification et donnez-lui des exemples positifs et négatifs :

Observation  nLettres  nSymboles  longueur  motPrécédent  motSuivant estPartieDate  
"Feb."       3         1         4       "Mer"        "29th"     VRAI  
"DEC"        3         0         3       "entreprise" "est allé" FAUX  
...

Vous pourriez vous en sortir avec 50 exemples de chaque, mais plus il y en a, mieux c'est. Ensuite, l'algorithme apprend sur la base de ces exemples et peut s'appliquer à des exemples futurs qu'il n'a pas encore vus.

Il pourrait apprendre des règles telles que

• si le mot précédent est uniquement composé de caractères et peut-être de points...
• et que le mot actuel est "février", "mar.", "le" ...
• et que le mot suivant est "douzième", un_nombre ...
• alors c'est une date

Voici une vidéo intéressante par un ingénieur de Google sur le sujet

Answer 2

C'est une technologie qu'Apple a en fait développée il y a très longtemps appelée Apple Data Detectors. Vous pouvez en savoir plus ici:

http://www.miramontes.com/writing/add-cacm/

Essentiellement, cela analyse le texte et détecte des motifs qui représentent des pièces de données spécifiques, puis applique des actions contextuelles du système d'exploitation. C'est génial.

Answer 3

Il s'agit de l'identification et de l'analyse des expressions temporelles. Voici quelques recherches sur Google pour vous aider à démarrer :

https://www.google.com/#hl=fr&safe=off&sclient=psy-ab&q=timebank+timeml+timex

https://www.google.com/#hl=fr&safe=off&sclient=psy-ab&q=temporal+expression+tagger

Answer 4

Une partie du puzzle pourrait être la classe NSDataDetector. Elle est utilisée pour reconnaître certains types standard comme les numéros de téléphone.

Answer 5

J'ai déjà écrit un analyseur syntaxique pour faire cela, en utilisant pyparsing. C'est vraiment très simple, il suffit juste de bien gérer toutes les différentes manières, mais il n'y en a pas tant que ça. Cela n'a pris que quelques heures et c'était assez rapide.