exploration de données - comment identifier le contenu principal d'une page Web

Question

Étant donné une page Web d'article de nouvelles (à partir de n'importe quelle source de nouvelles majeure telle que Times ou Bloomberg), je veux identifier le contenu principal de l'article sur cette page et jeter les autres éléments divers tels que les publicités, les menus, les barres latérales, les commentaires des utilisateurs.

Quelle est une façon générique de faire cela qui fonctionnera sur la plupart des principaux sites d'actualités?

Quels sont les bons outils ou bibliothèques pour l'exploration de données? (de préférence basé sur python)

Answer 1

Il y a un certain nombre de façons de le faire, mais, pas toujours. Voici les deux plus simple:

• si c'est un ensemble fini de sites web: dans votre grattoir convertir chaque url à partir de la normale url à l'impression d'url pour un site donné (on ne peut pas vraiment être généralisée sur l'ensemble des sites)
• Utiliser le arc90 la lisibilité de l'algorithme de référence de mise en œuvre est en javascript) http://code.google.com/p/arc90labs-readability/ . La version courte de cet algorithme est qu'il semble pour les divs avec les balises p en leur sein. Il ne fonctionne pas pour certains sites web, mais il est généralement assez bonne.

Answer 2

Il y a un moment, j'ai écrit un simple script Python pour cette tâche. Il utilise une heuristique de groupe de blocs de texte en fonction de leur profondeur dans les DOM. Le groupe avec le plus de texte est alors supposé être le contenu principal. Il n'est pas parfait, mais il fonctionne généralement bien pour les sites de nouvelles, où l'article est généralement le plus grand groupement de texte, même si elle est brisée en plusieurs div/p balises.

Il vous suffit d'utiliser le script comme: python webarticle2text.py <url>

Answer 3

Il n'y a aucun moyen de faire cela qui est garanti de fonctionner, mais une stratégie que vous pourriez utiliser est d'essayer de trouver l'élément avec le texte le plus visible à l'intérieur.

Answer 4

Diffbot propose une API gratuite (10 000 urls) pour ce faire, je ne sais pas si cette approche est ce que vous recherchez, mais cela pourrait aider quelqu'un http://www.diffbot.com/

Answer 5

Il pourrait être plus utile d'extraire les flux RSS ( <link type="application/rss+xml" href="..."/> ) sur cette page et d'analyser les données du flux pour obtenir le contenu principal.