Comment analyser une page HTML avec Node.js ?

Question

Je dois analyser (côté serveur) de grandes quantités de pages HTML.
Nous sommes tous d'accord pour dire que les expressions génériques ne sont pas la solution.
Il me semble que le javascript est le moyen natif d'analyser une page HTML, mais cette hypothèse repose sur le fait que le code côté serveur dispose de toutes les capacités DOM du javascript à l'intérieur d'un navigateur.

Node.js a-t-il cette capacité intégrée ?
Existe-t-il une meilleure approche de ce problème, en analysant le code HTML du côté du serveur ?

Answer 1

Vous pouvez utiliser le npm modules jsdom y analyseur html pour créer et analyser un DOM en Node.JS.

D'autres options sont possibles :

• BeautifulSoup pour python
• vous pouvez vous convertir html à xhtml et utiliser XSLT
• HTMLAgilityPack pour .NET
• CsQuery pour .NET (mon nouveau préféré)
• Les moteurs JS spidermonkey et rhino prennent en charge E4X de manière native. Cela peut être utile, seulement si vous convertissez votre html en xhtml.

Parmi toutes ces options, je préfère utiliser l'option Node.js, parce qu'elle utilise les méthodes d'accès au DOM standard du W3C et que je peux réutiliser le code à la fois sur le client et sur le serveur. J'aurais aimé que les méthodes de BeautifulSoup soient plus proches du DOM du W3C, et je pense que convertir votre HTML en XHTML pour écrire du XSLT est tout simplement sadique.

Answer 2

Utilisation Cheerio . Il n'est pas aussi strict que jsdom et est optimisé pour le scraping. En prime, il utilise les sélecteurs jQuery que vous connaissez déjà.

Syntaxe familière : Cheerio implémente un sous-ensemble du noyau de jQuery. Cheerio supprime toutes les incohérences du DOM et les déchets du navigateur de la bibliothèque jQuery révélant ainsi sa magnifique API.

ϟ Rapide comme l'éclair : Cheerio fonctionne avec une très s très simple et cohérent. Par conséquent, l'analyse, la manipulation et le rendu sont incroyablement incroyablement efficaces. Des tests préliminaires de bout en bout suggèrent que cheerio est environ 8 fois plus rapide que JSDOM.

❁ D'une souplesse folle : Cheerio s'enroule autour de l'indulgence de @FB55 htmlparser de @FB55. Cheerio peut analyser presque n'importe quel document HTML ou XML.

Answer 3

Htmlparser2 de FB55 semble être une bonne alternative.

Answer 4

Jsdom est trop strict pour faire de vraies choses de type screen scraping, mais beautifulsoup ne s'étouffe pas sur du mauvais balisage.

node-soupselect est un portage de beautifulsoup de python en nodejs, et il fonctionne à merveille

Answer 5

En .NET, il y a la fonction Pack Agilité HTML qui est une bibliothèque d'analyse HTML extrêmement solide.