L'expression Xpath renvoie une sortie vide

Question

Ma commande xidel est la suivante :

xidel "https://www.iec-iab.be/nl/contactgegevens/c360afae-29a4-dd11-96ed-005056bd424d" -e '//div[@class="consulentdetail"]'

Ceci devrait extraire toutes les données dans les divs avec la classe consulentdetail Je pensais qu'il n'y avait rien de spécial, mais il n'imprime rien.

Quelqu'un peut-il m'aider à trouver mon erreur ?

//EDIT : Lorsque j'utilise la même expression dans Firefox, les balises souhaitées sont trouvées.

Answer 1

Le site auquel vous vous connectez vérifie évidemment la chaîne de l'agent utilisateur et fournit différentes pages, en fonction de la chaîne de l'agent utilisateur qui lui est envoyée.

Si vous donnez des instructions xidel pour envoyer une chaîne d'agent utilisateur, en se faisant passer pour Firefox sur Windows 10, par exemple, votre requête commence à fonctionner :

> ./xidel --silent  --user-agent="Mozilla/5.0 (Windows NT 10.0; WOW64; rv:49.0) Gecko/20100101 Firefox/49.0" "http://www.iec-iab.be/nl/contactgegevens/c360afae-29a4-dd11-96ed-005056bd424d" -e '//div[@class="consulentdetail"]'
Lidnummer11484 2 N 73
TitelAccountant, Belastingconsulent
TaalNederlands
Accountant sinds4/04/2005
Belastingconsulent sinds4/04/2005
AdresStationsstraat 2419550 HERZELE
Telefoon+32 (53) 41.97.02
Fax+32 (53) 41.97.03
AdresStationsstraat 2419550 HERZELE
Telefoon+32 (53) 41.97.02
Fax+32 (53) 41.97.03
GSM+32 (474) 29.00.67
Websitehttp://abbeloosschinkels.be
E-mail

<!--
document.write("<a href=mailto:");document.write(decrypt(unescCtrlCh("5yÿÃ^à(pñ_!13!­[îøû!13!5ãév¦Ãçj|°W"),"Iate1milrve%ster"));document.write(">");document.write(decrypt(unescCtrlCh("5yÿÃ^à(pñ_!13!­[îøû!13!5ãév¦Ãçj|°W"),"Iate1milrve%ster"));document.write("</a>");
-->

En règle générale, quand on fait du Web scraping et qu'on obtient des résultats bizarres :

1. Consultez la page dans un navigateur où Javascript est désactivé.
2. Envoyez une chaîne d'agent utilisateur simulant un navigateur Web.