Y a-t-il un moyen de contourner ce qui suit ?
httperror_seek_wrapper: HTTP Error 403: request disallowed by robots.txtLa seule façon de contourner ce problème est de contacter le propriétaire du site (barnesandnoble.com). Je construis un site qui leur apporterait plus de ventes, je ne sais pas pourquoi ils refuseraient l'accès à une certaine profondeur.
J'utilise mechanize et BeautifulSoup sur Python2.6.
en espérant une solution de rechange
Vous pouvez essayer de mentir sur votre agent utilisateur (par exemple, en essayant de faire croire que vous êtes un être humain et non un robot) si vous voulez avoir d'éventuels problèmes juridiques avec Barnes & Noble. Pourquoi ne pas plutôt prendre contact avec leur département de développement commercial et les convaincre de vous autoriser spécifiquement ? Ils essaient sans doute d'éviter que leur site ne soit raclé par certaines catégories de robots, comme les moteurs de comparaison de prix, et si vous pouvez les convaincre que vous n'en êtes pas un, que vous signez un contrat, etc.
Une solution de contournement "technique" qui ne fait qu'enfreindre leur politique telle qu'elle est encodée dans le fichier robots.txt est une approche à haut risque juridique que je ne recommanderais jamais. BTW, comment fait leur robots.txt lu ?
Leur fichier robots.txt n'interdit que "/reviews/reviews.asp" - est-ce ce que vous récupérez ?
Merci Alex, je suis d'accord... après avoir lu davantage sur robots.txt, c'est la meilleure approche. Merci... @fmark je gratte la partie vidéo... video.barnesandnoble.com/robots.txt
Mechanize suit automatiquement le fichier robots.txt, mais il est possible de le désactiver en supposant que vous avez la permission, ou que vous avez réfléchi à l'éthique .
Définissez un drapeau dans votre navigateur :
browser.set_handle_equiv(False) Cela ignore les robots.txt.
Veillez également à limiter vos requêtes, afin de ne pas surcharger leur site. (Remarque : cela réduit également les risques de détection et d'interdiction).
Je veux dire, mettez un petit timeout après chaque requête (i.e. time.sleep(1)), et n'utilisez pas beaucoup de threads. J'utiliserais quelques threads (au cas où certains s'embourberaient), et quelques secondes de sommeil.
Prograide est une communauté de développeurs qui cherche à élargir la connaissance de la programmation au-delà de l'anglais.
Pour cela nous avons les plus grands doutes résolus en français et vous pouvez aussi poser vos propres questions ou résoudre celles des autres.
0 votes
Il y a probablement des problèmes juridiques si vous envisagez de monétiser, mais si vous ne le faites pas, continuez comme vous voulez. Longue vie à Scroogle.