Je ne veux pas ramper simultanément et être bloqué. Je voudrais envoyer une requête par seconde.
Réponse
Trop de publicités?
Jeff P Chacko
Points
1873
Si vous souhaitez conserver un délai de téléchargement d'une seconde exactement, le paramètre DOWNLOAD_DELAY=1 est le moyen de le faire.
Mais scrapy dispose également d'une fonctionnalité permettant de définir automatiquement des délais de téléchargement appelée AutoThrottle . Il fixe automatiquement les délais en fonction de la charge du serveur Scrapy et du site Web que vous exploitez. Cela fonctionne mieux que de définir un délai arbitraire.
Plus d'informations à ce sujet sur http://doc.scrapy.org/en/1.0/topics/autothrottle.html#autothrottle-extension
J'ai exploré plus de 100 domaines et je n'ai pas été bloqué avec l'AutoThrottle activé.
- Réponses précédentes
- Plus de réponses
