Gestion des araignées dynamiques par Scrapy

Question

Je construis un projet dans lequel j'ai besoin d'un robot d'exploration qui explore une liste de pages Web différentes. Cette liste peut changer à tout moment. Quelle est la meilleure façon d'implémenter ce projet avec scrapy ? Dois-je créer une araignée pour tous les sites Web ou créer des araignées de façon dynamique ?

J'ai lu des articles sur scrapyd et je pense que la création dynamique de spiders est la meilleure approche. J'aurais cependant besoin d'une indication sur la manière de la mettre en œuvre.

Answer 1

Si la logique d'analyse est la même, il existe deux méthodes,

1. Pour un grand nombre de pages web, vous pouvez créer une liste et lire cette liste au début mai b en start_requêtes ou dans Constructeur et affecter cette liste à start_urls
2. Vous pouvez passer le lien de votre page web en tant que paramètre à l'araignée à partir des arguments de la ligne de commande, de même que dans les requêtes_méthode ou dans le constructeur, vous pouvez accéder à ce paramètre et l'assigner à l'araignée. start_urls

Passage de paramètres dans scrapy

    scrapy crawl spider_name -a start_url=your_url

Dans scrapyd remplacer -a par -d