Vaut-il la peine d'apprendre Scrapy?

Question

Je suis un grand fan de Python et actuellement, j'ai pris beaucoup d'intérêt dans le web scraping.

Pour le moment, je m'appuie sur la combinaison élégante de Mécaniser et Belle Soupe pour automatiser presque tous mes tâches et ils sont un jeu d'enfant pour travailler avec.

Donc je me demandais si il serait intéressant d'étudier Scrapy? J'ai beaucoup entendu parler.

Je suis également intéressé à savoir ce que serait Scrapy apporter à la table que je ne pouvais pas déjà accomplir avec l'utilisation de la Belle et la Soupe de Mécaniser? Et serait Scrapy compliment ma connaissance actuelle de ces deux modules? J'ai essayé la démo sur leur page de documentation et il semble que Scrapy elle-même fonctionne comme un programme autonome; est-il possible d'intégrer Scrapy et l'appeler à partir d'un script python?

Enfin, je veux dire que si l'apprentissage Scrapy ne serait pas améliorer mon site web grattage compétences en aucune manière (comme le gain de productivité grâce à beaucoup de niveau d'abstraction plus élevé) alors je préfère investir mon temps à apprendre quelque chose qui n'est pas directement liées à la web-grattage.

Merci.

Answer 1

• Scrapy l'analyse est plus rapide que de mécaniser, car il utilise les opérations asynchrones (sur le haut de Tordu).
• Scrapy a mieux et plus vite support de l'analyse (x)html sur le dessus de libxml2.
• Scrapy est un cadre réfléchi avec unicode complet, de la gestion des redirections, gzippé réponses, bizarre encodages, intégré le cache http, etc.
• Une fois que vous êtes dans Scrapy, vous pouvez écrire une araignée en moins de 5 minutes de télécharger des images, crée les vignettes et d'exporter les données extraites directement au format csv ou json.

Mais pour tirer pleinement parti des fonctionnalités dont vous avez besoin d'apprendre au moins: des expressions xpath, lien extracteurs et de l'élément de chargeurs.

Answer 2

Si vous aimez le Web, Scrapy est fait pour vous. Il peut être utilisé à diverses fins, de l'exploration de données à la surveillance et aux tests automatisés. Il n'y a pas de mal à l'essayer.

Answer 3

Ça en vaut vraiment la peine. Scrapy est une solution unique pour le raclage. Cela vous fait gagner beaucoup de temps de programmation. Par exemple, dans un cas, Dans les données emballées, je devais télécharger l’image, puis la convertir en vignette et la télécharger au format S3. Pour des tâches aussi complexes, il ne s'agit que de 2-3 lignes de code dans Scrapy. Incroyable. n'est ce pas?

En outre, plusieurs cas de ce type sont déjà pris en charge dans Scrapy. Honnêtement, je suis tombée amoureuse de Scrapy depuis que je l'utilise.