Un bon programme d'extraction de données sur le Web/de grattage d'écran ?

Question

J'ai besoin de capturer des données sur les produits à partir d'un site sur une base régulière et je me demandais si quelqu'un connaissait un bon logiciel ? J'ai essayé Mozenda mais c'est un abonnement mensuel et c'est cher à long terme. Évidemment, quelque chose de gratuit serait le mieux, mais ça ne me dérange pas de payer non plus. J'ai juste besoin d'un programme décent, fiable et qui ne nécessite pas beaucoup de connaissances en programmation.

Answer 1

Vous pouvez essayer ScraperWiki.com si vous connaissez python.

Answer 2

J'ai expérimenté avec Gratteur d'écran et l'ont trouvé facile à utiliser. L'application est disponible en plusieurs versions : basique (gratuite), professionnelle et entreprise. De plus, plusieurs plateformes sont prises en charge.

Answer 3

Engagez un programmeur pour le faire, de sorte qu'il n'y ait qu'un coût unique. Je vois souvent des projets similaires sur des sites de freelancing tels que Elance y oDesk .

Answer 4

J'aime vraiment iMacros . Vous pouvez l'essayer pour voir s'il répond à vos besoins avec l'extension gratuite de Firefox (il existe aussi des versions IE), mais il existe aussi des applications plus complètes et des versions "serveur" qui ont plus de fonctionnalités et la capacité de faire des choses sans surveillance.

Answer 5

Voici d'autres solutions à envisager :

1. Obtenir une licence pour les données du fournisseur. Appelez-les et demandez-leur.

2. Utilisez Amazon Mechanical Turk pour que des humains copient, collent et formatent pour vous. Ils ne sont pas chers.

3. Pour l'automatisation, cela dépend de la complexité du HTML et de la fréquence à laquelle il est modifié. Vous pouvez utiliser l'importation de données Web d'Excel si c'est vraiment simple.