Je voudrais faire ce qui suit. Me connecter à un site web, cliquer sur quelques liens spécifiques, puis cliquer sur un lien de téléchargement. J'aimerais exécuter ceci soit en tant que tâche planifiée sur Windows, soit en tant que tâche cron sur Linux. Je ne suis pas pointilleux sur le langage que j'utilise, mais j'aimerais que cela s'exécute sans ouvrir de fenêtre de navigateur à l'écran si possible.
Voici une liste de navigateurs headless que je connais :
Les navigateurs headless qui prennent en charge JavaScript via un DOM émulé ont généralement des problèmes avec certains sites utilisant des fonctionnalités de navigateur plus avancées/obscures, ou ayant des fonctionnalités avec des dépendances visuelles (par ex. via des positions CSS, etc.), donc bien que la prise en charge pure du JavaScript dans ces navigateurs soit généralement complète, la fonctionnalité de navigateur réellement prise en charge devrait être considérée comme partielle seulement.
(Remarque : La version originale de cet article ne mentionnait que HtmlUnit, d'où les commentaires. Si vous connaissez d'autres implémentations de navigateurs headless et que vous avez des droits de modification, n'hésitez pas à modifier cet article et à les ajouter.)
Cela semble être le meilleur choix que j'ai trouvé jusqu'à présent dans ma recherche d'un navigateur sans tête avec support JS.
Découvrez twill, un langage de script très pratique pour ce que vous recherchez. Parmi les exemples:
setlocal username
setlocal password
go http://www.slashdot.org/
formvalue 1 unickname $username
formvalue 1 upasswd $password
submit
code 200 # assurez-vous que la soumission du formulaire est correcte!Il existe également une API Python si vous recherchez plus de flexibilité.
Jetez un œil à PhantomJS, un cadre d'automatisation basé sur JavaScript disponible pour Windows, Mac OS X, Linux et d'autres systèmes *ix.
Avec PhantomJS, vous pouvez faire des choses comme ceci:
console.log('Chargement d'une page web');
var page = new WebPage();
var url = "http://www.phantomjs.org/";
page.open(url, function (status) {
// effectuez votre tâche une fois que la page est prête ...
phantom.exit();
});Ou évaluer un titre de page:
var page = require('webpage').create();
page.open(url, function (status) {
var title = page.evaluate(function () {
return document.title;
});
console.log('Le titre de la page est ' + title);
});Exemples de la page Quickstart de PhantomJS. Vous pouvez même rendre une page en PNG, JPEG ou PDF en utilisant la méthode render().
Cette réponse m'a aidé à sauvegarder la source après l'exécution du javascript. : stackoverflow.com/a/32019723/511438
J'ai déjà fait cela en utilisant le contrôle ActiveX Internet Explorer (WebBrowser, MSHTML). Vous pouvez l'instancier sans le rendre visible.
Cela peut être fait avec n'importe quel langage qui prend en charge COM (Delphi, VB6, VB.net, C #, C ++, ...).
Bien sûr, il s'agit d'une solution rapide et peu élégante qui pourrait ne pas convenir à votre situation.
Prograide est une communauté de développeurs qui cherche à élargir la connaissance de la programmation au-delà de l'anglais.
Pour cela nous avons les plus grands doutes résolus en français et vous pouvez aussi poser vos propres questions ou résoudre celles des autres.
1 votes
Pourquoi instancier un navigateur si vous n'allez pas l'afficher? Il existe des bibliothèques dans la plupart des langages pour transférer des fichiers via des URL. Dites-nous quel est votre langage de mise en œuvre et nous pourrions vous orienter dans la bonne direction.
3 votes
Dites-nous également si vous avez besoin du support JavaScript, car c'est important. Certaines bibliothèques n'ont pas d'interprètes JS intégrés.