Firefox/Webkit sans tête et scriptable sur linux ?

Question

Je cherche à automatiser certaines interactions web, notamment le téléchargement périodique de fichiers depuis un site web sécurisé. Il s'agit essentiellement d'entrer mon nom d'utilisateur/mot de passe et de naviguer vers l'URL appropriée.

J'ai essayé de créer des scripts simples en Python, puis des scripts plus sophistiqués, mais j'ai découvert que ce site Web particulier utilise un mécanisme de connexion odieux basé sur javascript et flash, ce qui rend mes méthodes inutiles.

J'ai ensuite essayé HTMLUnit, mais cela ne semble pas vouloir fonctionner non plus. Je soupçonne l'utilisation de Flash d'être à l'origine du problème.

Je n'ai pas vraiment envie d'y penser, alors je me penche vers l'élaboration d'un script pour un navigateur réel qui se connectera et récupérera le fichier dont j'ai besoin.

Les exigences sont les suivantes :

• Exécuter sur un serveur linux (c'est-à-dire sans X). Si j'ai vraiment besoin d'avoir X, je peux y arriver, mais je ne serai pas heureux.
• Soyez fiable. Je veux démarrer ce truc et ne plus jamais y penser.
• Soyez scriptable. Rien de trop sophistiqué, mais je devrais pouvoir indiquer au navigateur les différentes étapes à suivre et les pages à visiter.

Existe-t-il de bonnes boîtes à outils pour un navigateur scriptable sans tête et sans X ? Avez-vous déjà essayé quelque chose de ce genre et si oui, avez-vous des conseils à nous donner ?

Answer 1

Qu'en est-il phantomjs ?

Answer 2

J'ai réalisé cette tâche avec un navigateur intégré à IE (bien qu'il s'agisse d'une application gui avec un panneau de composants de navigateur caché). En fait, vous pouvez prendre n'importe quel moteur de mise en page et la logique de sortie de coupure. La navigation devrait se faire via des événements de type script.

Vous pouvez utiliser Crowbar . Il s'agit d'une version sans tête de firefox (moteur Gecko). Il transforme le navigateur en serveur RESTful qui peut accepter des requêtes ("fetch url"). Donc il analyse le html, le représente comme DOM, attend un délai défini pour tout script exécuté.

Il fonctionne sous linux. Je suppose que vous pouvez facilement l'étendre pour votre objectif en utilisant JS et les riches capacités de XULrunner.

Answer 3

Avez-vous essayé Sélénium ? Il vous permettra d'enregistrer un scénario d'utilisation, à l'aide d'une extension pour Firefox, qui pourra ensuite être lu à l'aide d'un certain nombre de méthodes différentes.

Edit : Je viens de réaliser que c'était une réponse très tardive. :)

Answer 4

Jetez un coup d'œil à WebKitDriver . Le projet comprend une implémentation headless de WebKit.

Answer 5

Je ne sais pas comment faire des interactions flash (et je suis aussi intéressé), mais pour html/javascript vous pouvez utiliser Chickenfoot .

Et pour faire fonctionner un navigateur sans tête + scriptable sous Linux, vous pouvez utiliser la commande Bibliothèque Qt webkit . Voici un exemple d'utilisation .