Comment utiliser CasperJS dans node.js ?

Question

Je voudrais utiliser CasperJS dans node.js.

J'ai consulté les URL suivantes pour utiliser CasperJS dans node.js :

• https://github.com/sgentle/phantomjs-node
• http://casperjs.org/index.html#faq-executable

Avec l'aide des URLs ci-dessus, j'ai écrit le code suivant :

//DISPLAY=:0 node test2.js
var phantom = require('phantom');
console.log('Hello, world!');
phantom.create(function (ph) {
    ph.casperPath = '/opt/libs/casperjs'
    ph.injectJs('/opt/libs/casperjs/bin/bootstrap.js');
    var casper = require('casper').create();
    casper.start('http://google.fr/');

    casper.thenEvaluate(function (term) {
        document.querySelector('input[name="q"]').setAttribute('value', term);
        document.querySelector('form[name="f"]').submit();
    }, {
        term: 'CasperJS'
    });

    casper.then(function () {
        // Click on 1st result link
        this.click('h3.r a');
    });

    casper.then(function () {
        console.log('clicked ok, new location is ' + this.getCurrentUrl());
    });

    casper.run();
});

---

Lorsque j'exécute ce code, j'obtiens l'erreur suivante :

ERROR MSG :

tz@tz-ubuntu:/opt/workspaces/TestPhantomjs$ DISPLAY=:0 node test2.js 
Hello, world!
Error: Cannot find module 'casper'
    at Function._resolveFilename (module.js:332:11)
    at Function._load (module.js:279:25)
    at Module.require (module.js:354:17)
    at require (module.js:370:17)
    at /opt/workspaces/TestPhantomjs/test2.js:6:14
    at Object.<anonymous> (/opt/workspaces/TestPhantomjs/node_modules/phantom/phantom.js:82:43)
    at EventEmitter.<anonymous> (/opt/workspaces/TestPhantomjs/node_modules/phantom/node_modules/dnode/index.js:215:30)
    at EventEmitter.emit (events.js:67:17)
    at handleMethods (/opt/workspaces/TestPhantomjs/node_modules/phantom/node_modules/dnode-protocol/index.js:138:14)
    at EventEmitter.handle (/opt/workspaces/TestPhantomjs/node_modules/phantom/node_modules/dnode-protocol/index.js:98:13)
phantom stdout: Unable to load casper environment: Error: Failed to resolve module fs, tried fs

Answer 1

Vous pouvez utiliser SpookyJS pour piloter CasperJS à partir de Node.

Answer 2

https://groups.google.com/group/casperjs/browse_thread/thread/641e9e6dff50fb0a/e67aaef5ab4ec918?hl=zh-CN#e67aaef5ab4ec918

Nicolas Perriault
2012/2/27 天猪 蓝虫. :

Je veux utiliser casperjs dans nodejs. et des références à : https://github.com/sgentle/phantomjs-node et http://casperjs.org/index.html#faq-executable

Vous ne pouvez pas exécuter CasperJS de cette façon ; QtWebKit et V8 ne partagent pas le même environnement js (et la même boucle d'événements). environnement js (et la boucle d'événement), donc votre application node.js ne sera pas en mesure de charger et d'utiliser un module CasperJS. charger et utiliser un module CasperJS. Vous devez exécuter votre script CasperJS séparément en utilisant un appel de sous-processus, comme celui-là sur github . I n'ai pas l'intention de rendre CasperJS compatible avec phantomjs-node parce qu'il utilise alert() - basé sur des trucs sales avec lesquels je ne suis pas facile.

Santé, -- Nicolas Perriault

Answer 3

CasperJS comprend un serveur web pour communiquer avec le monde extérieur. . Nœud (utilisant request , superagent etc.) peuvent maintenant parler à Casper via HTTP.

Sur scraper.js :

#!/usr/bin/env casperjs

// I AM NOT NODEJS
// I AM CASPER JS
// I RUN IN QTWEBKIT, NOT V8

var casper = require('casper').create();
var server = require('webserver').create();
var ipAndPort = '127.0.0.1:8585';

server.listen(ipAndPort, function(request, response) {

    casper.start('https://connect.data.com/login');
    casper.userAgent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 Safari/537.36");
    casper.then(function(){
        // lots of code here, and a few more cassper.then()s
    });

    casper.run(function(){
        console.log('\n\nFinished')
        response.statusCode = 200;
        var body = JSON.stringify({
            phoneNumber: '1800-YOLO-SWAG'
        })

        response.write(body);
        response.close();
    });
});

Vous pouvez maintenant exécuter scraper.js comme un serveur web :

chmod +x scraper.js
./scraper.js

Vous devez le faire fonctionner comme un service Linux comme vous le feriez pour une application node .

Answer 4

Une solution (qui a fonctionné pour moi) est de démarrer et d'arrêter votre serveur sur la base de chaque test. Par exemple, j'ai un runtests.coffee ce qui ressemble à :

http = require 'http'
glob = require 'glob'
spawn = require('child_process').spawn

db = require './db' # Contains all database stuff.
webapp = require './webapp' # Contains all of the Express stuff.

db.connect 'test' # Connects to the db server and creates an empty test db.
server = http.createServer webapp.makeApp()
server.listen 0, ->
    port = server.address().port
    process.env.URL = "http://localhost:#{ port }"
    glob 'tests/*', (err, filenames) ->
        child = spawn 'casperjs', ['test'].concat(filenames)
        child.stdout.on 'data', (msg) -> process.stdout.write msg
        child.stderr.on 'data', (msg) -> process.stderr.write msg
        child.on 'exit', (code) ->
            db.disconnect() # Drops the test db.
            server.close()
            process.exit code

Et mes tests CasperJS dans tests/ ressemble :

URL = require('system').env.URL # Note, Casper code here, not Node.

casper.test.begin 'Test something', 1, (test) ->
    casper.start "#{ URL }/welcome"
    casper.then ->
        test.assertHttpStatus 200
        # ....
    casper.run ->
        test.done()

Answer 5

Cela signifie essentiellement que votre script ne trouve pas Casper ; avez-vous vérifié le chemin d'accès et vous êtes-vous assuré que

/opt/libs/casperjs 

et :

/opt/libs/casperjs/bin/bootstrap.js

Sont-ils accessibles par un utilisateur du site web ? compte tenu de l'emplacement, c'est probablement peu probable. /opt est un chemin unix, mais le site web cherchera dans {websiterootpath}/opt.

Je créerais un sous-dossier 'casperjs' dans le dossier racine de votre site web et copierais le contenu de

/opt/libs/casperjs 

Jusqu'à là. Ensuite, changez vos chemins de

/opt/libs/casperjs

A

/casperjs