Wie befolgen Sie alle links in CasperJS?

Ich habe Probleme, auf alle JavaScript-basierten Verknüpfungen, die in einem DOM und speichern der
Ausgabe. Die links haben die form 

<a id="html" href="javascript:void(0);" onclick="goToHtml();">HTML</a>

folgende code funktioniert Super:

var casper = require('casper').create();

var fs = require('fs');

var firstUrl = 'http://www.testurl.com/test.html';

var css_selector = '#jan_html';

casper.start(firstUrl);

casper.thenClick(css_selector, function(){
    console.log("whoop");
});

casper.waitFor(function check() {
    return this.getCurrentUrl() != firstUrl;
}, function then() {
    console.log(this.getCurrentUrl());
    var file_title = this.getTitle().split(' ').join('_') + '.html';
    fs.write(file_title, this.getPageContent());
});

casper.run();

Jedoch, wie bekomme ich diese zu arbeiten, mit einem Selektor von "ein", klicken Sie auf alle
verfügbare links und Inhalte zu speichern? Ich bin mir nicht sicher, wie man die clickWhileSelector zum entfernen von Knoten aus der Auswahl als hier getan: Klicken Sie auf alle links, die passenden Selektor

InformationsquelleAutor user2846226 | 2013-11-26
  1. 14

    Habe ich dieses Skript, dass zuerst alle links von einer Seite dann speichern 'href' Attribute, die zu einem array, dann iteriert über das array und dann öffnen Sie jeden link einzeln und echo der url :

    var casper = require('casper').create({
    logLevel:"verbose",
    debug:true
});
var links;

casper.start('http://localhost:8000');

casper.then(function getLinks(){
     links = this.evaluate(function(){
        var links = document.getElementsByTagName('a');
        links = Array.prototype.map.call(links,function(link){
            return link.getAttribute('href');
        });
        return links;
    });
});
casper.then(function(){
    this.each(links,function(self,link){
        self.thenOpen(link,function(a){
            this.echo(this.getCurrentUrl());
        });
    });
});
casper.run(function(){
    this.exit();
});
    • Wie könnte das erreicht werden, wenn Sie möchten, können Sie das hinzufügen von links, um das array Durchlaufen?
    • das ist zwar eine interessante Umsetzung, die kombiniert werden können mit etwas wie folgt scram Fehler in einer website. ich Frage mich, ob dieses Ding nicht stecken in der Endlosschleife..
    InformationsquelleAutor rusln
  2. 1

    rusln Antwort funktioniert toll, wenn alle die links haben einen aussagekräftigen href Attribut (tatsächliche URL). Wenn Sie möchten, klicken Sie auf jeder a dass löst auch eine javascript-Funktion, müssen Sie möglicherweise Durchlaufen einige andere Weg über die Elemente.

    Ich vorschlagen mit der XPath-generator von stijn de ryck für ein element.

    1. Sie können dann probieren Sie alle XPaths, die sind auf der Seite.
    2. Dann öffnen Sie die Seite für jeden a dass Sie den XPath und klicken Sie auf es von XPath.
    3. Ein wenig warten, wenn es eine einzelne Seite der Anwendung
    4. Etwas tun
    var startURL = 'http://localhost:8000',
    xPaths
    x = require('casper').selectXPath;

casper.start(startURL);

casper.then(function getLinks(){
    xPaths = this.evaluate(function(){
        //copied from https://stackoverflow.com/a/5178132/1816580
        function createXPathFromElement(elm) {
            var allNodes = document.getElementsByTagName('*'); 
            for (var segs = []; elm && elm.nodeType == 1; elm = elm.parentNode) { 
                if (elm.hasAttribute('id')) { 
                        var uniqueIdCount = 0; 
                        for (var n=0;n < allNodes.length;n++) { 
                            if (allNodes[n].hasAttribute('id') && allNodes[n].id == elm.id) uniqueIdCount++; 
                            if (uniqueIdCount > 1) break; 
                        }; 
                        if ( uniqueIdCount == 1) { 
                            segs.unshift('id("' + elm.getAttribute('id') + '")'); 
                            return segs.join('/'); 
                        } else { 
                            segs.unshift(elm.localName.toLowerCase() + '[@id="' + elm.getAttribute('id') + '"]'); 
                        } 
                } else if (elm.hasAttribute('class')) { 
                    segs.unshift(elm.localName.toLowerCase() + '[@class="' + elm.getAttribute('class') + '"]'); 
                } else { 
                    for (i = 1, sib = elm.previousSibling; sib; sib = sib.previousSibling) { 
                        if (sib.localName == elm.localName)  i++; }; 
                        segs.unshift(elm.localName.toLowerCase() + '[' + i + ']'); 
                }; 
            }; 
            return segs.length ? '/' + segs.join('/') : null; 
        };
        var links = document.getElementsByTagName('a');
        var xPaths = Array.prototype.map.call(links, createXPathFromElement);
        return xPaths;
    });
});
casper.then(function(){
    this.each(xPaths, function(self, xpath){
        self.thenOpen(startURL);
        self.thenClick(x(xpath));
        //waiting some time may be necessary for single page applications
        self.wait(1000);
        self.then(function(a){
            //do something meaningful here
            this.echo(this.getCurrentUrl());
        });

        //Uncomment the following line in case each click opens a new page instead of staying at the same page
        //self.back()
    });
});
casper.run(function(){
    this.exit();
});
    InformationsquelleAutor Artjom B.
Schreibe einen Kommentar