Verzögerung jeder loop-iteration in node js, async

Können Sie ein timeout für die Ausführung des Codes in wachsenden Abständen, wie diese:

var interval = 10 * 1000; //10 seconds;

for (var i = 0; i <=TheUrl.length-1; i++) {
    setTimeout( function (i) {
        var url = 'www.myurl.com='+TheUrl[i];
        request(url, function(error, resp, body) { 
            if (error) return callback(error); 
            var $ = cheerio.load(body);
            //Some calculations again...
            callback();
        });
    }, interval * i, i);
}

Also die erste läuft sofort (Intervall * 0 ist 0), die zweite läuft nach zehn Sekunden, etc.

Müssen Sie senden i als letzter parameter in der setTimeout() so, dass Ihr Wert ist an die Funktion-argument. Ansonsten ist der Zugriff auf den array-Wert (out-of-bounds, und Sie erhalten undefined.

Verzögerung mehrere Seite holt mit async/await

Ich bin ein großer fan der asynchronen Bibliothek und ich habe für eine lange Zeit verwendet. Jedoch, jetzt gibt es async/await. Ihr code wird leichter zu Lesen. Zum Beispiel, wäre dies die wichtigste Funktion:

const urls = await fetchUrls(INITIAL_URL);

for (const url of urls) {
    await sleep(10000);
    const $ = await fetchPage(url);
    //do stuff with cheerio-processed page
}

Viel besser, nicht wahr? Bevor ich in die details, wie fetchPage() und fetchUrls() Arbeit, lassen Sie uns zunächst die Antwort auf Ihre Frage, wie zu warten, bevor das abrufen der nächsten Seite. Die sleep-Funktion ist ziemlich einfach:

async function sleep(millis) {
    return new Promise(resolve => setTimeout(resolve, millis));
}

Können Sie eine vollständige Erklärung, wie es funktioniert in meiner anderen Antwort hier.

Ok, zurück zu den anderen Funktionen. Die request Bibliothek hat ein Versprechen-fähigen version, die Sie verwenden können, mit async/await. Lassen Sie uns schauen, wie ' s fetchPage() umgesetzt:

async function fetchPage(url) {
    return await request({
        url: url,
        transform: (body) => cheerio.load(body)
    });
}

Seit request ist wieder ein Versprechen, wir können await auf Sie. Ich nutzte auch die chance, das transform Eigenschaft, die es uns ermöglicht Transform der Antwort body vor der Lösung der Verheißung. Ich bin der übergabe durch Cheerio, genauso, wie Sie es in Ihrem code.

Schließlich fetchUrls() können einfach anrufen fetchPage() zu und verarbeiten es zu Holen Ihr array von URLs vor der Lösung seiner Versprechen. Hier ist der vollständige code:

const
    request = require("request-promise-native"),
    cheerio = require("cheerio");

const
    INITIAL_URL = "http://your-initial-url.com";

/**
 * Asynchronously fetches the page referred to by `url`.
 *
 * @param {String} url - the URL of the page to be fetched
 * @return {Promise} promise to a cheerio-processed page
 */
async function fetchPage(url) {
    return await request({
        url: url,
        transform: (body) => cheerio.load(body)
    });
}

/**
 * Your initial fetch which will bring the list of URLs your looking for.
 *
 * @param {String} initialUrl - the initial URL
 * @return {Promise<string[]>} an array of URL strings
 */
async function fetchUrls(initialUrl) {
    const $ = await fetchPage(initialUrl);
    //process $ here and get urls
    return ["http://foo.com", "http://bar.com"];
}

/**
 * Clever way to do asynchronous sleep. 
 * Check this: https://stackoverflow.com/a/46720712/778272
 *
 * @param {Number} millis - how long to sleep in milliseconds
 * @return {Promise<void>}
 */
async function sleep(millis) {
    return new Promise(resolve => setTimeout(resolve, millis));
}

async function run() {
    const urls = await fetchUrls(INITIAL_URL);
    for (const url of urls) {
        await sleep(10000);
        const $ = await fetchPage(url);
        //do stuff with cheerio-processed page
    }
}

run();

Verwenden request mit dem Versprechen, installieren Sie es wie folgt:

npm install request
npm install request-promise-native

Dann require("request-promise-native") im code, wie im Beispiel oben.