Tor-Web-Crawler

Es sei denn, ich bin fehlt etwas die Antwort ist ja, und hier finden Sie einige Unterlagen auf der Tor-Website. Die Anweisungen sind ziemlich spezifisch. Allerdings habe ich nicht gesetzt, Tor als proxy es ist etwas, das ich betrachtet habe, ist dies der Ort, den ich starten würde.

BEARBEITEN:
Es ist tot einfach setup Tor auf Linux und verwenden Sie es als ein proxy als die Dokumentation vermuten lässt.

sudo apt-get install tor
sudo /etc/init.d/tor start

netstat -ant | grep 9050 # verify Tor is running

Nun nach einem Blick durch OPs-code, den wir sehen, Anrufe zu file_get_contents. Während die einfachste Methode, um auf den ersten file_get_contents wird unhandlich, wenn Sie anfangen wollen, diese parametrisieren die Anfrage, da man stream Kontexten.

Erste Vorschlag ist, sich zu bewegen, um LOCKE, aber wieder, mehr zu Lesen, wie SOCKEN works w/HTTP ist probly, um wirklich zu beantworten, diese Frage... Aber um die Frage zu beantworten technisch, wie das senden einer HTTP-Anfrage zu einem Tor-SOCKS-proxy auf localhost, wieder einfach..

<?php  
$ch = curl_init('http://google.com'); 
curl_setopt($ch, CURLOPT_HEADER, 1); 
curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 1); 
curl_setopt($ch, CURLOPT_PROXY, 'https://127.0.01:9050/'); 
curl_exec($ch); 
curl_close($ch);

Aber was bedeutet Tor erzählen?

HTTP/1.0 501 Tor ist nicht HTTP-Proxy

Content-Type: text/html; charset=iso-8859-1

Grundsätzlich erfahren Sie mehr über SOCKEN & HTTP. Eine weitere option ist google nach PHP-SOCKEN-clients. Eine kurze Inspektion ergibt eine Bibliothek, die behauptet, es kann das senden von HTTP-Anforderungen über SOCKEN.

EDIT:

Gut, 1 mehr edit! Sekunden nach Beendigung meiner letzten post, ich habe einen Weg gefunden, es zu tun. Dieser Artikel zeigt uns, wie etwas einzurichten, genannt Privoxy, was übersetzt SOCKEN-Anfragen in HTTP-Anfragen. Setzen, dass vor der Tor und blamo, schicken wir den Proxy der HTTP-Anfragen durch Tor!

InformationsquelleAutor quickshiftin

Ich denke, es ist so einfach wie das ausführen der Befehlszeile Anfrage mit der usewithtor oder torifyoption. Zum Beispiel:

$ usewithtor crawl.php

Und das Skript wird in der Lage sein, um die Interaktion mit .Zwiebel-Websites. Dass bauen ein crawler Tor für mich, ich würde definitiv nicht diesen Weg gehen, der für die Produktion verwenden, die ich stattdessen verwenden python, PySocks und andere crawler Bibliotheken anstelle von CURL. Ich hoffe, dies beantwortet Ihre Frage und gibt Ihnen einige Ideen für die weitere Umsetzung der Strategien vorantreiben.

Dank

InformationsquelleAutor jamescampbell

Nur machen Sie eigene HTTP-proxy:

<?php

/**
* Proxy script that performs any HTTP request requested.
*/

//Check key
$key = 'YOUR_API_KEY';
if($_GET['key'] != $key) die; //Check for the API key

//Check URL
$url = isset($_GET['url']) ? trim(base64_decode($_GET['url'])) : '';
if(!$url || !filter_var($url, FILTER_VALIDATE_URL)) die; //Incorrect URL

class MyCurl {

    /**
    * CURL resource link
    * 
    * @var resource
    */
    protected $resource;

    /**
    * Constructor
    * 
    * @param String $host
    * @return MyCurl
    */
    public function __construct($url = 'localhost'){
        $this->resource = curl_init();
        $this->setUrl($url);
        $this->setOptions(array(
//         CURLOPT_RETURNTRANSFER => TRUE,
            CURLOPT_AUTOREFERER => TRUE,
            CURLOPT_FOLLOWLOCATION => TRUE,
            CURLOPT_REFERER => 'http://www.google.com/',
            CURLOPT_USERAGENT => 'Mozilla/5.0 (compatible; MSIE 5.01; Windows NT 5.0)',
            CURLOPT_SSL_VERIFYHOST => FALSE,
            CURLOPT_SSL_VERIFYPEER => FALSE,
        ));
    }

    /**
    * Set URL for the next request
    * 
    * @param String $url
    */
    public function setUrl($url = 'localhost') {
        $this->setOption(CURLOPT_URL, $url);
    }

    /**
    * Sets option to the CURL resource.
    * See http://www.php.net/manual/en/function.curl-setopt.php for option description
    * 
    * @param int $name Option identifier
    * @param mixed $value Option value
    * @return Crawler_Curl Returns itself for sugar-code
    */
    public function & setOption($name, $value){
        curl_setopt($this->resource, $name, $value);
        return $this;
    }

    /**
    * Sets multiple CURL options at once
    * 
    * @param array $options Associative array of options
    * @return Crawler_Curl Returns itself for sugar-code
    */
    public function & setOptions($options){
        curl_setopt_array($this->resource, $options);
        return $this;
    }

    /**
    * Set User-Agent header of the browser
    * 
    * @param String $useragent Defaults to Mozilla browser
    */
    public function setUserAgent($useragent = 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:22.0) Gecko/20100101 Firefox/22.0') {
        $this->setOption(CURLOPT_USERAGENT, $useragent);
    }

    /**
    * Get curl request info
    * 
    * @array
    */
    public function info() {
        return curl_getinfo($this->resource);
    }

    /**
    * Return sent headers if CURLINFO_HEADER_OUT option was enabled
    * 
    * @return String Headers
    */
    public function headersSent() {
        return curl_getinfo($this->resource, CURLINFO_HEADER_OUT);
    }

    /**
    * Executes CURL request
    *
    * @return mixed Returns CURL execution result
    */
    public function execute(){
        return curl_exec($this->resource);
    }

    /**
    * Cleans CURL connection
    */
    function __destruct(){
        curl_close($this->resource);
    }

}

$curl = new MyCurl($url);
$curl->execute();

InformationsquelleAutor jQguru