Wie man urlib2 Anfragen durch Tor in Python macht?

Sie versuchen, eine Verbindung zu einem SOCKS-port - Tor lehnt jede nicht-SOCKEN-Verkehr. Sie können die Verbindung über einen Mittelsmann - Privoxy - Port 8118.

Beispiel:

proxy_support = urllib2.ProxyHandler({"http" : "127.0.0.1:8118"})
opener = urllib2.build_opener(proxy_support) 
opener.addheaders = [('User-agent', 'Mozilla/5.0')]
print opener.open('http://www.google.com').read()

Bitte beachten Sie auch Eigenschaften übergeben ProxyHandler, keine http-Präfix die ip:port

InformationsquelleAutor der Antwort Dmitri Farkov

Per privoxy als http-proxy vor dem tor funktioniert für mich - hier ist ein crawler-Vorlage:

import urllib2
import httplib

from BeautifulSoup import BeautifulSoup
from time import sleep

class Scraper(object):
    def __init__(self, options, args):
        if options.proxy is None:
            options.proxy = "http://localhost:8118/"
        self._open = self._get_opener(options.proxy)

    def _get_opener(self, proxy):
        proxy_handler = urllib2.ProxyHandler({'http': proxy})
        opener = urllib2.build_opener(proxy_handler)
        return opener.open

    def get_soup(self, url):
        soup = None
        while soup is None:
            try:
                request = urllib2.Request(url)
                request.add_header('User-Agent', 'foo bar useragent')
                soup = BeautifulSoup(self._open(request))
            except (httplib.IncompleteRead, httplib.BadStatusLine,
                    urllib2.HTTPError, ValueError, urllib2.URLError), err:
                sleep(1)
        return soup

class PageType(Scraper):
    _URL_TEMPL = "http://foobar.com/baz/%s"

    def items_from_page(self, url):
        nextpage = None
        soup = self.get_soup(url)

        items = []
        for item in soup.findAll("foo"):
            items.append(item["bar"])
            nexpage = item["href"]

        return nextpage, items

    def get_items(self):
        nextpage, items = self._categories_from_page(self._START_URL % "start.html")
        while nextpage is not None:
            nextpage, newitems = self.items_from_page(self._URL_TEMPL % nextpage)
            items.extend(newitems)
        return items()

pt = PageType()
print pt.get_items()

InformationsquelleAutor der Antwort

Folgende code ist 100% arbeiten auf Python 3.4

(Sie benötigen, um TOR Browser öffnen wil, mit diesem code)

Dieses Skript eine Verbindung zum TOR über socks5 bekommen die IP vom checkip.dyn.com ändern Sie die Identität, und senden Sie die Anforderung zum abrufen einer neuen IP (10 Durchläufe)

Zu installieren, müssen Sie die entsprechenden Bibliotheken, damit es funktioniert. (Genießen und nicht missbrauchen)

import socks
import socket
import time
from stem.control import Controller
from stem import Signal
import requests
from bs4 import BeautifulSoup
err = 0
counter = 0
url = "checkip.dyn.com"
with Controller.from_port(port = 9151) as controller:
    try:
        controller.authenticate()
        socks.setdefaultproxy(socks.PROXY_TYPE_SOCKS5, "127.0.0.1", 9150)
        socket.socket = socks.socksocket
        while counter < 10:
            r = requests.get("http://checkip.dyn.com")
            soup = BeautifulSoup(r.content)
            print(soup.find("body").text)
            counter = counter + 1
            #wait till next identity will be available
            controller.signal(Signal.NEWNYM)
            time.sleep(controller.get_newnym_wait())
    except requests.HTTPError:
        print("Could not reach URL")
        err = err + 1
print("Used " + str(counter) + " IPs and got " + str(err) + " errors")

InformationsquelleAutor der Antwort Amine

Update -
Die neuesten (ab v2.10.0) Anfragen Bibliothek unterstützt socks-Proxys mit einer zusätzlichen Anforderung von Anfragen[Socken].

Installation -

pip install requests requests[socks]

Grundsätzliche Verwendung -

import requests
session = requests.session()
# Tor uses the 9050 port as the default socks port
session.proxies = {'http':  'socks5://127.0.0.1:9050',
                   'https': 'socks5://127.0.0.1:9050'}

# Make a request through the Tor connection
# IP visible through Tor
print session.get("http://httpbin.org/ip").text
# Above should print an IP different than your public IP

# Following prints your normal public IP
print requests.get("http://httpbin.org/ip").text

Alte Antwort -
Obwohl dies ist eine alte post, beantworten, weil niemand scheint zu erwähnt haben die requesocks Bibliothek.

Es ist im Grunde eine Portierung des Anfragen Bibliothek. Bitte beachten Sie, dass die Bibliothek eine alte Gabel (Stand: 2013-03-25) und möglicherweise nicht die gleichen Funktionalitäten wie die neuesten Anforderungen der Bibliothek.

Installation -

pip install requesocks

Grundsätzliche Verwendung -

# Assuming that Tor is up & running
import requesocks
session = requesocks.session()
# Tor uses the 9050 port as the default socks port
session.proxies = {'http':  'socks5://127.0.0.1:9050',
                   'https': 'socks5://127.0.0.1:9050'}
# Make a request through the Tor connection
# IP visible through Tor
print session.get("http://httpbin.org/ip").text
# Above should print an IP different than your public IP
# Following prints your normal public IP
import requests
print requests.get("http://httpbin.org/ip").text

InformationsquelleAutor der Antwort shad0w_wa1k3r

Tor ist ein socks-proxy. Verbinden Sie es direkt mit das Beispiel, das Sie anführen schlägt mit "urlopen error-Tunnel-Verbindung ist fehlgeschlagen: 501 Tor ist nicht HTTP-Proxy". Wie andere erwähnt haben, die Sie bekommen können, um dieses mit Privoxy.

Alternativ können Sie auch PycURL oder SocksiPy. Beispiele für die Verwendung sowohl mit tor sehen...

https://stem.torproject.org/tutorials/to_russia_with_love.html

InformationsquelleAutor der Antwort Damian

Dachte, ich würde teilen eine Lösung, die für mich gearbeitet (Python ist3, windows10):

Schritt 1: Aktivieren Sie Ihr Tor ControlPort an 9151.

Tor-service läuft auf Standard-port 9150 und ControlPort auf 9151. Sie sollten in der Lage sein, um zu sehen, lokale Adresse 127.0.0.1:9150 und 127.0.0.1:9151 beim ausführen netstat -an.

[go to windows terminal]
cd ...\Tor Browser\Browser\TorBrowser\Tor
tor --service remove
tor --service install -options ControlPort 9151
netstat -an 

Schritt 2: Python-Skript wie folgt.

# library to launch and kill Tor process
import os
import subprocess

# library for Tor connection
import socket
import socks
import http.client
import time
import requests
from stem import Signal
from stem.control import Controller

# library for scraping
import csv
import urllib
from bs4 import BeautifulSoup
import time

def launchTor():
    # start Tor (wait 30 sec for Tor to load)
    sproc = subprocess.Popen(r'.../Tor Browser/Browser/firefox.exe')
    time.sleep(30)
    return sproc

def killTor(sproc):
    sproc.kill()

def connectTor():
    socks.setdefaultproxy(socks.PROXY_TYPE_SOCKS5, "127.0.0.1", 9150, True)
    socket.socket = socks.socksocket
    print("Connected to Tor")

def set_new_ip():
    # disable socks server and enabling again
    socks.setdefaultproxy()
    """Change IP using TOR"""
    with Controller.from_port(port=9151) as controller:
        controller.authenticate()
        socks.setdefaultproxy(socks.PROXY_TYPE_SOCKS5, "127.0.0.1", 9150, True)
        socket.socket = socks.socksocket
        controller.signal(Signal.NEWNYM)

def checkIP():
    conn = http.client.HTTPConnection("icanhazip.com")
    conn.request("GET", "/")
    time.sleep(3)
    response = conn.getresponse()
    print('current ip address :', response.read())

# Launch Tor and connect to Tor network
sproc = launchTor()
connectTor()

# list of url to scrape
url_list = [list of all the urls you want to scrape]

for url in url_list:
    # set new ip and check ip before scraping for each new url
    set_new_ip()
    # allow some time for IP address to refresh
    time.sleep(5)
    checkIP()

    '''
    [insert your scraping code here: bs4, urllib, your usual thingy]
    '''

# remember to kill process 
killTor(sproc)

Diesem Skript oben erneuert IP-Adresse für jede URL, die Sie wollen, zu kratzen. Nur stellen Sie sicher, zu schlafen, lange genug, für IP zu ändern. Zuletzt getestet gestern. Hoffe, das hilft!

InformationsquelleAutor der Antwort KittyBot