Proxy avec urllib2

Question

J'ouvre les urls avec :

site = urllib2.urlopen('http://google.com')

Et ce que je veux faire, c'est me connecter de la même manière avec un proxy. que j'ai quelque part qui me dit :

site = urllib2.urlopen('http://google.com', proxies={'http':'127.0.0.1'})

mais ça n'a pas marché non plus.

Je sais que urllib2 a quelque chose comme un gestionnaire de proxy, mais je ne me souviens pas de cette fonction.

Answer 1

proxy = urllib2.ProxyHandler({'http': '127.0.0.1'})
opener = urllib2.build_opener(proxy)
urllib2.install_opener(opener)
urllib2.urlopen('http://www.google.com')

Answer 2

Vous devez installer un ProxyHandler

urllib2.install_opener(
    urllib2.build_opener(
        urllib2.ProxyHandler({'http': '127.0.0.1'})
    )
)
urllib2.urlopen('http://www.google.com')

Answer 3

Vous pouvez définir des proxies à l'aide de variables d'environnement.

import os
os.environ['http_proxy'] = '127.0.0.1'
os.environ['https_proxy'] = '127.0.0.1'

urllib2 ajoutera automatiquement des gestionnaires de proxy de cette façon. Vous devez définir les proxies pour les différents protocoles séparément, sinon ils échoueront (en termes de non passage par le proxy), voir ci-dessous.

Par exemple :

proxy = urllib2.ProxyHandler({'http': '127.0.0.1'})
opener = urllib2.build_opener(proxy)
urllib2.install_opener(opener)
urllib2.urlopen('http://www.google.com')
# next line will fail (will not go through the proxy) (https)
urllib2.urlopen('https://www.google.com')

Au lieu de cela,

proxy = urllib2.ProxyHandler({
    'http': '127.0.0.1',
    'https': '127.0.0.1'
})
opener = urllib2.build_opener(proxy)
urllib2.install_opener(opener)
# this way both http and https requests go through the proxy
urllib2.urlopen('http://www.google.com')
urllib2.urlopen('https://www.google.com')

Answer 4

Pour utiliser les proxies du système par défaut (par exemple à partir de la variable d'environnement http_support), ce qui suit fonctionne pour la requête courante (sans l'installer dans urllib2 globalement) :

url = 'http://www.example.com/'
proxy = urllib2.ProxyHandler()
opener = urllib2.build_opener(proxy)
in_ = opener.open(url)
in_.read()

Answer 5

En plus de la réponse acceptée : Mon scipt m'a donné une erreur

File "c:\Python23\lib\urllib2.py", line 580, in proxy_open
    if '@' in host:
TypeError: iterable argument required

La solution consistait à ajouter http:// devant la chaîne de caractères du proxy :

proxy = urllib2.ProxyHandler({'http': 'http://proxy.xy.z:8080'})
opener = urllib2.build_opener(proxy)
urllib2.install_opener(opener)
urllib2.urlopen('http://www.google.com')