Que dois-je utiliser pour ouvrir une url au lieu de urlopen dans urllib3 ?

Question

Je voulais écrire un morceau de code comme le suivant :

from bs4 import BeautifulSoup
import urllib2

url = 'http://www.thefamouspeople.com/singers.php'
html = urllib2.urlopen(url)
soup = BeautifulSoup(html)

Mais j'ai découvert que je dois installer urllib3 paquet maintenant.

De plus, je n'ai trouvé aucun tutoriel ou exemple permettant de comprendre comment réécrire le code ci-dessus, par exemple, urllib3 n'a pas urlopen .

Une explication ou un exemple, s'il vous plaît !

P/S : J'utilise python 3.4.

Answer 1

Urllib3 est une bibliothèque différente de urllib et urllib2. Elle possède beaucoup de fonctionnalités supplémentaires par rapport aux urllib de la bibliothèque standard, si vous en avez besoin, des choses comme la réutilisation des connexions. La documentation est ici : https://urllib3.readthedocs.org/

Si vous souhaitez utiliser urllib3, vous devrez pip install urllib3 . Un exemple de base ressemble à ceci :

from bs4 import BeautifulSoup
import urllib3

http = urllib3.PoolManager()

url = 'http://www.thefamouspeople.com/singers.php'
response = http.request('GET', url)
soup = BeautifulSoup(response.data)

Answer 2

Vous ne devez pas installer urllib3 . Vous pouvez choisir n'importe quelle bibliothèque de création de requêtes HTTP qui correspond à vos besoins et envoyer la réponse à BeautifulSoup . Le choix est cependant généralement requests en raison de la richesse de ses fonctionnalités et de son API pratique. Vous pouvez installer requests en entrant pip install requests dans la ligne de commande. Voici un exemple de base :

from bs4 import BeautifulSoup
import requests

url = "url"
response = requests.get(url)

soup = BeautifulSoup(response.content, "html.parser")

Answer 3

Le nouveau urllib3 a une bonne documentation aquí
Afin d'obtenir le résultat souhaité, vous devez suivre ces instructions :

Import urllib3
from bs4 import BeautifulSoup

url = 'http://www.thefamouspeople.com/singers.php'

http = urllib3.PoolManager()
response = http.request('GET', url)
soup = BeautifulSoup(response.data.decode('utf-8'))

La partie "decode utf-8" est optionnelle. Cela a fonctionné sans elle quand j'ai essayé, mais j'ai quand même mis l'option en ligne.
Source : Guide de l'utilisateur

Answer 4

Con gazpacho vous pourriez transformer la page directement en un objet de soupe analysable :

from gazpacho import Soup
url = "http://www.thefamouspeople.com/singers.php"
soup = Soup.get(url)

Et faire des trouvailles par-dessus le marché :

soup.find("div")

Answer 5

Dans urlip3, il n'y a pas de .urlopen essayez plutôt ceci :

import requests
html = requests.get(url)