Raclage de sites Web avec Python

Question

J'aimerais récupérer les heures quotidiennes de lever et de coucher du soleil sur un site web. Est-il possible de gratter du contenu web avec Python ? Quels sont les modules utilisés ? Y a-t-il un tutoriel disponible ?

Answer 1

Utilisez urllib2 en combinaison avec le brillant BelleSoupe bibliothèque :

import urllib2
from BeautifulSoup import BeautifulSoup
# or if you're using BeautifulSoup4:
# from bs4 import BeautifulSoup

soup = BeautifulSoup(urllib2.urlopen('http://example.com').read())

for row in soup('table', {'class': 'spad'})[0].tbody('tr'):
    tds = row('td')
    print tds[0].string, tds[1].string
    # will print date and sunrise

Answer 2

Je recommande vraiment Scrapy.

Citation d'une réponse effacée :

• Le crawling de Scrapy est plus rapide que celui de mechanize car il utilise des opérations asynchrones (en plus de Twisted).
• Scrapy dispose d'une prise en charge meilleure et plus rapide de l'analyse syntaxique (x)html sur la base de libxml2.
• Scrapy est un framework mature avec unicode complet, gère les redirections, les réponses gzippées, les encodages bizarres, le cache http intégré, etc.
• Une fois que vous êtes dans Scrapy, vous pouvez écrire un spider en moins de 5 minutes qui télécharge des images, crée des vignettes et exporte les données extraites directement vers csv ou json.

Answer 3

J'ai rassemblé des scripts de mon travail de scraping web dans ce document bibliothèque de bit-bucket .

Exemple script pour votre cas :

from webscraping import download, xpath
D = download.Download()

html = D.get('http://example.com')
for row in xpath.search(html, '//table[@class="spad"]/tbody/tr'):
    cols = xpath.search(row, '/td')
    print 'Sunrise: %s, Sunset: %s' % (cols[1], cols[2])

Sortie :

Sunrise: 08:39, Sunset: 16:08
Sunrise: 08:39, Sunset: 16:09
Sunrise: 08:39, Sunset: 16:10
Sunrise: 08:40, Sunset: 16:10
Sunrise: 08:40, Sunset: 16:11
Sunrise: 08:40, Sunset: 16:12
Sunrise: 08:40, Sunset: 16:13

Answer 4

Je vous conseille vivement de consulter pyquery . Il utilise une syntaxe semblable à celle de Jquery (c'est-à-dire semblable à celle de CSS), ce qui rend les choses vraiment faciles pour ceux qui viennent de ce milieu.

Dans votre cas, ce serait quelque chose comme :

from pyquery import *

html = PyQuery(url='http://www.example.com/')
trs = html('table.spad tbody tr')

for tr in trs:
  tds = tr.getchildren()
  print tds[1].text, tds[2].text

Sortie :

5:16 AM 9:28 PM
5:15 AM 9:30 PM
5:13 AM 9:31 PM
5:12 AM 9:33 PM
5:11 AM 9:34 PM
5:10 AM 9:35 PM
5:09 AM 9:37 PM

Answer 5

Vous pouvez utiliser urllib2 pour faire les requêtes HTTP, et ensuite vous aurez du contenu web.

Vous pouvez l'obtenir comme ça :

import urllib2
response = urllib2.urlopen('http://example.com')
html = response.read()

Une belle soupe est un analyseur HTML en python qui est supposé être bon pour le screen scraping.

En particulier, aquí est leur tutoriel sur l'analyse d'un document HTML.

Bonne chance !