Comment télécharger un fichier via HTTP ?

Question

J'ai un petit utilitaire que j'utilise pour télécharger un fichier MP3 à partir d'un site Web selon un calendrier, puis construire/mettre à jour un fichier XML de podcast que j'ai ajouté à iTunes.

Le traitement de texte qui crée/met à jour le fichier XML est écrit en Python. Cependant, j'utilise wget dans un système Windows .bat pour télécharger le fichier MP3. Je préférerais que l'utilitaire soit entièrement écrit en Python.

J'ai eu du mal à trouver un moyen de télécharger le fichier en Python, c'est pourquoi j'ai eu recours à la méthode suivante wget .

Alors, comment puis-je télécharger le fichier en utilisant Python ?

Answer 1

Encore une fois, en utilisant urlretrieve :

import urllib
urllib.urlretrieve ("http://www.example.com/songs/mp3.mp3", "mp3.mp3")

(pour Python 3+, utilisez import urllib.request et urllib.request.urlretrieve )

Encore un autre, avec une "barre de progression".

import urllib2

url = "http://download.thinkbroadband.com/10MB.zip"

file_name = url.split('/')[-1]
u = urllib2.urlopen(url)
f = open(file_name, 'wb')
meta = u.info()
file_size = int(meta.getheaders("Content-Length")[0])
print "Downloading: %s Bytes: %s" % (file_name, file_size)

file_size_dl = 0
block_sz = 8192
while True:
    buffer = u.read(block_sz)
    if not buffer:
        break

    file_size_dl += len(buffer)
    f.write(buffer)
    status = r"%10d  [%3.2f%%]" % (file_size_dl, file_size_dl * 100. / file_size)
    status = status + chr(8)*(len(status)+1)
    print status,

f.close()

Answer 2

Utilisez urllib.request.urlopen() :

import urllib.request
with urllib.request.urlopen('http://www.example.com/') as f:
    html = f.read().decode('utf-8')

Il s'agit de la façon la plus basique d'utiliser la bibliothèque, sans la gestion des erreurs. Vous pouvez aussi faire des choses plus complexes comme changer les en-têtes.

Sur Python 2, la méthode se trouve dans urllib2 :

import urllib2
response = urllib2.urlopen('http://www.example.com/')
html = response.read()

Answer 3

En 2012, utilisez le bibliothèque de requêtes python

>>> import requests
>>> 
>>> url = "http://download.thinkbroadband.com/10MB.zip"
>>> r = requests.get(url)
>>> print len(r.content)
10485760

Vous pouvez exécuter pip install requests pour l'obtenir.

Requests présente de nombreux avantages par rapport aux autres solutions, car l'API est beaucoup plus simple. Cela est particulièrement vrai si vous devez procéder à une authentification. urllib et urllib2 sont assez peu intuitifs et pénibles dans ce cas.

---

2015-12-30

Les gens ont exprimé leur admiration pour la barre de progression. C'est cool, bien sûr. Il existe désormais plusieurs solutions prêtes à l'emploi, notamment tqdm :

from tqdm import tqdm
import requests

url = "http://download.thinkbroadband.com/10MB.zip"
response = requests.get(url, stream=True)

with open("10MB", "wb") as handle:
    for data in tqdm(response.iter_content()):
        handle.write(data)

Il s'agit essentiellement de l'implémentation décrite par @kvance il y a 30 mois.

Answer 4

import urllib2
mp3file = urllib2.urlopen("http://www.example.com/songs/mp3.mp3")
with open('test.mp3','wb') as output:
  output.write(mp3file.read())

Le site wb sur open('test.mp3','wb') ouvre un fichier (et efface tout fichier existant) en mode binaire afin que vous puissiez y enregistrer des données plutôt que du texte.

Answer 5

Une version améliorée du code PabloG pour Python 2/3 :

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from __future__ import ( division, absolute_import, print_function, unicode_literals )

import sys, os, tempfile, logging

if sys.version_info >= (3,):
    import urllib.request as urllib2
    import urllib.parse as urlparse
else:
    import urllib2
    import urlparse

def download_file(url, dest=None):
    """ 
    Download and save a file specified by url to dest directory,
    """
    u = urllib2.urlopen(url)

    scheme, netloc, path, query, fragment = urlparse.urlsplit(url)
    filename = os.path.basename(path)
    if not filename:
        filename = 'downloaded.file'
    if dest:
        filename = os.path.join(dest, filename)

    with open(filename, 'wb') as f:
        meta = u.info()
        meta_func = meta.getheaders if hasattr(meta, 'getheaders') else meta.get_all
        meta_length = meta_func("Content-Length")
        file_size = None
        if meta_length:
            file_size = int(meta_length[0])
        print("Downloading: {0} Bytes: {1}".format(url, file_size))

        file_size_dl = 0
        block_sz = 8192
        while True:
            buffer = u.read(block_sz)
            if not buffer:
                break

            file_size_dl += len(buffer)
            f.write(buffer)

            status = "{0:16}".format(file_size_dl)
            if file_size:
                status += "   [{0:6.2f}%]".format(file_size_dl * 100 / file_size)
            status += chr(13)
            print(status, end="")
        print()

    return filename

if __name__ == "__main__":  # Only run if this file is called directly
    print("Testing with 10MB download")
    url = "http://download.thinkbroadband.com/10MB.zip"
    filename = download_file(url)
    print(filename)