Téléchargement d'une image via urllib et python

Question

J'essaie donc de faire un script Python qui télécharge les webcomics et les met dans un dossier sur mon bureau. J'ai trouvé quelques programmes similaires sur ici qui font quelque chose de similaire, mais rien de tout à fait comme ce dont j'ai besoin. Celui que j'ai trouvé le plus similaire est juste ici ( http://bytes.com/topic/python/answers/850927-problem-using-urllib-download-images ). J'ai essayé d'utiliser ce code :

>>> import urllib
>>> image = urllib.URLopener()
>>> image.retrieve("http://www.gunnerkrigg.com//comics/00000001.jpg","00000001.jpg")
('00000001.jpg', <httplib.HTTPMessage instance at 0x1457a80>)

J'ai ensuite cherché dans mon ordinateur le fichier "00000001.jpg", mais je n'ai trouvé que l'image en cache de celui-ci. Je ne suis même pas sûr qu'il ait enregistré le fichier sur mon ordinateur. Une fois que j'ai compris comment obtenir le téléchargement du fichier, je pense savoir comment gérer le reste. Essentiellement, il suffit d'utiliser une boucle for et de diviser la chaîne au niveau de '00000000'.'jpg' et d'incrémenter le '00000000' jusqu'au plus grand nombre, que je devrais déterminer d'une manière ou d'une autre. Avez-vous des recommandations sur la meilleure façon de procéder ou sur la manière de télécharger le fichier correctement ?

Merci !

EDIT 15/06/10

Voici le script terminé, il enregistre les fichiers dans le répertoire de votre choix. Pour une raison étrange, les fichiers n'étaient pas téléchargés et ils l'ont juste fait. Toute suggestion sur la façon de le nettoyer serait très appréciée. Je travaille actuellement sur la façon de déterminer le nombre de bandes dessinées existant sur le site afin de pouvoir récupérer la dernière, plutôt que de faire quitter le programme après un certain nombre d'exceptions.

import urllib
import os

comicCounter=len(os.listdir('/file'))+1  # reads the number of files in the folder to start downloading at the next comic
errorCount=0

def download_comic(url,comicName):
    """
    download a comic in the form of

    url = http://www.example.com
    comicName = '00000000.jpg'
    """
    image=urllib.URLopener()
    image.retrieve(url,comicName)  # download comicName at URL

while comicCounter <= 1000:  # not the most elegant solution
    os.chdir('/file')  # set where files download to
        try:
        if comicCounter < 10:  # needed to break into 10^n segments because comic names are a set of zeros followed by a number
            comicNumber=str('0000000'+str(comicCounter))  # string containing the eight digit comic number
            comicName=str(comicNumber+".jpg")  # string containing the file name
            url=str("http://www.gunnerkrigg.com//comics/"+comicName)  # creates the URL for the comic
            comicCounter+=1  # increments the comic counter to go to the next comic, must be before the download in case the download raises an exception
            download_comic(url,comicName)  # uses the function defined above to download the comic
            print url
        if 10 <= comicCounter < 100:
            comicNumber=str('000000'+str(comicCounter))
            comicName=str(comicNumber+".jpg")
            url=str("http://www.gunnerkrigg.com//comics/"+comicName)
            comicCounter+=1
            download_comic(url,comicName)
            print url
        if 100 <= comicCounter < 1000:
            comicNumber=str('00000'+str(comicCounter))
            comicName=str(comicNumber+".jpg")
            url=str("http://www.gunnerkrigg.com//comics/"+comicName)
            comicCounter+=1
            download_comic(url,comicName)
            print url
        else:  # quit the program if any number outside this range shows up
            quit
    except IOError:  # urllib raises an IOError for a 404 error, when the comic doesn't exist
        errorCount+=1  # add one to the error count
        if errorCount>3:  # if more than three errors occur during downloading, quit the program
            break
        else:
            print str("comic"+ ' ' + str(comicCounter) + ' ' + "does not exist")  # otherwise say that the certain comic number doesn't exist
print "all comics are up to date"  # prints if all comics are downloaded

Answer 1

Python 2

Utilisation de urllib.urlretrieve

import urllib
urllib.urlretrieve("http://www.gunnerkrigg.com//comics/00000001.jpg", "00000001.jpg")

Python 3

Utilisation de urllib.request.urlretrieve (fait partie de l'interface héritée de Python 3, fonctionne exactement de la même manière)

import urllib.request
urllib.request.urlretrieve("http://www.gunnerkrigg.com//comics/00000001.jpg", "00000001.jpg")

Answer 2

import urllib
f = open('00000001.jpg','wb')
f.write(urllib.urlopen('http://www.gunnerkrigg.com//comics/00000001.jpg').read())
f.close()

Answer 3

Juste pour info, j'utilise la bibliothèque des demandes.

import requests
f = open('00000001.jpg','wb')
f.write(requests.get('http://www.gunnerkrigg.com//comics/00000001.jpg').content)
f.close()

Pourtant, il devrait vérifier l'erreur requests.get().

Answer 4

J'ai trouvé ceci réponse et j'édite cela de manière plus fiable

def download_photo(self, img_url, filename):
    try:
        image_on_web = urllib.urlopen(img_url)
        if image_on_web.headers.maintype == 'image':
            buf = image_on_web.read()
            path = os.getcwd() + DOWNLOADED_IMAGE_PATH
            file_path = "%s%s" % (path, filename)
            downloaded_image = file(file_path, "wb")
            downloaded_image.write(buf)
            downloaded_image.close()
            image_on_web.close()
        else:
            return False    
    except:
        return False
    return True

Ainsi, vous n'obtiendrez jamais d'autres ressources ou exceptions lors du téléchargement.

Answer 5

Le plus simple est d'utiliser .read() pour lire la réponse partielle ou complète, puis l'écrire dans un fichier que vous avez ouvert à un endroit connu.