Obtenir le hachage MD5 de gros fichiers en Python

Question

J'ai utilisé hashlib (qui remplace md5 dans Python 2.6/3.0) et cela a bien fonctionné si j'ai ouvert un fichier et mis son contenu dans hashlib.md5() fonction.

Le problème avec les très gros fichiers est que leur taille peut dépasser celle de la RAM.

Comment obtenir le hachage MD5 d'un fichier sans charger le fichier entier en mémoire ?

Answer 1

Vous devez lire le fichier par morceaux de taille appropriée :

def md5_for_file(f, block_size=2**20):
    md5 = hashlib.md5()
    while True:
        data = f.read(block_size)
        if not data:
            break
        md5.update(data)
    return md5.digest()

NOTE : Assurez-vous que vous ouvrez votre fichier avec le 'rb' à l'ouverture - sinon vous obtiendrez le mauvais résultat.

Donc, pour faire le tout en une seule méthode - utilisez quelque chose comme :

def generate_file_md5(rootdir, filename, blocksize=2**20):
    m = hashlib.md5()
    with open( os.path.join(rootdir, filename) , "rb" ) as f:
        while True:
            buf = f.read(blocksize)
            if not buf:
                break
            m.update( buf )
    return m.hexdigest()

La mise à jour ci-dessus est basée sur les commentaires fournis par Frerich Raabe. Je l'ai testée et je l'ai trouvée correcte sur mon installation Windows de Python 2.7.2.

J'ai vérifié les résultats à l'aide de l'outil "jacksum".

jacksum -a md5 <filename>

http://www.jonelo.de/java/jacksum/

Answer 2

Décomposez le fichier en morceaux de 8192 octets (ou tout autre multiple de 128 octets) et envoyez-les consécutivement à MD5 en utilisant update() .

Cela permet de tirer parti du fait que le MD5 possède des blocs de résumé de 128 octets (8192 est 128×64). Comme vous ne lisez pas l'intégralité du fichier en mémoire, cette opération n'utilisera pas beaucoup plus de 8192 octets de mémoire.

En Python 3.8+ vous pouvez faire

import hashlib
with open("your_filename.txt", "rb") as f:
    file_hash = hashlib.md5()
    while chunk := f.read(8192):
        file_hash.update(chunk)
print(file_hash.digest())
print(file_hash.hexdigest())  # to get a printable str instead of bytes

Answer 3

J'ai incorporé ci-dessous les suggestions des commentaires. Merci à tous !

python < 3.7

import hashlib

def checksum(filename, hash_factory=hashlib.md5, chunk_num_blocks=128):
    h = hash_factory()
    with open(filename,'rb') as f: 
        for chunk in iter(lambda: f.read(chunk_num_blocks*h.block_size), b''): 
            h.update(chunk)
    return h.digest()

python 3.8 et plus

import hashlib

def checksum(filename, hash_factory=hashlib.md5, chunk_num_blocks=128):
    h = hash_factory()
    with open(filename,'rb') as f: 
        while chunk := f.read(chunk_num_blocks*h.block_size): 
            h.update(chunk)
    return h.digest()

poste original

Si vous souhaitez une méthode plus pythique (pas de 'while True') pour lire le fichier, consultez ce code :

import hashlib

def checksum_md5(filename):
    md5 = hashlib.md5()
    with open(filename,'rb') as f: 
        for chunk in iter(lambda: f.read(8192), b''): 
            md5.update(chunk)
    return md5.digest()

Notez que le func iter() a besoin d'une chaîne d'octets vide pour que l'itérateur retourné s'arrête à EOF, puisque read() retourne b'' (et pas seulement '').

Answer 4

Voici ma version de la méthode de @Piotr Czapla :

def md5sum(filename):
    md5 = hashlib.md5()
    with open(filename, 'rb') as f:
        for chunk in iter(lambda: f.read(128 * md5.block_size), b''):
            md5.update(chunk)
    return md5.hexdigest()

Answer 5

En utilisant plusieurs commentaires/réponses dans ce fil, voici ma solution :

import hashlib
def md5_for_file(path, block_size=256*128, hr=False):
    '''
    Block size directly depends on the block size of your filesystem
    to avoid performances issues
    Here I have blocks of 4096 octets (Default NTFS)
    '''
    md5 = hashlib.md5()
    with open(path,'rb') as f: 
        for chunk in iter(lambda: f.read(block_size), b''): 
             md5.update(chunk)
    if hr:
        return md5.hexdigest()
    return md5.digest()

• C'est "pythonique".
• Il s'agit d'une fonction
• Il évite les valeurs implicites : préférez toujours les valeurs explicites.
• Il permet d'optimiser les performances (très importantes)

Et enfin,

- Ce site a été construit par une communauté, merci à tous pour vos conseils/idées.