Comment détecter si un fichier est binaire (non textuel) en Python ?

Question

Comment puis-je savoir si un fichier est binaire (non textuel) en Python ?

J'effectue une recherche dans un grand ensemble de fichiers en Python, et je continue à obtenir des correspondances dans des fichiers binaires. Cela donne un aspect incroyablement désordonné à la sortie.

Je sais que je pourrais utiliser grep -I mais je fais plus avec les données que ce que grep permet.

Dans le passé, j'aurais simplement cherché les caractères supérieurs à 0x7f mais utf8 et autres, rendent cela impossible sur les systèmes modernes. Idéalement, la solution devrait être rapide.

Answer 1

Encore une autre méthode basé sur le comportement du fichier(1) :

>>> textchars = bytearray({7,8,9,10,12,13,27} | set(range(0x20, 0x100)) - {0x7f})
>>> is_binary_string = lambda bytes: bool(bytes.translate(None, textchars))

Exemple :

>>> is_binary_string(open('/usr/bin/python', 'rb').read(1024))
True
>>> is_binary_string(open('/usr/bin/dh_python3', 'rb').read(1024))
False

Answer 2

Vous pouvez également utiliser le mimetypes module :

import mimetypes
...
mime = mimetypes.guess_type(file)

Il est assez facile de compiler une liste des types mime binaires. Par exemple, Apache est distribué avec un fichier mime.types que vous pouvez analyser en un ensemble de listes, binaire et texte, puis vérifier si le type mime se trouve dans votre liste texte ou binaire.

Answer 3

Essayez ça :

def is_binary(filename):
    """Return true if the given filename is binary.
    @raise EnvironmentError: if the file does not exist or cannot be accessed.
    @attention: found @ http://bytes.com/topic/python/answers/21222-determine-file-type-binary-text on 6/08/2010
    @author: Trent Mick <TrentM@ActiveState.com>
    @author: Jorge Orpinel <jorge@orpinel.com>"""
    fin = open(filename, 'rb')
    try:
        CHUNKSIZE = 1024
        while 1:
            chunk = fin.read(CHUNKSIZE)
            if '\0' in chunk: # found null byte
                return True
            if len(chunk) < CHUNKSIZE:
                break # done
    # A-wooo! Mira, python no necesita el "except:". Achis... Que listo es.
    finally:
        fin.close()

    return False

Answer 4

Si cela peut vous aider, de nombreux types binaires commencent par un chiffre magique. Voici une liste de signatures de fichiers.

Answer 5

Voici une suggestion qui utilise le système Unix fichier commandement :

import re
import subprocess

def istext(path):
    return (re.search(r':.* text',
                      subprocess.Popen(["file", '-L', path], 
                                       stdout=subprocess.PIPE).stdout.read())
            is not None)

Exemple d'utilisation :

\>>> istext('/etc/motd') 
True
>>> istext('/vmlinuz') 
False
>>> open('/tmp/japanese').read()
'\\xe3\\x81\\x93\\xe3\\x82\\x8c\\xe3\\x81\\xaf\\xe3\\x80\\x81\\xe3\\x81\\xbf\\xe3\\x81\\x9a\\xe3\\x81\\x8c\\xe3\\x82\\x81\\xe5\\xba\\xa7\\xe3\\x81\\xae\\xe6\\x99\\x82\\xe4\\xbb\\xa3\\xe3\\x81\\xae\\xe5\\xb9\\x95\\xe9\\x96\\x8b\\xe3\\x81\\x91\\xe3\\x80\\x82\\n'
>>> istext('/tmp/japanese') # works on UTF-8
True

Il présente l'inconvénient de ne pas être portable sous Windows (à moins que vous ne disposiez de quelque chose comme l'application file ), et de devoir lancer un processus externe pour chaque fichier, ce qui n'est pas toujours agréable.