Détecter charset et convertir en utf-8 en Python ?

Question

Existe-t-il une méthode universelle pour détecter les jeux de caractères ? J'utilise des balises IPTC et n'ai pas d'encodage connu. Je dois le détecter et ensuite les changer à utf-8.

Tout le monde peut aider ?

Answer 1

Vous voulez utiliser chardet, un détecteur d'encodage

Answer 2

C'est un peu tard, mais il y a aussi une autre solution : essayer d'utiliser pyicu.

Un exemple :

import icu
def convert_encoding(data, new_coding='UTF-8'):
    coding = icu.CharsetDetector(data).detect().getName()
    if new_coding.upper() != coding.upper():
        data = unicode(data, coding).encode(new_coding)
    return data

Answer 3

Si vous voulez le faire avec cchardet, vous pouvez utiliser cette fonction.

import cchardet
def convert_encoding(data, new_coding = 'UTF-8'):
  encoding = cchardet.detect(data)['encoding']

  if new_coding.upper() != encoding.upper():
    data = data.decode(encoding, data).encode(new_coding)

  return data

Answer 4

Il existe un autre module appelé cchardet

On dit qu'il est plus rapide que le cardet.

Notez qu'il nécessite Cython