Comment détecter le codage des caractères d'un fichier texte ?

Question

J'essaie de détecter quel est le codage des caractères utilisé dans mon fichier.

J'essaie avec ce code d'obtenir l'encodage standard

public static Encoding GetFileEncoding(string srcFile)
    {
      // *** Use Default of Encoding.Default (Ansi CodePage)
      Encoding enc = Encoding.Default;

      // *** Detect byte order mark if any - otherwise assume default
      byte[] buffer = new byte[5];
      FileStream file = new FileStream(srcFile, FileMode.Open);
      file.Read(buffer, 0, 5);
      file.Close();

      if (buffer[0] == 0xef && buffer[1] == 0xbb && buffer[2] == 0xbf)
        enc = Encoding.UTF8;
      else if (buffer[0] == 0xfe && buffer[1] == 0xff)
        enc = Encoding.Unicode;
      else if (buffer[0] == 0 && buffer[1] == 0 && buffer[2] == 0xfe && buffer[3] == 0xff)
        enc = Encoding.UTF32;
      else if (buffer[0] == 0x2b && buffer[1] == 0x2f && buffer[2] == 0x76)
        enc = Encoding.UTF7;
      else if (buffer[0] == 0xFE && buffer[1] == 0xFF)      
        // 1201 unicodeFFFE Unicode (Big-Endian)
        enc = Encoding.GetEncoding(1201);      
      else if (buffer[0] == 0xFF && buffer[1] == 0xFE)      
        // 1200 utf-16 Unicode
        enc = Encoding.GetEncoding(1200);

      return enc;
    }

Mes cinq premiers octets sont 60, 118, 56, 46 et 49.

Existe-t-il un tableau qui montre quel encodage correspond à ces cinq premiers octets ?

Answer 1

Vous ne pouvez pas compter sur le fait que le fichier ait une nomenclature. L'UTF-8 ne l'exige pas. Et les encodages non-Unicode n'ont même pas de BOM. Il existe cependant d'autres moyens de détecter l'encodage.

UTF-32

La nomenclature est 00 00 FE FF (pour BE) ou FF FE 00 00 (pour LE).

Mais l'UTF-32 est facile à détecter, même sans nomenclature. En effet, la plage de points de code Unicode est limitée à U+10FFFF, et donc les unités UTF-32 ont toujours le motif 00 {0x|10} xx xx (pour BE) ou xx xx {0x|10} 00 (pour LE). Si les données ont une longueur qui est un multiple de 4, et suivent l'un de ces modèles, vous pouvez supposer sans risque qu'il s'agit d'UTF-32. Les faux positifs sont presque impossibles en raison de la rareté des octets 00 dans les codages orientés octet.

US-ASCII

Pas de nomenclature, mais vous n'en avez pas besoin. L'ASCII est facilement identifiable par l'absence d'octets dans la plage 80-FF.

UTF-8

La nomenclature est EF BB BF. Mais vous ne pouvez pas vous fier à cela. De nombreux fichiers UTF-8 n'ont pas de BOM, surtout s'ils proviennent de systèmes non-Windows.

Mais vous pouvez supposer sans risque que si un fichier est validé comme UTF-8, c'est que est UTF-8. Les faux positifs sont rares.

Plus précisément, étant donné que les données ne sont pas ASCII, le taux de faux positifs pour une séquence de 2 octets n'est que de 3,9 % (1920/49152). Pour une séquence de 7 octets, il est inférieur à 1 %. Pour une séquence de 12 octets, il est inférieur à 0,1 %. Pour une séquence de 24 octets, il est inférieur à 1 sur un million.

UTF-16

La nomenclature est FE FF (pour BE) ou FF FE (pour LE). Notez que la BOM UTF-16LE se trouve au début de la BOM UTF-32LE, donc vérifiez d'abord l'UTF-32.

Il peut exister des fichiers UTF-16 sans BOM, mais il serait très difficile de les détecter. La seule façon fiable de reconnaître un UTF-16 sans BOM est de rechercher des paires de substituts (D[8-B]xx D[C-F]xx), mais les caractères non BMP sont trop rarement utilisés pour que cette approche soit pratique.

XML

Si votre fichier commence par les octets 3C 3F 78 6D 6C (c'est-à-dire les caractères ASCII "<?xml"), recherchez une balise encoding= déclaration. S'il est présent, il faut utiliser cet encodage. S'il n'y en a pas, il s'agit de l'encodage UTF-8, qui est l'encodage XML par défaut.

Si vous devez prendre en charge l'EBCDIC, recherchez également la séquence équivalente 4C 6F A7 94 93.

En général, si un format de fichier contient une déclaration d'encodage, recherchez cette déclaration plutôt que d'essayer de deviner l'encodage.

Aucune de ces réponses

Il existe des centaines d'autres encodages, dont la détection demande plus d'efforts. Je recommande d'essayer Le détecteur d'encodage de Mozilla ou un portage .NET de celui-ci .

Answer 2

Si vous souhaitez rechercher une solution "simple", ce cours que j'ai mis sur pied pourrait vous être utile :

http://www.architectshack.com/TextFileEncodingDetector.ashx

Il commence par détecter automatiquement la BOM, puis tente de faire la différence entre les encodages Unicode sans BOM et un autre encodage par défaut (généralement Windows-1252, incorrectement appelé Encoding.ASCII dans .Net).

Comme indiqué ci-dessus, une solution plus "lourde" impliquant NCharDet ou MLang peut être plus appropriée, et comme je le note sur la page d'aperçu de cette classe, le mieux est de fournir une certaine forme d'interactivité avec l'utilisateur si possible, car il n'y a tout simplement pas de taux de détection de 100% possible !

Answer 3

Utilisez StreamReader et lui demander de détecter l'encodage pour vous :

using (var reader = new System.IO.StreamReader(path, true))
{
    var currentEncoding = reader.CurrentEncoding;
}

Answer 4

Oui, il y en a un ici : http://en.wikipedia.org/wiki/Byte_order_mark#Representations_of_byte_order_marks_by_encoding .

Answer 5

Vous devriez lire ceci : Comment détecter l'encodage/codepage d'un fichier texte ?