Java : Comment déterminer le codage correct du jeu de caractères d'un flux ?

Question

En ce qui concerne le fil de discussion suivant : Java App : Impossible de lire correctement un fichier encodé en iso-8859-1

Quelle est la meilleure façon de déterminer par programme l'encodage correct d'un flux d'entrée/fichier ?

J'ai essayé d'utiliser ce qui suit :

File in =  new File(args[0]);
InputStreamReader r = new InputStreamReader(new FileInputStream(in));
System.out.println(r.getEncoding());

Mais sur un fichier dont je sais qu'il est codé avec ISO8859_1, le code ci-dessus donne ASCII, ce qui n'est pas correct, et ne me permet pas de restituer correctement le contenu du fichier à la console.

Answer 1

Vous ne pouvez pas déterminer l'encodage d'un flux d'octets arbitraire. C'est la nature même des encodages. Un encodage signifie une correspondance entre une valeur d'octet et sa représentation. Ainsi, chaque encodage "pourrait" être le bon.

El getEncoding() retournera l'encodage qui a été configuré (lisez la page d'accueil du site web de l'UE). JavaDoc ) pour le flux. Il ne va pas deviner l'encodage pour vous.

Certains flux vous indiquent quel encodage a été utilisé pour les créer : XML, HTML. Mais pas un flux d'octets arbitraire.

Quoi qu'il en soit, vous pouvez essayer de deviner un encodage par vous-même si vous le devez. Chaque langue a une fréquence commune pour chaque caractère. En anglais, le caractère e apparaît très souvent, mais ê n'apparaît que très rarement. Dans un flux ISO-8859-1, il n'y a généralement pas de caractères 0x00. Mais un flux UTF-16 en contient beaucoup.

Ou : vous pourriez demander à l'utilisateur. J'ai déjà vu des applications qui vous présentent un extrait du fichier dans différents codages et vous demandent de sélectionner le "bon".

Answer 2

J'ai utilisé cette bibliothèque, similaire à jchardet pour détecter l'encodage en Java : https://github.com/albfernandez/juniversalchardet

Answer 3

Regarde ça : http://site.icu-project.org/ (icu4j) ils ont des bibliothèques pour détecter le charset à partir de IOStream Cela pourrait être simple comme ceci :

BufferedInputStream bis = new BufferedInputStream(input);
CharsetDetector cd = new CharsetDetector();
cd.setText(bis);
CharsetMatch cm = cd.detect();

if (cm != null) {
   reader = cm.getReader();
   charset = cm.getName();
}else {
   throw new UnsupportedCharsetException()
}

Answer 4

Vous pouvez certainement valider le fichier pour un jeu de caractères particulier en décodage avec un CharsetDecoder et faire attention aux erreurs "malformed-input" ou "unmappable-character". Bien sûr, cela ne vous dit que si un jeu de caractères est incorrect ; cela ne vous dit pas s'il est correct. Pour cela, vous avez besoin d'une base de comparaison pour évaluer les résultats décodés, par exemple, savez-vous à l'avance si les caractères sont limités à un certain sous-ensemble, ou si le texte respecte un format strict ? En résumé, la détection des jeux de caractères est une conjecture sans aucune garantie.

Answer 5

J'ai trouvé une belle bibliothèque tierce qui peut détecter l'encodage réel : http://glaforge.free.fr/wiki/index.php?wiki=GuessEncoding

Je ne l'ai pas testé de manière approfondie mais cela semble fonctionner.