Existe-t-il un ensemble de fichiers "Lorem ipsums" pour tester les problèmes d'encodage des caractères ?

Question

Pour la mise en page, nous avons notre fameux texte "Lorem ipsum" pour tester ce à quoi il ressemble.

Ce que je recherche, c'est un ensemble de fichiers contenant du texte codé avec plusieurs codages différents que je peux utiliser dans mes tests JUnit pour tester certaines méthodes qui traitent du codage des caractères lors de la lecture de fichiers texte.

Exemple :

Avoir un ISO 8859-1 et un fichier de test codé Windows-1252 fichier test codé. Les Windows-1252 doivent déclencher les différences dans la région 80. ₁₆ - 9F ₁₆ . En d'autres termes, il doit contenir au moins un caractère de cette région pour le distinguer de l'ISO 8859-1.

Peut-être que le meilleur ensemble de fichiers de test est celui où le fichier de test pour chaque encodage contient tous ses caractères une fois. Mais peut-être que je ne suis pas au courant de qqch - nous aimons tous ces trucs d'encodage, n'est-ce pas ? :-)

Existe-t-il un tel ensemble de fichiers de test pour les problèmes de codage des caractères ?

Answer 1

L'article de Wikipedia sur diacritiques est assez complet, malheureusement vous devez extraire ces caractères manuellement. Il peut également exister des moyens mnémotechniques pour chaque langue. Par exemple, en polonais, nous utilisons :

Zaó gl ja

qui contient les 9 diacritiques polonais dans une phrase correcte. Un autre indice de recherche utile est pangrammes : des phrases utilisant chaque lettre de l'alphabet au moins une fois :

• en espagnol, " La chauve-souris indienne rapide mangeait volontiers du chardon et du kiwi. La cigogne jouait du saxophone derrière le palenque de paille. " (les 27 lettres et diacritiques).

• en russe, " , " (les 33 lettres de l'alphabet cyrillique russe).

Liste des pangrammes contient un résumé exhaustif. Quelqu'un pourrait-il emballer tout cela dans un simple ?

public interface NationalCharacters {
  String spanish();
  String russian();
  //...
}

bibliothèque ?

Answer 2

Et si vous essayiez d'utiliser le UNITÉ DE SOINS INTENSIFS les fichiers de la suite de tests ? Je ne sais pas s'ils correspondent à ce dont vous avez besoin pour votre test, mais ils semblent avoir des fichiers de correspondance UTF de/vers assez complets, au moins : Lien vers le repo pour les fichiers de test de l'ICU

Answer 3

Je ne connais pas de documents textuels complets, mais si vous pouvez commencer par un simple aperçu de tous les jeux de caractères, il existe quelques fichiers disponibles à l'adresse suivante serveur ftp.unicode.org

Voici l'exemple de Windows-1252. La première colonne est la valeur hexadécimale du caractère, et la seconde la valeur unicode.

ftp://ftp.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/Windows/CP1250.TXT

Answer 4

J'ai utilisé un outil en ligne pour créer mes jeux de caractères à partir de Lorem Ipsum. Je pense que cela peut vous aider. Je n'en ai pas un qui présente tous les différents jeux de caractères sur une seule page.

http://generator.lorem-ipsum.info /

Answer 5

Il existe quelques configurations unicode complètes prêtes à l'emploi. téléchargeable directement .

De w3c

Ici, il y a un joli fichier de test par w3.org notamment : mathématiques, linguistique, grec, géorgien, russe, thaï, runes, braille et bien d'autres dans un seul fichier :

• https://www.w3.org/2001/06/utf-8-test/UTF-8-demo.html

Venant de w3.org, il devrait être agréable à utiliser, n'est-ce pas ?

Découper la partie HTML

Si vous voulez obtenir le "fichier txt original" sans risquer que votre éditeur ne l'abîme, 1) téléchargez, 2) faites un tail+head, 3) vérifiez avec un diff :

wget https://www.w3.org/2001/06/utf-8-test/UTF-8-demo.html
tail +8 UTF-8-demo.html | head -n -3 > UTF-8-demo.txt
diff UTF-8-demo.html UTF-8-demo.txt

Cela génère un UTF-8-demo.txt sans intervention humaine et sans risque de perte de données.

Plus de w3c

Il y a beaucoup plus de fichiers un niveau plus haut dans la structure du répertoire, toujours à l'intérieur du répertoire utf-8-test :

• https://www.w3.org/2001/06/utf-8-test/

Depuis github

Il y a également un fichier très intéressant ici avec TOUS les caractères imprimables (y compris les caractères chinois, braille, arabes, etc.).

• https://raw.githubusercontent.com/bits/UTF-8-Unicode-Test-Documents/master/UTF-8_sequence_separated/utf8_sequence_0-0x10ffff_assigned_printable.txt

Vous voulez aussi des caractères non imprimables ?

Il y a aussi beaucoup plus de fichiers de test dans le même dépôt :

• https://github.com/bits/UTF-8-Unicode-Test-Documents

et aussi un générateur si vous ne faites pas confiance au fichier engagé et que vous voulez le générer vous-même.

Mon choix personnel

J'ai décidé que pour mes projets, je commencerai avec 2 fichiers : Celui spécifique que j'ai pointé du w3c et celui spécifique que j'ai pointé du repo github par bits.