UTF-8, UTF-16 et UTF-32

Question

Quelles sont les différences entre UTF-8, UTF-16 et UTF-32 ?

Je comprends qu'ils stockent tous de l'Unicode et que chacun utilise un nombre différent d'octets pour représenter un caractère. Y a-t-il un avantage à choisir l'un plutôt que l'autre ?

Answer 1

UTF-8 a un avantage dans le cas où les caractères ASCII représentent la majorité des caractères dans un bloc de texte, car UTF-8 les code sur 8 bits (comme ASCII). Il est également avantageux dans la mesure où un fichier UTF-8 contenant uniquement des caractères ASCII a le même encodage qu'un fichier ASCII.

L'UTF-16 est meilleur là où l'ASCII n'est pas prédominant, car il utilise principalement 2 octets par caractère. L'UTF-8 commencera à utiliser 3 octets ou plus pour les caractères d'ordre supérieur, alors que l'UTF-16 n'utilise que 2 octets pour la plupart des caractères.

L'UTF-32 couvre tous les caractères possibles en 4 octets. Il est donc assez volumineux. Je ne vois aucun avantage à l'utiliser.

Answer 2

En bref :

• UTF-8 : encodage à largeur variable, rétrocompatible avec l'ASCII. Les caractères ASCII (U+0000 à U+007F) prennent 1 octet, les points de code U+0080 à U+07FF prennent 2 octets, les points de code U+0800 à U+FFFF prennent 3 octets, les points de code U+10000 à U+10FFFF prennent 4 octets. C'est bien pour les textes anglais, moins bien pour les textes asiatiques.
• UTF-16 : Encodage à largeur variable. Les points de code U+0000 à U+FFFF prennent 2 octets, les points de code U+10000 à U+10FFFF prennent 4 octets. Mauvais pour les textes anglais, bon pour les textes asiatiques.
• UTF-32 : Encodage à largeur fixe. Tous les points de code prennent quatre octets. C'est un énorme gouffre à mémoire, mais il est rapide à utiliser. Rarement utilisé.

En long : voir Wikipédia : UTF-8 , UTF-16 y UTF-32 .

Answer 3

• UTF-8 est variable 1 à 4 des octets.

• UTF-16 est variable 2 ou 4 des octets.

• UTF-32 est corrigé 4 des octets.

Answer 4

Unicode définit un immense jeu de caractères unique, attribuant une valeur entière unique à chaque symbole graphique (il s'agit d'une simplification majeure, qui n'est pas réellement vraie, mais qui est suffisamment proche pour les besoins de cette question). UTF-8/16/32 sont simplement des façons différentes d'encoder cela.

En bref, l'UTF-32 utilise des valeurs de 32 bits pour chaque caractère. Cela permet d'utiliser un code de largeur fixe pour chaque caractère.

L'UTF-16 utilise 16 bits par défaut, mais cela ne donne que 65 000 caractères possibles, ce qui est loin d'être suffisant pour l'ensemble des caractères Unicode. Certains caractères utilisent donc des paires de valeurs de 16 bits.

L'UTF-8 utilise des valeurs de 8 bits par défaut, ce qui signifie que les 127 premières valeurs sont des caractères d'un octet de largeur fixe (le bit le plus significatif est utilisé pour indiquer qu'il s'agit du début d'une séquence de plusieurs octets, ce qui laisse 7 bits pour la valeur réelle du caractère). Tous les autres caractères sont encodés comme des séquences de 4 octets maximum (si ma mémoire est bonne).

Cela nous amène à parler des avantages. Tous les caractères ASCII sont directement compatibles avec l'UTF-8, de sorte que pour la mise à jour des applications existantes, l'UTF-8 est un choix courant et évident. Dans presque tous les cas, c'est aussi celui qui utilise le moins de mémoire. D'un autre côté, vous ne pouvez pas garantir la largeur d'un caractère. Il peut avoir une largeur de 1, 2, 3 ou 4 caractères, ce qui complique la manipulation des chaînes de caractères.

UTF-32 est à l'opposé, il utilise le plus de mémoire (chaque caractère a une largeur fixe de 4 octets), mais d'un autre côté, vous pouvez conozca que chaque caractère a cette longueur précise, ce qui simplifie grandement la manipulation des chaînes de caractères. Vous pouvez calculer le nombre de caractères d'une chaîne simplement à partir de sa longueur en octets. Ce n'est pas possible avec l'UTF-8.

L'UTF-16 est un compromis. Il permet à le plus tiennent dans une valeur de 16 bits de largeur fixe. Ainsi, tant que vous n'avez pas de symboles chinois, de notes de musique ou autres, vous pouvez supposer que chaque caractère a une largeur de 16 bits. Il utilise moins de mémoire que l'UTF-32. Mais c'est en quelque sorte "le pire des deux mondes". Il utilise presque toujours plus de mémoire que l'UTF-8 et n'évite toujours pas le problème qui affecte l'UTF-8 (caractères de longueur variable).

Enfin, il est souvent utile de se contenter de ce que la plateforme prend en charge. Windows utilise UTF-16 en interne, c'est donc le choix le plus évident.

Linux varie un peu, mais utilise généralement UTF-8 pour tout ce qui est compatible avec Unicode.

La réponse est donc courte : Les trois codages peuvent coder le même jeu de caractères, mais ils représentent chaque caractère sous la forme de séquences d'octets différentes.

Answer 5

Unicode est une norme et environ UTF-x vous pouvez considérer qu'il s'agit d'une mise en œuvre technique à des fins pratiques :

• UTF-8 - " taille optimisée " : mieux adapté aux données basées sur des caractères latins (ou ASCII), il ne prend qu'un octet par caractère mais la taille augmente en fonction de la variété des symboles (et dans le pire des cas peut atteindre 6 octets par caractère).
• UTF-16 - " équilibre " : il faut au moins 2 octets par caractère, ce qui est suffisant pour l'ensemble des langues courantes, avec une taille fixe pour faciliter la manipulation des caractères (mais la taille reste variable et peut atteindre 4 octets par caractère).
• UTF-32 - " performance " : permet l'utilisation d'algorithmes simples grâce à des caractères de taille fixe (4 octets), mais présente des inconvénients en termes de mémoire.