Comment fonctionne le "codage à largeur variable" UTF-8 ?

Question

La norme Unicode comporte suffisamment de points de code pour qu'il faille 4 octets pour les stocker tous. C'est ce que fait l'encodage UTF-32. Pourtant, le codage UTF-8 les comprime en quelque sorte dans des espaces beaucoup plus petits en utilisant quelque chose appelé "codage à largeur variable".

En fait, il parvient à représenter les 127 premiers caractères de l'US-ASCII en un seul octet qui ressemble exactement au véritable ASCII, de sorte que vous pouvez interpréter beaucoup de texte ascii comme s'il s'agissait d'UTF-8 sans rien y faire. Un bon truc. Comment cela fonctionne-t-il ?

Je vais poser ma propre question et y répondre, car j'ai lu un peu pour trouver la réponse et j'ai pensé que cela pourrait faire gagner du temps à quelqu'un d'autre. De plus, quelqu'un pourra peut-être me corriger si j'ai fait des erreurs.

Answer 1

Chaque octet commence par quelques bits qui vous indiquent s'il s'agit d'un point de code d'un seul octet, d'un point de code de plusieurs octets ou de la suite d'un point de code de plusieurs octets. Comme ceci :

0xxxxxxx Un code US-ASCII à un octet (parmi les 127 premiers caractères)

Les points de code multi-octets commencent chacun par quelques bits qui disent essentiellement "hé, tu dois aussi lire l'octet suivant (ou deux, ou trois) pour comprendre ce que je suis". Ce sont les suivants :

110xxxxx Un autre octet suit

1110xxxx Deux autres octets suivent

11110xxx Trois autres octets suivent

Enfin, les octets qui suivent ces codes de départ ressemblent tous à ceci :

10xxxxxx Une continuation d'un des caractères multi-octets

Puisque vous pouvez savoir quel type d'octet vous regardez à partir des premiers bits, même si quelque chose est endommagé quelque part, vous ne perdez pas toute la séquence.

Answer 2

RFC3629 - UTF-8, un format de transformation de l'ISO 10646 est l'autorité finale ici et a toutes les explications.

En bref, plusieurs bits de chaque octet de la séquence de 1 à 4 octets codée en UTF-8 représentant un seul caractère sont utilisés pour indiquer s'il s'agit d'un octet de queue, d'un octet de tête et, le cas échéant, combien d'octets suivent. Les bits restants contiennent la charge utile.

Answer 3

UTF-8 était un autre système pour stocker votre chaîne de points de code Unicode, ces chiffres U+ magiques, en mémoire en utilisant des octets de 8 bits. En UTF-8, chaque point de code de 0 à 127 est stocké dans un seul octet. Seuls les points de code 128 et supérieurs sont stockés en utilisant 2, 3, en fait, jusqu'à 6 octets.

Extrait de Le minimum absolu que tout développeur de logiciels doit absolument, positivement connaître sur Unicode et les jeux de caractères (pas d'excuses !)

Answer 4

Je pense que le Article de Wikipedia répond à cette question. Ce qui est bien, c'est qu'il parle même de la combinaison des diacritiques et autres, ce que j'avais oublié il n'y a pas si longtemps.