Comment obtenir une représentation cohérente en octets des chaînes de caractères en C# sans spécifier manuellement un encodage ?

Question

Comment convertir un string à un byte[] dans .NET (C#) sans spécifier manuellement un encodage spécifique ?

Je vais crypter la chaîne. Je peux la chiffrer sans la convertir, mais j'aimerais quand même savoir pourquoi l'encodage entre en jeu ici.

En outre, pourquoi l'encodage devrait-il être pris en considération ? Ne puis-je pas simplement obtenir les octets dans lesquels la chaîne a été stockée ? Pourquoi y a-t-il une dépendance aux encodages de caractères ?

Answer 1

Contrairement aux réponses données ici, vous n'avez pas besoin de vous soucier de l'encodage. _si_ les octets n'ont pas besoin d'être interprétés !

Comme vous l'avez mentionné, votre but est, simplement, de "récupérer les octets dans lesquels la chaîne a été stockée" .
(Et, bien sûr, être capable de reconstruire la chaîne de caractères à partir des octets).

Pour ces objectifs, je fais honnêtement no comprendre pourquoi les gens ne cessent de vous dire que vous avez besoin des encodages. Vous n'avez certainement PAS besoin de vous soucier des encodages pour cela.

Fais ça à la place :

static byte[] GetBytes(string str)
{
    byte[] bytes = new byte[str.Length * sizeof(char)];
    System.Buffer.BlockCopy(str.ToCharArray(), 0, bytes, 0, bytes.Length);
    return bytes;
}

// Do NOT use on arbitrary bytes; only use on GetBytes's output on the SAME system
static string GetString(byte[] bytes)
{
    char[] chars = new char[bytes.Length / sizeof(char)];
    System.Buffer.BlockCopy(bytes, 0, chars, 0, bytes.Length);
    return new string(chars);
}

Tant que votre programme (ou d'autres programmes) ne tente pas de interpréter les octets d'une manière ou d'une autre, ce que vous n'avez manifestement pas mentionné avoir l'intention de faire, il y a alors rien Cette approche n'est pas mauvaise ! Se préoccuper des codages ne fait que vous compliquer la vie sans raison réelle.

Avantage supplémentaire de cette approche : Peu importe que la chaîne contienne des caractères invalides, car vous pouvez toujours récupérer les données et reconstruire la chaîne d'origine !

Il sera codé et décodé de la même façon, parce que vous êtes juste en regardant les octets .

Mais si vous aviez utilisé un encodage spécifique, vous auriez eu des problèmes avec l'encodage/décodage de caractères invalides.

Answer 2

Cela dépend de l'encodage de votre chaîne ( ASCII , UTF-8 , ...).

Par exemple :

byte[] b1 = System.Text.Encoding.UTF8.GetBytes (myString);
byte[] b2 = System.Text.Encoding.ASCII.GetBytes (myString);

Un petit exemple de l'importance du codage :

string pi = "\u03a0";
byte[] ascii = System.Text.Encoding.ASCII.GetBytes (pi);
byte[] utf8 = System.Text.Encoding.UTF8.GetBytes (pi);

Console.WriteLine (ascii.Length); //Will print 1
Console.WriteLine (utf8.Length); //Will print 2
Console.WriteLine (System.Text.Encoding.ASCII.GetString (ascii)); //Will print '?'

L'ASCII n'est tout simplement pas équipé pour traiter les caractères spéciaux.

En interne, le cadre .NET utilise UTF-16 pour représenter les chaînes de caractères, donc si vous voulez simplement obtenir les octets exacts que .NET utilise, utilisez System.Text.Encoding.Unicode.GetBytes (...) .

Voir Codage des caractères dans le cadre de .NET (MSDN) pour plus d'informations.

Answer 3

La réponse acceptée est très, très compliquée. Utilisez les classes .NET incluses pour cela :

const string data = "A string with international characters: Norwegian: ÆØÅæøå, Chinese: 喂 谢谢";
var bytes = System.Text.Encoding.UTF8.GetBytes(data);
var decoded = System.Text.Encoding.UTF8.GetString(bytes);

Ne réinventez pas la roue si vous n'avez pas à le faire...

Answer 4

BinaryFormatter bf = new BinaryFormatter();
byte[] bytes;
MemoryStream ms = new MemoryStream();

string orig = "喂 Hello 谢谢 Thank You";
bf.Serialize(ms, orig);
ms.Seek(0, 0);
bytes = ms.ToArray();

MessageBox.Show("Original bytes Length: " + bytes.Length.ToString());

MessageBox.Show("Original string Length: " + orig.Length.ToString());

for (int i = 0; i < bytes.Length; ++i) bytes[i] ^= 168; // pseudo encrypt
for (int i = 0; i < bytes.Length; ++i) bytes[i] ^= 168; // pseudo decrypt

BinaryFormatter bfx = new BinaryFormatter();
MemoryStream msx = new MemoryStream();            
msx.Write(bytes, 0, bytes.Length);
msx.Seek(0, 0);
string sx = (string)bfx.Deserialize(msx);

MessageBox.Show("Still intact :" + sx);

MessageBox.Show("Deserialize string Length(still intact): " 
    + sx.Length.ToString());

BinaryFormatter bfy = new BinaryFormatter();
MemoryStream msy = new MemoryStream();
bfy.Serialize(msy, sx);
msy.Seek(0, 0);
byte[] bytesy = msy.ToArray();

MessageBox.Show("Deserialize bytes Length(still intact): " 
   + bytesy.Length.ToString());

Answer 5

Vous devez tenir compte de l'encodage, car 1 caractère peut être représenté par 1 ou plus (jusqu'à environ 6), et les différents codages traiteront ces octets différemment.

Joel a publié un article à ce sujet :

Le minimum absolu que tout développeur de logiciels doit absolument, positivement connaître sur Unicode et les jeux de caractères (pas d'excuses !)