MySQL "valeur de chaîne incorrecte" erreur lors de l'enregistrement d'une chaîne unicode dans Django

Question

J'ai reçu un message d'erreur étrange lorsque j'ai essayé de sauvegarder les prénoms et noms de famille dans le modèle auth_user de Django.

Exemples d'échec

user = User.object.create_user(username, email, password)
user.first_name = u'Rytis'
user.last_name = u'Slatkeviius'
user.save()
>>> Valeur de chaîne incorrecte : '\xC4\x8Dius' pour la colonne 'last_name' à la ligne 104

user.first_name = u''
user.last_name = u''
user.save()
>>> Valeur de chaîne incorrecte : '\xD0\x92\xD0\xB0\xD0\xBB...' pour la colonne 'first_name' à la ligne 104

user.first_name = u'Krzysztof'
user.last_name = u'Szukieoj'
user.save()
>>> Valeur de chaîne incorrecte : '\xC5\x82oj\xC4\x87' pour la colonne 'last_name' à la ligne 104

Exemples réussis

user.first_name = u'Marcin'
user.last_name = u'Król'
user.save()
>>> RÉUSSI

Paramètres MySQL

mysql> show variables like 'char%';
+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8                       | 
| character_set_connection | utf8                       | 
| character_set_database   | utf8                       | 
| character_set_filesystem | binary                     | 
| character_set_results    | utf8                       | 
| character_set_server     | utf8                       | 
| character_set_system     | utf8                       | 
| character_sets_dir       | /usr/share/mysql/charsets/ | 
+--------------------------+----------------------------+
8 lignes dans l'ensemble (0.00 sec)

Charset et collation de la table

La table auth_user a un jeu de caractères utf-8 avec une collation utf8_general_ci.

Résultats de la commande UPDATE

Aucune erreur n'a été signalée lors de la mise à jour des valeurs ci-dessus dans la table auth_user en utilisant la commande UPDATE.

mysql> update auth_user set last_name='Slatkeviiusa' where id=1;
Query OK, 1 lignes affectées, 1 avertissement (0.00 sec)
Lignes correspondantes : 1  Modifiées : 1  Avertissements : 0

mysql> select last_name from auth_user where id=100;
+---------------+
| last_name     |
+---------------+
| Slatkevi?iusa | 
+---------------+
1 ligne dans l'ensemble (0.00 sec)

PostgreSQL

Les valeurs échouées listées ci-dessus peuvent être mises à jour dans la table PostgreSQL lorsque j'ai changé le backend de la base de données dans Django. C'est étrange.

mysql> SHOW CHARACTER SET;
+----------+-----------------------------+---------------------+--------+
| Charset  | Description                 | Default collation   | Maxlen |
+----------+-----------------------------+---------------------+--------+
...
| utf8     | UTF-8 Unicode               | utf8_general_ci     |      3 | 
...

Mais à partir de http://www.postgresql.org/docs/8.1/interactive/multibyte.html, j'ai trouvé ce qui suit :

Nom Octets/Car
UTF8 1-4

Cela signifie-t-il que les caractères unicode ont une longueur maximale de 4 octets dans PostgreSQL mais de 3 octets dans MySQL, ce qui a provoqué l'erreur ci-dessus ?

Answer 1

Aucune de ces réponses n'a résolu le problème pour moi. La cause principale étant :

Vous ne pouvez pas stocker des caractères de 4 octets dans MySQL avec l'ensemble de caractères utf-8.

MySQL a une limite de 3 octets sur les caractères utf-8 (oui, c'est bizarre, bien résumé par un développeur Django ici)

Pour résoudre cela, vous devez :

1. Changer votre base de données MySQL, vos tables et colonnes pour utiliser l'ensemble de caractères utf8mb4 (disponible uniquement à partir de MySQL 5.5)
2. Spécifiez le jeu de caractères dans votre fichier de configuration Django comme ci-dessous :

settings.py

DATABASES = {
    'default': {
        'ENGINE':'django.db.backends.mysql',
        ...
        'OPTIONS': {'charset': 'utf8mb4'},
    }
}

Remarque : Lors de la recréation de votre base de données, vous pouvez rencontrer le problème 'Clé spécifiée était trop longue'.

La cause la plus probable est un CharField qui a une longueur maximale de 255 et un certain type d'index dessus (par exemple unique). Parce que utf8mb4 utilise 33% d'espace en plus que utf-8, vous devrez rendre ces champs 33% plus petits.

Dans ce cas, changez la longueur maximale de 255 à 191.

Alternativement, vous pouvez éditer votre configuration MySQL pour supprimer cette restriction mais pas sans un peu de bidouillage django

MISE À JOUR: Je suis tombé à nouveau sur ce problème et j'ai fini par passer à PostgreSQL car je n'ai pas réussi à réduire mon VARCHAR à 191 caractères.

Answer 2

J'ai eu le même problème et l'ai résolu en changeant l'ensemble de caractères de la colonne. Même si votre base de données a un ensemble de caractères par défaut de utf-8, je pense qu'il est possible que les colonnes de la base de données aient un ensemble de caractères différent dans MySQL. Voici la REQUÊTE SQL que j'ai utilisée:

    ALTER TABLE database.table MODIFY COLUMN col VARCHAR(255)
    CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL;

Answer 3

Si vous rencontrez ce problème, voici un script python pour modifier automatiquement toutes les colonnes de votre base de données mysql.

#! /usr/bin/env python
import MySQLdb

host = "localhost"
passwd = "passwd"
user = "votreutilisateur"
dbname = "votrenomdb"

db = MySQLdb.connect(host=host, user=user, passwd=passwd, db=dbname)
cursor = db.cursor()

cursor.execute("ALTER DATABASE `%s` CHARACTER SET 'utf8' COLLATE 'utf8_unicode_ci'" % dbname)

sql = "SELECT DISTINCT(table_name) FROM information_schema.columns WHERE table_schema = '%s'" % dbname
cursor.execute(sql)

results = cursor.fetchall()
for row in results:
  sql = "ALTER TABLE `%s` convert to character set DEFAULT COLLATE DEFAULT" % (row[0])
  cursor.execute(sql)
db.close()

Answer 4

Je viens de trouver une méthode pour éviter les erreurs ci-dessus.

Enregistrer dans la base de données

user.first_name = u'Rytis'.encode('unicode_escape')
user.last_name = u'Slatkevičius'.encode('unicode_escape')
user.save()
>>> RÉUSSI

print user.last_name
>>> Slatkevi\u010dius
print user.last_name.decode('unicode_escape')
>>> Slatkevičius

Est-ce la seule méthode pour enregistrer des chaînes de caractères de cette manière dans une table MySQL et les décoder avant de les afficher dans les templates ?

Answer 5

Vous pouvez changer la collation de votre champ de texte en UTF8_general_ci et le problème sera résolu.

Remarque, cela ne peut pas être fait dans Django.