Correction d'un encodage UTF-8 défectueux

Question

Je suis en train de corriger un mauvais encodage UTF-8. J'utilise actuellement PHP 5 et MySQL.

Dans ma base de données, j'ai quelques exemples de mauvais encodages qui s'impriment comme : î

• La collation de la base de données est utf8_general_ci
• PHP utilise un en-tête UTF-8 correct.
• Notepad++ est configuré pour utiliser UTF-8 sans BOM.
• la gestion de la base de données est traitée dans phpMyAdmin
• tous les cas de caractères accentués ne sont pas cassés

J'ai besoin d'une sorte de fonction qui m'aidera à faire correspondre les instances de î, í, ü et d'autres caractères similaires à leurs caractères UTF-8 accentués appropriés.

Answer 1

Si vous avez des caractères UTF8 doublement encodés (divers guillemets intelligents, tirets, apostrophe ', guillemets ", etc.), dans mysql vous pouvez vider les données, puis les relire pour corriger l'encodage cassé.

Comme ça :

mysqldump -h DB_HOST -u DB_USER -p DB_PASSWORD --opt --quote-names \
    --skip-set-charset --default-character-set=latin1 DB_NAME > DB_NAME-dump.sql

mysql -h DB_HOST -u DB_USER -p DB_PASSWORD \
    --default-character-set=utf8 DB_NAME < DB_NAME-dump.sql

C'était une correction à 100% pour mon double encodage UTF-8.

Source : http://blog.hno3.org/2010/04/22/fixing-double-encoded-utf-8-data-in-mysql/

Answer 2

Si vous utf8_encode() sur une chaîne de caractères qui est déjà UTF-8, elle semble déformée lorsqu'elle est encodée plusieurs fois.

J'ai créé une fonction toUTF8() qui convertit les chaînes de caractères en UTF-8.

Vous n'avez pas besoin de spécifier l'encodage de vos chaînes de caractères. Il peut être Latin1 (iso 8859-1), Windows-1252 ou UTF8, ou un mélange des trois.

Je l'ai utilisé moi-même sur un flux avec des encodages mixtes dans la même chaîne.

Utilisation :

$utf8_string = Encoding::toUTF8($mixed_string);

$latin1_string = Encoding::toLatin1($mixed_string);

Mon autre fonction fixUTF8() corrige les chaînes UTF8 déformées si elles ont été encodées en UTF8 plusieurs fois.

Utilisation :

$utf8_string = Encoding::fixUTF8($garbled_utf8_string);

Exemples :

echo Encoding::fixUTF8("Fédération Camerounaise de Football");
echo Encoding::fixUTF8("Fédération Camerounaise de Football");
echo Encoding::fixUTF8("FÃÂédÃÂération Camerounaise de Football");
echo Encoding::fixUTF8("Fédération Camerounaise de Football");

produira un résultat :

Fédération Camerounaise de Football
Fédération Camerounaise de Football
Fédération Camerounaise de Football
Fédération Camerounaise de Football

Télécharger :

https://github.com/neitanod/forceutf8

Answer 3

J'ai dû essayer de "réparer" un certain nombre de situations de rupture d'UTF8 dans le passé, et malheureusement ce n'est jamais facile, et souvent plutôt impossible.

À moins que vous ne puissiez déterminer exactement comment elle a été cassée, et qu'elle l'a toujours été de la même manière, il sera difficile de "réparer" les dommages.

Si vous voulez essayer de réparer les dégâts, votre meilleure chance serait de commencer à écrire un exemple de code, où vous essayez de nombreuses variations sur les appels à mb_convert_encoding() pour voir si vous pouvez trouver une combinaison de "de" et "à" qui fixe vos données. En fin de compte, il est souvent préférable de ne pas s'inquiéter de la correction des anciennes données en raison des niveaux de douleur impliqués, mais plutôt de corriger les choses pour l'avenir.

Cependant, avant de faire cela, vous devez vous assurer que vous corrigez tout ce qui cause ce problème en premier lieu. Vous avez déjà mentionné que la collation et les éditeurs de votre table de base de données sont correctement définis. Mais il y a d'autres endroits où vous devez vérifier que tout est correctement UTF-8 :

• Assurez-vous que vous fournissez votre HTML en UTF-8 :
  • header("Content-Type: text/html; charset=utf-8");
• Changez le jeu de caractères par défaut de PHP en utf-8 :
  • ini_set("default_charset", 'utf-8');
• Si votre base de données ne parle pas TOUJOURS en utf-8, il se peut que vous deviez lui demander, pour chaque connexion, de s'assurer qu'elle est en mode utf-8, ce que vous pouvez faire avec MySQL :
  • jeu de caractères utf8
• Vous pouvez avoir besoin de dire à votre serveur web de toujours essayer de parler en UTF8, dans Apache cette commande est :
  • AddDefaultCharset UTF-8
• Enfin, vous devez TOUJOURS vous assurer que vous utilisez des fonctions PHP qui sont correctement conformes à l'UTF-8. Cela signifie que vous devez toujours utiliser l'option mb_* des fonctions de chaîne de caractères de type "multibyte". Cela signifie également que lorsque vous appelez des fonctions telles que htmlspecialchars() Il est important que vous incluiez le paramètre charset 'utf-8' approprié à la fin pour vous assurer qu'il ne les codera pas de manière incorrecte.

Si vous oubliez une seule étape de votre processus, l'encodage peut être déformé et des problèmes peuvent survenir. Une fois que vous avez pris l'habitude d'utiliser utf-8, tout cela devient une seconde nature. Et bien sûr, PHP6 est supposé être entièrement unicode dès le départ, ce qui facilitera beaucoup de choses (espérons-le).

Answer 4

J'ai eu un problème avec un fichier xml qui avait un encodage cassé, il disait qu'il était utf-8 mais il avait des caractères qui n'étaient pas utf-8.
Après plusieurs essais et erreurs avec le mb_convert_encoding() J'arrive à le réparer avec

mb_convert_encoding($text, 'Windows-1252', 'UTF-8')

Answer 5

Comme Dan l'a souligné : vous devez les convertir en binaire et ensuite convertir/corriger l'encodage.

Par exemple, pour utf8 stocké en latin1, le SQL suivant le résoudra :

UPDATE table
   SET field = CONVERT( CAST(field AS BINARY) USING utf8)
 WHERE $broken_field_condition