Comment corriger les caractères UTF8 doublement encodés (dans une table utf-8)

Question

Un précédent LOAD DATA INFILE a été exécuté en partant du principe que le fichier CSV est latin1 -encodé. Au cours de cette importation, les caractères multi-octets ont été interprétés comme deux caractères uniques, puis encodés en utilisant utf-8 (à nouveau).

Ce double codage a créé des anomalies comme ñ au lieu de ñ .

Comment corriger ces cordes ?

Answer 1

La fonction MySQL suivante renverra la chaîne utf8 correcte après le double encodage :

CONVERT(CAST(CONVERT(field USING latin1) AS BINARY) USING utf8)

Il peut être utilisé avec un UPDATE pour corriger les champs :

UPDATE tablename SET
    field = CONVERT(CAST(CONVERT(field USING latin1) AS BINARY) USING utf8);

Answer 2

La réponse ci-dessus a fonctionné pour certaines de mes données, mais a donné lieu à un grand nombre de colonnes NULL après l'exécution. Je pense que si la conversion n'a pas été réussie, elle renvoie null. Pour éviter cela, j'ai ajouté une petite vérification.

UPDATE
    tbl

SET
    col =
    CASE
        WHEN CONVERT(CAST(CONVERT(col USING latin1) AS BINARY) USING utf8) IS NULL THEN col
        ELSE CONVERT(CAST(CONVERT(col USING latin1) AS BINARY) USING utf8)
    END

Answer 3

Je rencontre aussi ce problème, voici une solution pour Oracle :

update tablename t set t.colname = convert(t.colname, 'WE8ISO8859P1', 'UTF8') where t.colname like '%Ã%'

Et un autre pour Java :

public static String fixDoubleEncoded(String text) {
    final Pattern pattern = Pattern.compile("^.*Ã[^0-9a-zA-Z\\ \t].*$");
    try {
        while (pattern.matcher(text).matches())
            text = new String(text.getBytes("iso-8859-1"), "utf-8");
    }
    catch (UnsupportedEncodingException e) {
        e.printStackTrace();
    }
    return text;
}

Answer 4

Il est très important d'utiliser "utf8mb4" au lieu de "utf8" car mysql supprimera toutes les données après un caractère non reconnu. La méthode la plus sûre est donc la suivante ;

UPDATE tablename SET
field = CONVERT(CAST(CONVERT(field USING latin1) AS BINARY) USING utf8mb4);

Faites attention à ça.