Détecter l'encodage et rendre tout UTF-8

Question

Je lis de nombreux textes à partir de divers flux RSS et je les insère dans ma base de données.

Bien entendu, il existe plusieurs codages de caractères différents utilisés dans les flux, par exemple UTF-8 et ISO 8859-1.

Malheureusement, il y a parfois des problèmes avec les encodages des textes. Exemple :

1. Le "ß" de "Fußball" devrait ressembler à ça dans ma base de données : "". Si c'est un "", il est affiché correctement.

2. Parfois, le "ß" de "Fußball" ressemble à ça dans ma base de données : "Ã". Dans ce cas, l'affichage est bien sûr erroné.

3. Dans d'autres cas, le "ß" est enregistré comme un "ß" - donc sans aucune modification. Il est alors également affiché de manière erronée.

Que puis-je faire pour éviter les cas 2 et 3 ?

Comment faire pour que tout ait le même encodage, de préférence UTF-8 ? Quand dois-je utiliser utf8_encode() quand dois-je utiliser utf8_decode() (l'effet est clair, mais quand dois-je utiliser les fonctions ?) et quand dois-je ne rien faire avec l'entrée ?

Comment faire pour que tout ait le même encodage ? Peut-être avec la fonction mb_detect_encoding() ? Puis-je écrire une fonction pour cela ? Mes problèmes sont donc les suivants :

1. Comment puis-je savoir quel est le codage utilisé par le texte ?
2. Comment puis-je le convertir en UTF-8 - quel que soit l'ancien encodage ?

Une telle fonction fonctionnerait-elle ?

function correct_encoding($text) {
    $current_encoding = mb_detect_encoding($text, 'auto');
    $text = iconv($current_encoding, 'UTF-8', $text);
    return $text;
}

Je l'ai testé, mais ça ne fonctionne pas. Quel est le problème ?

Answer 1

Si vous appliquez utf8_encode() à une chaîne déjà UTF-8, il retournera une sortie UTF-8 déformée.

J'ai créé une fonction qui résout tous ces problèmes. Elle s'appelle Encoding::toUTF8() .

Vous n'avez pas besoin de savoir quel est l'encodage de vos chaînes de caractères. Il peut être Latin1 ( ISO 8859-1) , Windows-1252 ou UTF-8, ou la chaîne peut avoir un mélange des deux. Encoding::toUTF8() convertira tout en UTF-8.

Je l'ai fait parce qu'un service me donnait un flux de données tout chamboulé, mélangeant UTF-8 et Latin1 dans la même chaîne.

Utilisation :

require_once('Encoding.php');
use \ForceUTF8\Encoding;  // It's namespaced now.

$utf8_string = Encoding::toUTF8($utf8_or_latin1_or_mixed_string);

$latin1_string = Encoding::toLatin1($utf8_or_latin1_or_mixed_string);

Télécharger :

https://github.com/neitanod/forceutf8

J'ai inclus une autre fonction, Encoding::fixUFT8() qui corrigera toutes les chaînes UTF-8 qui semblent déformées.

Utilisation :

require_once('Encoding.php');
use \ForceUTF8\Encoding;  // It's namespaced now.

$utf8_string = Encoding::fixUTF8($garbled_utf8_string);

Exemples :

echo Encoding::fixUTF8("Fédération Camerounaise de Football");
echo Encoding::fixUTF8("Fédération Camerounaise de Football");
echo Encoding::fixUTF8("FÃÂédÃÂération Camerounaise de Football");
echo Encoding::fixUTF8("Fédération Camerounaise de Football");

produira un résultat :

Fédération Camerounaise de Football
Fédération Camerounaise de Football
Fédération Camerounaise de Football
Fédération Camerounaise de Football

J'ai transformé la fonction ( forceUTF8 ) en une famille de fonctions statiques sur une classe appelée Encoding . La nouvelle fonction est Encoding::toUTF8() .

Answer 2

Vous devez d'abord détecter quel encodage a été utilisé. Comme vous analysez des flux RSS (probablement via HTTP), vous devez lire l'encodage à partir de la balise charset du paramètre Content-Type Champ d'en-tête HTTP . S'il n'est pas présent, l'encodage est lu à partir de la balise encoding de l'attribut Instruction de traitement XML . Si cela manque aussi, utiliser UTF-8 tel que défini dans la spécification .

---

Modifier    Voici ce que je ferais probablement :

J'utiliserais cURL pour envoyer et récupérer la réponse. Cela vous permet de définir des champs d'en-tête spécifiques et de récupérer également l'en-tête de la réponse. Après avoir récupéré la réponse, vous devez analyser la réponse HTTP et la diviser en en-tête et corps. L'en-tête doit alors contenir le champ Content-Type qui contient le type MIME et (avec un peu de chance) le nom de l'utilisateur. charset avec le codage/charset également. Si ce n'est pas le cas, nous analyserons l'IP XML pour vérifier la présence de la balise encoding et récupérer l'encodage à partir de là. Si cet attribut est également absent, les spécifications XML définissent l'utilisation de l'UTF-8 comme encodage.

$url = 'http://www.lr-online.de/storage/rss/rss/sport.xml';

$accept = array(
    'type' => array('application/rss+xml', 'application/xml', 'application/rdf+xml', 'text/xml'),
    'charset' => array_diff(mb_list_encodings(), array('pass', 'auto', 'wchar', 'byte2be', 'byte2le', 'byte4be', 'byte4le', 'BASE64', 'UUENCODE', 'HTML-ENTITIES', 'Quoted-Printable', '7bit', '8bit'))
);
$header = array(
    'Accept: '.implode(', ', $accept['type']),
    'Accept-Charset: '.implode(', ', $accept['charset']),
);
$encoding = null;
$curl = curl_init($url);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
curl_setopt($curl, CURLOPT_HEADER, true);
curl_setopt($curl, CURLOPT_HTTPHEADER, $header);
$response = curl_exec($curl);
if (!$response) {
    // error fetching the response
} else {
    $offset = strpos($response, "\r\n\r\n");
    $header = substr($response, 0, $offset);
    if (!$header || !preg_match('/^Content-Type:\s+([^;]+)(?:;\s*charset=(.*))?/im', $header, $match)) {
        // error parsing the response
    } else {
        if (!in_array(strtolower($match[1]), array_map('strtolower', $accept['type']))) {
            // type not accepted
        }
        $encoding = trim($match[2], '"\'');
    }
    if (!$encoding) {
        $body = substr($response, $offset + 4);
        if (preg_match('/^<\?xml\s+version=(?:"[^"]*"|\'[^\']*\')\s+encoding=("[^"]*"|\'[^\']*\')/s', $body, $match)) {
            $encoding = trim($match[1], '"\'');
        }
    }
    if (!$encoding) {
        $encoding = 'utf-8';
    } else {
        if (!in_array($encoding, array_map('strtolower', $accept['charset']))) {
            // encoding not accepted
        }
        if ($encoding != 'utf-8') {
            $body = mb_convert_encoding($body, 'utf-8', $encoding);
        }
    }
    $simpleXML = simplexml_load_string($body, null, LIBXML_NOERROR);
    if (!$simpleXML) {
        // parse error
    } else {
        echo $simpleXML->asXML();
    }
}

Answer 3

La détection de l'encodage est difficile.

mb_detect_encoding fonctionne en devinant, sur la base d'un certain nombre de candidats que vous lui transmettez. Dans certains codages, certaines séquences d'octets ne sont pas valides, et il peut donc faire la distinction entre plusieurs candidats. Malheureusement, il y a beaucoup de codages, où les mêmes octets sont valides (mais différents). Dans ces cas, il n'y a aucun moyen de déterminer l'encodage ; vous pouvez implémenter votre propre logique pour faire des suppositions dans ces cas. Par exemple, les données provenant d'un site japonais sont plus susceptibles d'avoir un encodage japonais.

Tant que vous ne traitez que des langues d'Europe occidentale, les trois principaux codages à prendre en compte sont les suivants utf-8 , iso-8859-1 et cp-1252 . Comme il s'agit de valeurs par défaut pour de nombreuses plates-formes, elles sont également les plus susceptibles d'être signalées à tort. Par exemple, si des personnes utilisent des encodages différents, elles sont susceptibles d'être franches à ce sujet, sinon leurs logiciels tomberaient très souvent en panne. Par conséquent, une bonne stratégie consiste à faire confiance au fournisseur, sauf si l'encodage est signalé comme étant l'un de ces trois. Vous devez tout de même vérifier que l'encodage est valide, en utilisant la commande mb_check_encoding (notez que valide n'est pas la même chose que être - la même entrée peut être valable pour plusieurs encodages). S'il s'agit de l'un d'entre eux, vous pouvez alors utiliser mb_detect_encoding pour les distinguer. Heureusement, c'est assez déterministe ; vous devez juste utiliser la séquence de détection appropriée, qui est UTF-8,ISO-8859-1,WINDOWS-1252 .

Une fois que vous avez détecté l'encodage, vous devez le convertir en votre représentation interne ( UTF-8 est le seul choix sensé). La fonction utf8_encode transforme ISO-8859-1 à UTF-8 Il ne peut donc être utilisé que pour ce type d'entrée particulier. Pour les autres codages, utilisez mb_convert_encoding .

Answer 4

Cette aide-mémoire liste les problèmes courants liés à la gestion de l'UTF-8 en PHP : http://developer.loftdigital.com/blog/php-utf-8-cheatsheet

Cette fonction de détection des caractères multi-octets dans une chaîne de caractères peut également s'avérer utile ( source ) :

function detectUTF8($string)
{
    return preg_match('%(?:
        [\xC2-\xDF][\x80-\xBF]             # non-overlong 2-byte
        |\xE0[\xA0-\xBF][\x80-\xBF]        # excluding overlongs
        |[\xE1-\xEC\xEE\xEF][\x80-\xBF]{2} # straight 3-byte
        |\xED[\x80-\x9F][\x80-\xBF]        # excluding surrogates
        |\xF0[\x90-\xBF][\x80-\xBF]{2}     # planes 1-3
        |[\xF1-\xF3][\x80-\xBF]{3}         # planes 4-15
        |\xF4[\x80-\x8F][\x80-\xBF]{2}     # plane 16
        )+%xs', 
    $string);
}

Answer 5

A vraiment une bonne façon de mettre en œuvre un isUTF8 -peut être trouvée sur php.net :

function isUTF8($string) {
    return (utf8_encode(utf8_decode($string)) == $string);
}