Comment puis-je trouver des caractères non ASCII dans MySQL ?

Question

Je travaille avec une base de données MySQL dont certaines données sont importées de Excel . Les données contiennent des données non ASCII (tirets, etc.) ainsi que les retours de chariot ou les sauts de ligne cachés. Existe-t-il un moyen de trouver ces enregistrements à l'aide de MySQL ?

Answer 1

MySQL offre une gestion complète des jeux de caractères qui peut aider à résoudre ce type de problème.

SELECT whatever
  FROM tableName 
 WHERE columnToCheck <> CONVERT(columnToCheck USING ASCII)

El CONVERT(col USING charset) transforme les caractères non convertibles en caractères de remplacement. Le texte converti et le texte non converti seront alors inégaux.

Voir ceci pour plus de discussion. https://dev.mysql.com/doc/refman/8.0/en/charset-repertoire.html

Vous pouvez utiliser le nom du jeu de caractères de votre choix à la place de l'ASCII. Par exemple, si vous voulez savoir quels caractères ne seront pas rendus correctement dans la page de code 1257 (lituanien, letton, estonien), utilisez CONVERT(columnToCheck USING cp1257)

Answer 2

Vous pouvez définir l'ASCII comme étant tous les caractères ayant une valeur décimale de 0 à 127 (0x00 - 0x7F) et rechercher les colonnes contenant des caractères non ASCII en utilisant la requête suivante

SELECT * FROM TABLE WHERE NOT HEX(COLUMN) REGEXP '^([0-7][0-9A-F])*$';

C'est la demande la plus complète que j'ai pu formuler.

Answer 3

Cela dépend exactement de ce que vous définissez comme "ASCII", mais je vous suggère d'essayer une variante d'une requête comme celle-ci :

SELECT * FROM tableName WHERE columnToCheck NOT REGEXP '[A-Za-z0-9]';

Cette requête renverra toutes les lignes où columnToCheck contient des caractères non alphanumériques. Si d'autres caractères sont acceptables, ajoutez-les à la classe de caractères dans l'expression régulière. Par exemple, si les points, les virgules et les traits d'union sont acceptables, modifiez la requête en :

SELECT * FROM tableName WHERE columnToCheck NOT REGEXP '[A-Za-z0-9.,-]';

La page la plus pertinente de la documentation MySQL est probablement 12.5.2 Expressions régulières .

Answer 4

C'est probablement ce que vous recherchez :

select * from TABLE where COLUMN regexp '[^ -~]';

Elle doit renvoyer toutes les lignes où COLUMN contient des caractères non ASCII (ou des caractères ASCII non imprimables tels que les nouvelles lignes).

Answer 5

Un caractère manquant dans tous les exemples ci-dessus est le caractère de terminaison ( \0 ). Il est invisible dans la sortie de la console MySQL et ne peut être découvert par aucune des requêtes mentionnées précédemment. La requête pour le trouver est simplement :

select * from TABLE where COLUMN like '%\0%';