Comment supprimer les caractères non UTF-8 d'un fichier texte ?

Question

J'ai un tas de fichiers arabes, anglais et russes qui sont codés en utf-8. En essayant de traiter ces fichiers à l'aide d'un script Perl, j'obtiens cette erreur :

Malformed UTF-8 character (fatal)

En vérifiant manuellement le contenu de ces fichiers, j'y ai trouvé des caractères étranges. Je cherche maintenant un moyen de supprimer automatiquement ces caractères des fichiers.

Y a-t-il un moyen de le faire ?

Answer 1

Cette commande :

iconv -f utf-8 -t utf-8 -c file.txt

nettoiera votre fichier UTF-8, en sautant tous les caractères invalides.

-f is the source format
-t the target format
-c skips any invalid sequence

Answer 2

iconv peut le faire

iconv -f cp1252 foo.txt

Answer 3

Votre méthode doit être lue octet par octet et comprendre et apprécier pleinement la construction des caractères par octet. La méthode la plus simple est d'utiliser un éditeur qui peut lire n'importe quoi mais qui ne produit que des caractères UTF-8. Textpad est un choix possible.

Answer 4

Aucune des méthodes proposées ici ou sur d'autres questions similaires n'a fonctionné pour moi. Finalement, ce qui a fonctionné, c'est simplement d'ouvrir le fichier dans Sublime Text 2. Allez dans Fichier > Réouvrir avec Encodage > UTF-8. Copiez l'intégralité du contenu du fichier dans un nouveau fichier et enregistrez-le.

Ce n'est peut-être pas la solution attendue, mais j'aimerais que cela aide quelqu'un, car je me débats depuis des heures avec ce problème.

Answer 5

cat foo.txt | strings -n 8 > bar.txt

fera l'affaire.