Identifier et supprimer les caractères nuls dans UNIX

Question

J'ai un fichier texte contenant des caractères nuls indésirables (ASCII NUL, \0 ). Lorsque j'essaie de le visualiser dans vi Je vois. ^@ des symboles, intercalés dans un texte normal. Comment puis-je :

1. Identifier les lignes du fichier qui contiennent des caractères nuls ? J'ai essayé de rechercher \0 y \x0 mais cela n'a pas fonctionné.

2. Supprimer les caractères nuls ? Exécution de strings sur le fichier l'a nettoyé, mais je me demande juste si c'est la meilleure façon ?

Answer 1

J'utiliserais tr :

tr < file-with-nulls -d '\000' > file-without-nulls

Si vous vous demandez si la redirection des entrées au milieu des arguments de commande fonctionne, c'est le cas. La plupart des interpréteurs de commandes reconnaissent et traitent la redirection d'E/S ( < , > ) n'importe où dans la ligne de commande, en fait.

Answer 2

Utilisez la commande sed suivante pour supprimer les caractères nuls dans un fichier.

sed -i 's/\x0//g' null.txt

cette solution édite le fichier sur place, ce qui est important si le fichier est toujours utilisé. passer -i'ext' crée une sauvegarde du fichier original avec le suffixe 'ext' ajouté.

Answer 3

Un grand nombre de caractères NUL non désirés, par exemple un tous les deux octets, indique que le fichier est codé en UTF-16 et que vous devez utiliser le format iconv pour le convertir en UTF-8.

Answer 4

J'ai découvert ce qui suit, qui permet de savoir quelles lignes, s'il y en a, contiennent des caractères nuls :

perl -ne '/\000/ and print;' file-with-nulls

De plus, un dump octal peut vous indiquer s'il y a des zéros :

od file-with-nulls | grep ' 000'

Answer 5

J'ai rencontré la même erreur avec :

import codecs as cd
f=cd.open(filePath,'r','ISO-8859-1')

J'ai résolu le problème en changeant l'encodage en utf-16

f=cd.open(filePath,'r','utf-16')