Comment enlever \xa0 à partir d'une chaîne en Python ?

Question

J'utilise actuellement Beautiful Soup pour analyser un fichier HTML et appeler get_text() mais j'ai l'impression qu'on me laisse avec beaucoup de \xa0 Unicode représentant des espaces. Existe-t-il un moyen efficace de les supprimer tous dans Python 2.7, et de les transformer en espaces ? Je suppose que la question plus générale serait : existe-t-il un moyen de supprimer le formatage Unicode ?

J'ai essayé d'utiliser : line = line.replace(u'\xa0',' ') comme le suggérait un autre fil de discussion, mais cela a modifié le résultat de l'opération. \xa0 des "u", donc maintenant j'ai des "u" partout à la place. ) :

EDIT : Le problème semble être résolu par str.replace(u'\xa0', ' ').encode('utf-8') mais je fais juste .encode('utf-8') sans replace() semble lui faire cracher des caractères encore plus bizarres, \xc2 par exemple. Quelqu'un peut-il expliquer cela ?

Answer 1

J'ai rencontré le même problème pour extraire des données d'une base de données sqlite3 avec python. Les réponses ci-dessus n'ont pas fonctionné pour moi (je ne sais pas pourquoi), mais celle-ci a fonctionné : line = line.decode('ascii', 'ignore') Cependant, mon objectif était de supprimer le \xa0s plutôt que de les remplacer par des espaces.

J'ai trouvé ça dans ce tutoriel très utile sur l'unicode par Ned Batchelder.

Answer 2

Essayez ce code

import re
re.sub(r'[^\x00-\x7F]+','','paste your string here').decode('utf-8','ignore').strip()

Answer 3

Python le reconnaît comme un caractère d'espacement, vous pouvez donc split sans arguement et joint par un espace normal :

line = ' '.join(line.split())

Answer 4

J'ai atterri ici en cherchant sur Google le problème des caractères non imprimables. J'utilise MySQL UTF-8 general_ci et s'occuper de la langue polonaise. Pour les chaînes de caractères problématiques, je dois procéder comme suit :

text=text.replace('\xc2\xa0', ' ')

C'est juste une solution de contournement rapide et vous devriez probablement essayer quelque chose avec la bonne configuration d'encodage.

Answer 5

Dans Belle Soupe, vous pouvez passer get_text() le paramètre strip, qui supprime les espaces blancs au début et à la fin du texte. Cela supprimera \xa0 ou tout autre espace blanc s'il se trouve au début ou à la fin de la chaîne. Belle Soupe a remplacé une chaîne vide par \xa0 et cela a résolu le problème pour moi.

mytext = soup.get_text(strip=True)