Comment enlever \xa0 à partir d'une chaîne en Python ?

Question

J'utilise actuellement Beautiful Soup pour analyser un fichier HTML et appeler get_text() mais j'ai l'impression qu'on me laisse avec beaucoup de \xa0 Unicode représentant des espaces. Existe-t-il un moyen efficace de les supprimer tous dans Python 2.7, et de les transformer en espaces ? Je suppose que la question plus générale serait : existe-t-il un moyen de supprimer le formatage Unicode ?

J'ai essayé d'utiliser : line = line.replace(u'\xa0',' ') comme le suggérait un autre fil de discussion, mais cela a modifié le résultat de l'opération. \xa0 des "u", donc maintenant j'ai des "u" partout à la place. ) :

EDIT : Le problème semble être résolu par str.replace(u'\xa0', ' ').encode('utf-8') mais je fais juste .encode('utf-8') sans replace() semble lui faire cracher des caractères encore plus bizarres, \xc2 par exemple. Quelqu'un peut-il expliquer cela ?

Answer 1

\xa0 est en fait un espace insécable en Latin1 (ISO 8859-1), également chr(160). Vous devriez le remplacer par un espace.

string = string.replace(u'\xa0', u' ')

Lorsque .encode('utf-8'), il codera l'unicode en utf-8, ce qui signifie que chaque unicode peut être représenté par 1 à 4 octets. Dans ce cas, \xa0 est représenté par 2 octets \xc2\xa0.

Lire la suite http://docs.python.org/howto/unicode.html .

Remarque : cette réponse date de 2012, Python a évolué, vous devriez pouvoir utiliser unicodedata.normalize maintenant

Answer 2

Il y a beaucoup d'éléments utiles dans l'outil Python unicodedata bibliothèque. L'un d'entre eux est le .normalize() función.

Essayez :

new_str = unicodedata.normalize("NFKD", unicode_str)

Remplacer le NFKD par l'une des autres méthodes énumérées dans le lien ci-dessus si vous n'obtenez pas les résultats escomptés.

Answer 3

Après avoir essayé plusieurs méthodes, pour résumer, voici comment j'ai procédé. Voici deux façons d'éviter/supprimer \xa0 caractères de la chaîne HTML analysée.

Supposons que nous ayons notre html brut comme suit :

raw_html = '<p>Dear Parent, </p><p><span style="font-size: 1rem;">This is a test message, </span><span style="font-size: 1rem;">kindly ignore it. </span></p><p><span style="font-size: 1rem;">Thanks</span></p>'

Essayons donc de nettoyer cette chaîne HTML :

from bs4 import BeautifulSoup
raw_html = '<p>Dear Parent, </p><p><span style="font-size: 1rem;">This is a test message, </span><span style="font-size: 1rem;">kindly ignore it. </span></p><p><span style="font-size: 1rem;">Thanks</span></p>'
text_string = BeautifulSoup(raw_html, "lxml").text
print text_string
#u'Dear Parent,\xa0This is a test message,\xa0kindly ignore it.\xa0Thanks'

Le code ci-dessus produit ces caractères \xa0 dans la chaîne. Pour les supprimer correctement, nous pouvons utiliser deux méthodes.

Méthode n° 1 (recommandée) : Le premier est celui de BeautifulSoup get_text méthode avec dépouiller l'argument comme Vrai Donc notre code devient :

clean_text = BeautifulSoup(raw_html, "lxml").get_text(strip=True)
print clean_text
# Dear Parent,This is a test message,kindly ignore it.Thanks

Méthode n° 2 : L'autre option consiste à utiliser la bibliothèque unicodedata de Python.

import unicodedata
text_string = BeautifulSoup(raw_html, "lxml").text
clean_text = unicodedata.normalize("NFKD",text_string)
print clean_text
# u'Dear Parent,This is a test message,kindly ignore it.Thanks'

J'ai également détaillé ces méthodes sur ce blog à laquelle vous pouvez vous référer.

Answer 4

Essayez d'utiliser .strip() à la fin de votre ligne. line.strip() a bien fonctionné pour moi

Answer 5

Essayez ceci :

string.replace('\\xa0', ' ')