Convertir les entités HTML en Unicode et vice versa

Question

Comment convertir les entités HTML en Unicode et vice versa en Python ?

Answer 1

Quant au "vice versa" (dont j'avais besoin moi-même, ce qui m'a amené à trouver cette question, qui ne m'a pas aidé, et par la suite un autre site qui avait la réponse ) :

u'some string'.encode('ascii', 'xmlcharrefreplace')

retournera une chaîne de caractères en clair, les caractères non ascii étant transformés en entités XML (HTML).

Answer 2

Vous devez avoir BelleSoupe .

from BeautifulSoup import BeautifulStoneSoup
import cgi

def HTMLEntitiesToUnicode(text):
    """Converts HTML entities to unicode.  For example '&' becomes '&'."""
    text = unicode(BeautifulStoneSoup(text, convertEntities=BeautifulStoneSoup.ALL_ENTITIES))
    return text

def unicodeToHTMLEntities(text):
    """Converts unicode to HTML entities.  For example '&' becomes '&'."""
    text = cgi.escape(text).encode('ascii', 'xmlcharrefreplace')
    return text

text = "&, ®, <, >, ¢, £, ¥, €, §, ©"

uni = HTMLEntitiesToUnicode(text)
htmlent = unicodeToHTMLEntities(uni)

print uni
print htmlent
# &, ®, <, >, ¢, £, ¥, €, §, ©
# &amp;, &#174;, &lt;, &gt;, &#162;, &#163;, &#165;, &#8364;, &#167;, &#169;

Answer 3

Mise à jour pour Python 2.7 et BeautifulSoup4

Unescape -- Unicode HTML vers unicode avec htmlparser (librairie standard de Python 2.7) :

>>> escaped = u'Monsieur le Curé of the «Notre-Dame-de-Grâce» neighborhood'
>>> from HTMLParser import HTMLParser
>>> htmlparser = HTMLParser()
>>> unescaped = htmlparser.unescape(escaped)
>>> unescaped
u'Monsieur le Cur\xe9 of the \xabNotre-Dame-de-Gr\xe2ce\xbb neighborhood'
>>> print unescaped
Monsieur le Curé of the «Notre-Dame-de-Grâce» neighborhood

Unescape -- Unicode HTML vers unicode avec bs4 (BelleSoupe4) :

>>> html = '''<p>Monsieur le Cur&eacute; of the &laquo;Notre-Dame-de-Gr&acirc;ce&raquo; neighborhood</p>'''
>>> from bs4 import BeautifulSoup
>>> soup = BeautifulSoup(html)
>>> soup.text
u'Monsieur le Cur\xe9 of the \xabNotre-Dame-de-Gr\xe2ce\xbb neighborhood'
>>> print soup.text
Monsieur le Curé of the «Notre-Dame-de-Grâce» neighborhood

Escape -- Unicode vers unicode HTML avec bs4 (BelleSoupe4) :

>>> unescaped = u'Monsieur le Curé of the «Notre-Dame-de-Grâce» neighborhood'
>>> from bs4.dammit import EntitySubstitution
>>> escaper = EntitySubstitution()
>>> escaped = escaper.substitute_html(unescaped)
>>> escaped
u'Monsieur le Curé of the «Notre-Dame-de-Grâce» neighborhood'

Answer 4

Para python3 utiliser html.unescape() :

import html
s = "&"
decoded = html.unescape(s)
# &

Answer 5

En hekevintran La réponse suggère que vous pouvez utiliser cgi.escape(s) pour l'encodage des piqûres, mais notez que l'encodage des guillemets est faux par défaut dans cette fonction et qu'il peut être judicieux de passer l'attribut quote=True à côté de votre chaîne. Mais même en passant quote=True la fonction n'échappera pas aux guillemets simples ( "'" ) (En raison de ces problèmes, la fonction a été supprimée. déprécié depuis la version 3.2)

Il a été suggéré d'utiliser html.escape(s) au lieu de cgi.escape(s) . (Nouveau dans la version 3.2)

Aussi html.unescape(s) a été introduit dans la version 3.4 .

Ainsi, dans python 3.4, vous pouvez :

• Utilisez html.escape(text).encode('ascii', 'xmlcharrefreplace').decode() pour convertir les caractères spéciaux en entités HTML.
• Et html.unescape(text) pour reconvertir les entités HTML en représentations en texte brut.