Comment dé-citer une chaîne unicode urlencodée en python ?

Question

J'ai une chaîne unicode comme "Tanm" qui est codée comme "Tan%u0131m" en quelque sorte. Comment puis-je reconvertir cette chaîne encodée en unicode original ? Apparemment, urllib.unquote ne supporte pas l'unicode.

Answer 1

%uXXXX est un schéma de codage non standard qui a été rejeté par le w3c, malgré le fait qu'une implémentation continue de vivre au pays du JavaScript.

La technique la plus courante semble être de coder la chaîne en UTF-8, puis d'échapper les octets résultants en utilisant %XX. Ce schéma est supporté par urllib.unquote :

>>> urllib2.unquote("%0a")
'\n'

Malheureusement, si vous voulez vraiment besoin de pour prendre en charge %uXXXX, vous devrez probablement mettre au point votre propre décodeur. Sinon, il est probablement bien plus préférable de simplement encoder votre unicode en UTF-8, puis d'échapper les octets résultants en %.

Un exemple plus complet :

>>> u"Tanım"
u'Tan\u0131m'
>>> url = urllib.quote(u"Tanım".encode('utf8'))
>>> urllib.unquote(url).decode('utf8')
u'Tan\u0131m'

Answer 2

def unquote(text):
    def unicode_unquoter(match):
        return unichr(int(match.group(1),16))
    return re.sub(r'%u([0-9a-fA-F]{4})',unicode_unquoter,text)

Answer 3

Cela fera l'affaire si vous devez absolument l'avoir (je suis vraiment d'accord avec les cris de "non standard") :

from urllib import unquote

def unquote_u(source):
    result = unquote(source)
    if '%u' in result:
        result = result.replace('%u','\\u').decode('unicode_escape')
    return result

print unquote_u('Tan%u0131m')

> Tanım

Answer 4

Il y a un bogue dans la version ci-dessus où il se déclenche parfois lorsqu'il y a à la fois des caractères codés ascii et des caractères codés unicode dans la chaîne. Je pense que c'est spécifiquement lorsqu'il y a des caractères de la gamme 128 supérieure comme ' \xab en plus de l'unicode.

eg. "%5B%AB%u03E1%BB%5D" provoque cette erreur.

J'ai découvert que si vous faites d'abord les unicodes, le problème disparaît :

def unquote_u(source):
  result = source
  if '%u' in result:
    result = result.replace('%u','\\u').decode('unicode_escape')
  result = unquote(result)
  return result

Answer 5

Vous avez une URL utilisant un schéma de codage non standard rejeté par les organismes de normalisation, mais toujours produit par certains codeurs. Le système Python urllib.parse.unquote() ne peut pas les gérer.

Créer son propre décodeur n'est pas si difficile, heureusement. %uhhhh les entrées sont destinées à être UTF-16 points de code ici, donc nous devons prendre paires de substituts en compte. J'ai également vu %hh des points de code mélangés, pour plus de confusion.

En gardant cela à l'esprit, voici un décodeur qui fonctionne à la fois avec Python 2 et Python 3, à condition de passer un fichier str dans Python 3 (Python 2 s'en soucie moins) :

try:
    # Python 3
    from urllib.parse import unquote
    unichr = chr
except ImportError:
    # Python 2
    from urllib import unquote

def unquote_unicode(string, _cache={}):
    string = unquote(string)  # handle two-digit %hh components first
    parts = string.split(u'%u')
    if len(parts) == 1:
        return parts
    r = [parts[0]]
    append = r.append
    for part in parts[1:]:
        try:
            digits = part[:4].lower()
            if len(digits) < 4:
                raise ValueError
            ch = _cache.get(digits)
            if ch is None:
                ch = _cache[digits] = unichr(int(digits, 16))
            if (
                not r[-1] and
                u'\uDC00' <= ch <= u'\uDFFF' and
                u'\uD800' <= r[-2] <= u'\uDBFF'
            ):
                # UTF-16 surrogate pair, replace with single non-BMP codepoint
                r[-2] = (r[-2] + ch).encode(
                    'utf-16', 'surrogatepass').decode('utf-16')
            else:
                append(ch)
            append(part[4:])
        except ValueError:
            append(u'%u')
            append(part)
    return u''.join(r)

Cette fonction est fortement inspirée de la implémentation actuelle de la bibliothèque standard .

Démonstration :

>>> print(unquote_unicode('Tan%u0131m'))
Tanım
>>> print(unquote_unicode('%u05D0%u05D9%u05DA%20%u05DE%u05DE%u05D9%u05E8%u05D9%u05DD%20%u05D0%u05EA%20%u05D4%u05D8%u05E7%u05E1%u05D8%20%u05D4%u05D6%u05D4'))
איך ממירים את הטקסט הזה
>>> print(unquote_unicode('%ud83c%udfd6'))  # surrogate pair