Obtenir le point de code unicode d'un caractère en utilisant Python

Question

En Python API, existe-t-il un moyen d'extraire le point de code unicode d'un seul caractère?

Modifier: Au cas où cela serait important, j'utilise Python 2.7.

Answer 1

Si je comprends bien votre question, vous pouvez le faire.

>>> s='㈲'
>>> s.encode("unicode_escape")
b'\\u3232'

Affiche le code d'échappement Unicode en tant que chaîne source.

Answer 2

>>> ord(u"ć")
263
>>> u"café"[2]
u'f'
>>> u"café"[3]
u'\xe9'
>>> for c in u"café":
...     print repr(c), ord(c)
... 
u'c' 99
u'a' 97
u'f' 102
u'\xe9' 233

Answer 3

Il s'avère que réussir à obtenir cela correctement est assez difficile : Python 2 et Python 3 présentent des problèmes subtils avec l'extraction des points de code Unicode à partir d'une chaîne.

Jusqu'à Python 3.3, il était possible de compiler Python dans l'un des deux modes :

1. sys.maxunicode == 0x10FFFF

Dans ce mode, les chaînes Unicode de Python prennent en charge la gamme complète des points de code Unicode de U+0000 à U+10FFFF. Un point de code est représenté par un élément de chaîne :

>>> import sys
>>> hex(sys.maxunicode)
'0x10ffff'
>>> len(u'\U0001F40D')
1
>>> [c for c in u'\U0001F40D']
[u'\U0001f40d']

C'est la valeur par défaut pour Python 2.7 sur Linux, ainsi que universellement pour Python 3.3 et ultérieur sur tous les systèmes d'exploitation.

2. sys.maxunicode == 0xFFFF

Dans ce mode, les chaînes Unicode de Python prennent en charge uniquement la gamme des points de code Unicode de U+0000 à U+FFFF. Tout point de code de U+10000 à U+10FFFF est représenté à l'aide d'une paire d'éléments de chaîne dans l'encodage UTF-16 :

>>> import sys
>>> hex(sys.maxunicode)
'0xffff'
>>> len(u'\U0001F40D')
2
>>> [c for c in u'\U0001F40D']
[u'\ud83d', u'\udc0d']

C'est la valeur par défaut pour Python 2.7 sur macOS et Windows.

Cette différence d'exécution rend l'écriture de modules Python pour manipuler des chaînes Unicode en tant que séries de points de code assez contraignante.

Le module codepoints

Pour résoudre cela, j'ai contribué à un nouveau module codepoints à PyPI :

https://pypi.python.org/pypi/codepoints/1.0

Ce module résout le problème en exposant des APIs pour convertir des chaînes Unicode en listes de points de code et vice versa, indépendamment du réglage sous-jacent de sys.maxunicode :

>>> hex(sys.maxunicode)
'0xffff'
>>> snake = tuple(codepoints.from_unicode(u'\U0001F40D'))
>>> len(snake)
1
>>> snake[0]
128013
>> hex(snake[0])
'0x1f40d'
>>> codepoints.to_unicode(snake)
u'\U0001f40d'

Answer 4

Généralement, vous faites simplement ord(character) pour trouver le point de code d'un caractère. Pour être exhaustif cependant, les caractères larges dans le Plan Multilingue Supplémentaire Unicode sont représentés par des paires de substitution (c'est-à-dire deux unités de code) dans les versions étroites de Python, alors dans ce cas, j'ai souvent besoin de faire ce petit contournement :

def get_wide_ordinal(char):
    if len(char) != 2:
        return ord(char)
    return 0x10000 + (ord(char[0]) - 0xD800) * 0x400 + (ord(char[1]) - 0xDC00)

Ceci est rare dans la plupart des applications, donc normalement utilisez simplement ord().

Answer 5

Python2

>>> print hex(ord(u'人'))
0x4eba