Quelle est la meilleure façon de supprimer les accents (normaliser) dans une chaîne unicode Python ?

Question

J'ai une chaîne Unicode en Python, et je voudrais supprimer tous les accents (diacritiques).

J'ai trouvé sur le web une façon élégante de le faire (en Java) :

1. convertir la chaîne Unicode en son forme longue normalisée (avec un caractère distinct pour les lettres et les diacritiques)
2. supprimer tous les caractères dont le type Unicode est "diacritique".

Dois-je installer une bibliothèque telle que pyICU ou est-ce possible avec la seule bibliothèque standard de Python ? Et qu'en est-il de Python 3 ?

Remarque importante : je souhaite éviter les codes comportant une correspondance explicite entre les caractères accentués et leur équivalent non accentué.

Answer 1

Unidecode est la réponse correcte à cette question. Il translittère n'importe quelle chaîne unicode dans la représentation la plus proche possible en texte ascii.

Exemple :

accented_string = u'Málaga'
# accented_string is of type 'unicode'
import unidecode
unaccented_string = unidecode.unidecode(accented_string)
# unaccented_string contains 'Malaga'and is of type 'str'

Answer 2

Que dites-vous de ça ?

import unicodedata
def strip_accents(s):
   return ''.join(c for c in unicodedata.normalize('NFD', s)
                  if unicodedata.category(c) != 'Mn')

Cela fonctionne aussi pour les lettres grecques :

>>> strip_accents(u"A \u00c0 \u0394 \u038E")
u'A A \u0394 \u03a5'
>>> 

Le site catégorie de caractère "Mn" signifie Nonspacing_Mark qui est similaire à unicodedata.combining dans la réponse de MiniQuark (je n'ai pas pensé à unicodedata.combining, mais c'est probablement la meilleure solution, car elle est plus explicite).

Et n'oubliez pas que ces manipulations peuvent altérer considérablement le sens du texte. Les accents, les trémas, etc. ne sont pas de la "décoration".

Answer 3

Je viens de trouver cette réponse sur le Web :

import unicodedata

def remove_accents(input_str):
    nfkd_form = unicodedata.normalize('NFKD', input_str)
    only_ascii = nfkd_form.encode('ASCII', 'ignore')
    return only_ascii

Cela fonctionne bien (pour le français, par exemple), mais je pense que la deuxième étape (suppression des accents) pourrait être mieux gérée que la suppression des caractères non-ASCII, car cela échouera pour certaines langues (le grec, par exemple). La meilleure solution serait probablement de supprimer explicitement les caractères unicode qui sont marqués comme étant des diacritiques.

Modifier Le résultat : ceci fait l'affaire :

import unicodedata

def remove_accents(input_str):
    nfkd_form = unicodedata.normalize('NFKD', input_str)
    return u"".join([c for c in nfkd_form if not unicodedata.combining(c)])

unicodedata.combining(c) retournera vrai si le caractère c peut être combiné avec le caractère précédent, c'est-à-dire principalement s'il s'agit d'un diacritique.

Edit 2 : remove_accents s'attend à ce qu'un unicode et non une chaîne d'octets. Si vous avez une chaîne d'octets, vous devez la décoder en une chaîne unicode comme ceci :

encoding = "utf-8" # or iso-8859-15, or cp1252, or whatever encoding you use
byte_string = b"café"  # or simply "café" before python 3.
unicode_string = byte_string.decode(encoding)

Answer 4

Cela permet de traiter non seulement les accents, mais aussi les "traits" (comme dans ø, etc.) :

import unicodedata as ud

def rmdiacritics(char):
    '''
    Return the base character of char, by "removing" any
    diacritics like accents or curls and strokes and the like.
    '''
    desc = ud.name(char)
    cutoff = desc.find(' WITH ')
    if cutoff != -1:
        desc = desc[:cutoff]
        try:
            char = ud.lookup(desc)
        except KeyError:
            pass  # removing "WITH ..." produced an invalid name
    return char

C'est la méthode la plus élégante à laquelle je pense (et elle a été mentionnée par Alexis dans un commentaire sur cette page), bien que je ne pense pas qu'elle soit très élégante. En fait, c'est plus un hack, comme indiqué dans les commentaires, puisque les noms Unicode sont - vraiment juste des noms, ils ne donnent aucune garantie d'être cohérents ou quoi que ce soit.

Il existe encore des lettres spéciales qui ne sont pas gérées par ce système, comme les lettres tournées et inversées, car leur nom unicode ne contient pas "WITH". De toute façon, cela dépend de ce que vous voulez faire. J'ai parfois eu besoin de supprimer les accents pour obtenir l'ordre de tri des dictionnaires.

NOTE D'ÉDITION :

Incorporation des suggestions des commentaires (gestion des erreurs de recherche, code Python-3).

Answer 5

En réponse à la réponse de @MiniQuark :

J'essayais de lire un fichier csv qui était à moitié français (contenant des accents) et aussi quelques chaînes de caractères qui deviendraient éventuellement des entiers et des flottants. En guise de test, j'ai créé un fichier test.txt qui ressemblait à ça :

Montréal, über, 12.89, Mère, Françoise, noël, 889

Je devais inclure des lignes 2 et 3 pour le faire fonctionner (que j'ai trouvé dans un ticket python), ainsi que d'intégrer le commentaire de @Jabba :

import sys 
reload(sys) 
sys.setdefaultencoding("utf-8")
import csv
import unicodedata

def remove_accents(input_str):
    nkfd_form = unicodedata.normalize('NFKD', unicode(input_str))
    return u"".join([c for c in nkfd_form if not unicodedata.combining(c)])

with open('test.txt') as f:
    read = csv.reader(f)
    for row in read:
        for element in row:
            print remove_accents(element)

Le résultat :

Montreal
uber
12.89
Mere
Francoise
noel
889

(Note : Je suis sur Mac OS X 10.8.4 et j'utilise Python 2.7.3)