Remplacer les caractères non ASCII par un seul espace.

Question

Je dois remplacer tous les caractères non ASCII ( \x00 - \x7F ) avec un espace. Je suis surpris que cela ne soit pas très facile en Python, à moins que je ne manque quelque chose. La fonction suivante supprime simplement tous les caractères non ASCII :

def remove_non_ascii_1(text):

    return ''.join(i for i in text if ord(i)<128)

Et celui-ci remplace les caractères non-ASCII par le nombre d'espaces correspondant à la quantité d'octets dans le point de code du caractère (c'est-à-dire le – est remplacé par 3 espaces) :

def remove_non_ascii_2(text):

    return re.sub(r'[^\x00-\x7F]',' ', text)

Comment puis-je remplacer tous les caractères non ASCII par un seul espace ?

Sur el myriade de de similaire SO questions , aucun adresse caractère remplacement comme s'est opposé à à décapage , y s'adresse en outre à tous les caractères non ascii et non à un caractère spécifique.

Answer 1

Votre ''.join() L'expression est filtrage en supprimant tout ce qui n'est pas ASCII ; vous pouvez utiliser une expression conditionnelle à la place :

return ''.join([i if ord(i) < 128 else ' ' for i in text])

Cette méthode traite les caractères un par un et utilise toujours un espace par caractère remplacé.

Votre expression régulière doit juste remplacer consécutif les caractères non ASCII avec un espace :

re.sub(r'[^\x00-\x7F]+',' ', text)

Notez le + là.

Answer 2

Pour que vous obteniez la représentation la plus proche de votre chaîne originale, je vous recommande le module unidecode :

from unidecode import unidecode
def remove_non_ascii(text):
    return unidecode(unicode(text, encoding = "utf-8"))

Vous pouvez ensuite l'utiliser dans une chaîne de caractères :

remove_non_ascii("Ceñía")
Cenia

Answer 3

Pour caractère utilisez des chaînes de caractères Unicode :

PythonWin 3.3.0 (v3.3.0:bd8afb90ebf2, Sep 29 2012, 10:57:17) [MSC v.1600 64 bit (AMD64)] on win32.
>>> s='ABCdef'
>>> import re
>>> re.sub(r'[^\x00-\x7f]',r' ',s)   # Each char is a Unicode codepoint.
'ABC  def'
>>> b = s.encode('utf8')
>>> re.sub(rb'[^\x00-\x7f]',rb' ',b) # Each char is a 3-byte UTF-8 sequence.
b'ABC      def'

Mais notez que vous aurez toujours un problème si votre chaîne contient des caractères Unicode décomposés (caractère séparé et combinaison de marques d'accent, par exemple) :

>>> s = 'mañana'
>>> len(s)
6
>>> import unicodedata as ud
>>> n=ud.normalize('NFD',s)
>>> n
'manana'
>>> len(n)
7
>>> re.sub(r'[^\x00-\x7f]',r' ',s) # single codepoint
'ma ana'
>>> re.sub(r'[^\x00-\x7f]',r' ',n) # only combining mark replaced
'man ana'

Answer 4

Si le caractère de remplacement peut être '?' au lieu d'un espace, je suggérerais alors result = text.encode('ascii', 'replace').decode() :

"""Test the performance of different non-ASCII replacement methods."""

import re
from timeit import timeit

# 10_000 is typical in the project that I'm working on and most of the text
# is going to be non-ASCII.
text = 'Æ' * 10_000

print(timeit(
    """
result = ''.join([c if ord(c) < 128 else '?' for c in text])
    """,
    number=1000,
    globals=globals(),
))

print(timeit(
    """
result = text.encode('ascii', 'replace').decode()
    """,
    number=1000,
    globals=globals(),
))

Résultats :

0.7208260721400134
0.009975979187503592

Answer 5

Et celui-là ?

def replace_trash(unicode_string):
     for i in range(0, len(unicode_string)):
         try:
             unicode_string[i].encode("ascii")
         except:
              #means it's non-ASCII
              unicode_string=unicode_string[i].replace(" ") #replacing it with a single space
     return unicode_string