Slugification des chaînes de caractères en Python

Question

Je suis à la recherche de la meilleure façon de "slugifier" une chaîne de caractères. ce que "slug" est et ma solution actuelle est basée sur cette recette

Je l'ai un peu modifié pour :

s = 'String to slugify'

slug = unicodedata.normalize('NFKD', s)
slug = slug.encode('ascii', 'ignore').lower()
slug = re.sub(r'[^a-z0-9]+', '-', slug).strip('-')
slug = re.sub(r'[-]+', '-', slug)

Quelqu'un voit-il des problèmes avec ce code ? Il fonctionne bien, mais peut-être que quelque chose m'échappe ou que vous connaissez une meilleure méthode ?

Answer 1

Il existe un paquet python nommé python-slugify qui fait un assez bon travail de slugification :

pip install python-slugify

Ça marche comme ça :

from slugify import slugify

txt = "This is a test ---"
r = slugify(txt)
self.assertEquals(r, "this-is-a-test")

txt = "This -- is a ## test ---"
r = slugify(txt)
self.assertEquals(r, "this-is-a-test")

txt = 'C\'est déjà l\'été.'
r = slugify(txt)
self.assertEquals(r, "cest-deja-lete")

txt = 'Nín ho. W shì zhng guó rén'
r = slugify(txt)
self.assertEquals(r, "nin-hao-wo-shi-zhong-guo-ren")

txt = ''
r = slugify(txt)
self.assertEquals(r, "kompiuter")

txt = 'jaja---lol-méméméoo--a'
r = slugify(txt)
self.assertEquals(r, "jaja-lol-mememeoo-a")

Voir Autres exemples

Ce paquet fait un peu plus que ce que vous avez posté (jetez un coup d'œil à la source, c'est juste un fichier). Le projet est toujours actif (il a été mis à jour 2 jours avant ma réponse initiale, plus de neuf ans plus tard (dernière vérification le 2022-03-30), il est toujours mis à jour).

attention : Il existe un deuxième paquet, nommé slugify . Si vous avez les deux, vous risquez d'avoir un problème, car ils ont le même nom pour l'importation. Celui qui est juste nommé slugify n'a pas fait tout ce que j'ai vérifié rapidement : "Ich heiße" est devenu "ich-heie" (devrait être "ich-heisse" ), veillez donc à choisir le bon, lorsque vous utilisez la fonction pip o easy_install .

Answer 2

Installer le formulaire unidecode d'ici pour le support de l'unicode

pip install unidecode

# -*- coding: utf-8 -*-
import re
import unidecode

def slugify(text):
    text = unidecode.unidecode(text).lower()
    return re.sub(r'[\W_]+', '-', text)

text = u"My custom  "
print slugify(text)

>>> mon-custom-khello-vorld

Answer 3

Il existe un paquet python nommé awesome-slugify :

pip install awesome-slugify

Ça marche comme ça :

from slugify import slugify

slugify('one kožušcek')  # one-kozuscek

page github de awesome-slugify

Answer 4

Le problème se situe au niveau de la ligne de normalisation ascii :

slug = unicodedata.normalize('NFKD', s)

Il s'appelle normalisation unicode qui ne décompose pas beaucoup de caractères en ascii. Par exemple, il supprimerait les caractères non ascii des chaînes de caractères suivantes :

Mørdag -> mrdag
Æther -> ther

Une meilleure façon de le faire est d'utiliser l'option unidecode qui essaie de traduire les chaînes de caractères en ascii. Donc si vous remplacez la ligne ci-dessus par :

import unidecode
slug = unidecode.unidecode(s)

Vous obtenez de meilleurs résultats pour les chaînes de caractères ci-dessus et pour de nombreux caractères grecs et russes également :

Mørdag -> mordag
Æther -> aether

Answer 5

Il fonctionne bien dans Django Je ne vois donc pas pourquoi ce ne serait pas une bonne fonction générale de slugification.

Avez-vous des problèmes avec elle ?