Comment séparer mais ignorer les séparateurs dans les chaînes citées, en python ?

Question

J'ai besoin de diviser une chaîne de caractères comme ceci, sur des points-virgules. Mais je ne veux pas couper sur les points-virgules qui sont à l'intérieur d'une chaîne (' ou "). Je n'analyse pas un fichier, mais une simple chaîne de caractères sans saut de ligne.

part 1;"this is ; part 2;";'this is ; part 3';part 4;this "is ; part" 5

Le résultat devrait être :

• partie 1
• "c'est ; partie 2 ;"
• "Ceci est ; partie 3
• partie 4
• ceci "est ; partie" 5

Je suppose que cela peut être fait avec une regex, mais sinon, je suis ouvert à une autre approche.

Answer 1

La plupart des réponses semblent massivement trop compliquées. Vous Ne le fais pas. besoin de références arrière. Vous Ne le fais pas. doivent dépendre du fait que re.findall donne ou non des correspondances qui se chevauchent. Etant donné que l'entrée ne peut pas être analysée avec le module csv et qu'une expression régulière est donc la seule solution possible, tout ce dont vous avez besoin est d'appeler re.split avec un motif qui correspond à un champ.

Notez qu'il est beaucoup plus facile ici de faire correspondre un champ qu'un séparateur :

import re
data = """part 1;"this is ; part 2;";'this is ; part 3';part 4;this "is ; part" 5"""
PATTERN = re.compile(r'''((?:[^;"']|"[^"]*"|'[^']*')+)''')
print PATTERN.split(data)[1::2]

et la sortie est :

['part 1', '"this is ; part 2;"', "'this is ; part 3'", 'part 4', 'this "is ; part" 5']

Comme le fait remarquer Jean-Luc Nacif Coelho, cela ne permet pas de gérer correctement les groupes vides. Selon la situation, cela peut être important ou non. Si c'est le cas, il peut être possible de le gérer, par exemple en remplaçant ';;' con ';<marker>;' donde <marker> doit être une chaîne de caractères (sans point-virgule) dont vous savez qu'elle n'apparaît pas dans les données avant le fractionnement. Vous devez également restaurer les données après :

>>> marker = ";!$%^&;"
>>> [r.replace(marker[1:-1],'') for r in PATTERN.split("aaa;;aaa;'b;;b'".replace(';;', marker))[1::2]]
['aaa', '', 'aaa', "'b;;b'"]

Toutefois, il s'agit d'une solution de fortune. Avez-vous de meilleures suggestions ?

Answer 2

re.split(''';(?=(?:[^'"]|'[^']*'|"[^"]*")*$)''', data)

Chaque fois qu'il trouve un point-virgule, le lookahead parcourt toute la chaîne restante, en s'assurant qu'il y a un nombre pair de guillemets simples et un nombre pair de guillemets doubles. (Les apostrophes simples à l'intérieur de champs à apostrophes doubles, ou vice-versa, sont ignorées.) Si le lookahead réussit, le point-virgule est un délimiteur.

Contrairement à La solution de Duncan qui correspond aux champs plutôt qu'aux délimiteurs, celui-ci n'a aucun problème avec les champs vides. (Pas même le dernier : contrairement à beaucoup d'autres split Python ne rejette pas automatiquement les champs vides de fin de ligne).

Answer 3

Voici une version annotée pyparsage approche :

from pyparsing import (printables, originalTextFor, OneOrMore, 
    quotedString, Word, delimitedList)

# unquoted words can contain anything but a semicolon
printables_less_semicolon = printables.replace(';','')

# capture content between ';'s, and preserve original text
content = originalTextFor(
    OneOrMore(quotedString | Word(printables_less_semicolon)))

# process the string
print delimitedList(content, ';').parseString(test)

donner

['part 1', '"this is ; part 2;"', "'this is ; part 3'", 'part 4', 
 'this "is ; part" 5']

En utilisant l'outil de pyparsing fourni quotedString vous bénéficiez également d'un soutien pour les devis échappés.

Vous n'avez pas non plus précisé comment gérer les espaces avant ou après un délimiteur point-virgule, et aucun des champs de votre exemple de texte n'en comporte. Pyparsing analyserait "a ; b ; c" comme :

['a', 'b', 'c']

Answer 4

Vous semblez avoir une chaîne de caractères séparée par un point-virgule. Pourquoi ne pas utiliser le csv module pour faire tout le travail difficile ?

D'après ce que je sais, cela devrait fonctionner.

import csv 
from StringIO import StringIO 

line = '''part 1;"this is ; part 2;";'this is ; part 3';part 4;this "is ; part" 5'''

data = StringIO(line) 
reader = csv.reader(data, delimiter=';') 
for row in reader: 
    print row 

Cela devrait vous donner quelque chose comme
("part 1", "this is ; part 2;", 'this is ; part 3', "part 4", "this \"is ; part\" 5")

Edit :
Malheureusement, cela ne fonctionne pas (même si vous utilisez StringIO, comme je l'avais prévu), à cause des guillemets mixtes (simples et doubles). Ce que vous obtenez réellement est

['part 1', 'this is ; part 2;', "'this is ", " part 3'", 'part 4', 'this "is ', ' part" 5'] .

Si vous pouvez modifier les données pour qu'elles ne contiennent que des guillemets simples ou doubles aux endroits appropriés, cela devrait fonctionner correctement, mais cela annule un peu la question.

Answer 5

Bien que cela puisse être fait avec PCRE via lookaheads/behinds/backreferences, ce n'est pas vraiment une tâche pour laquelle regex est conçu en raison de la nécessité de faire correspondre des paires équilibrées de guillemets.

Au lieu de cela, il est probablement préférable de créer une mini-machine à états et d'analyser la chaîne de caractères de cette manière.

Modifier

Il s'avère que, grâce à la fonctionnalité supplémentaire très pratique de Python re.findall qui garantit des correspondances qui ne se chevauchent pas, cela peut être plus simple à faire avec une regex en Python que cela pourrait l'être autrement. Voir les commentaires pour plus de détails.

Cependant, si vous êtes curieux de savoir à quoi pourrait ressembler une implémentation non regex :

x = """part 1;"this is ; part 2;";'this is ; part 3';part 4;this "is ; part" 5"""

results = [[]]
quote = None
for c in x:
  if c == "'" or c == '"':
    if c == quote:
      quote = None
    elif quote == None:
      quote = c
  elif c == ';':
    if quote == None:
      results.append([])
      continue
  results[-1].append(c)

results = [''.join(x) for x in results]

# results = ['part 1', '"this is ; part 2;"', "'this is ; part 3'",
#            'part 4', 'this "is ; part" 5']