Sélection par chaîne partielle dans un DataFrame pandas

Question

J'ai un DataFrame avec 4 colonnes dont 2 contiennent des valeurs de type chaîne. Je me demandais s'il existait un moyen de sélectionner des lignes sur la base d'une correspondance partielle de chaînes de caractères dans une colonne particulière ?

En d'autres termes, une fonction ou une fonction lambda qui ferait quelque chose comme

re.search(pattern, cell_in_question) 

renvoyant un booléen. Je connais la syntaxe de df[df['A'] == "hello world"] mais je n'arrive pas à trouver un moyen de faire de même avec une correspondance partielle de chaîne de caractères, par exemple 'hello' .

Quelqu'un pourrait-il m'indiquer la bonne direction ?

Answer 1

Disons que vous avez les éléments suivants DataFrame :

>>> df = pd.DataFrame([['hello', 'hello world'], ['abcd', 'defg']], columns=['a','b'])
>>> df
       a            b
0  hello  hello world
1   abcd         defg

Vous pouvez toujours utiliser le in dans une expression lambda pour créer votre filtre.

>>> df.apply(lambda x: x['a'] in x['b'], axis=1)
0     True
1    False
dtype: bool

L'astuce ici est d'utiliser le axis=1 dans l'option apply pour passer les éléments à la fonction lambda ligne par ligne, par opposition à colonne par colonne.

Answer 2

Si vous avez besoin de faire un insensible à la casse recherche d'une chaîne de caractères dans une colonne de dataframe pandas :

df[df['A'].str.contains("hello", case=False)]

Answer 3

Vous pouvez essayer de les considérer comme des chaînes de caractères :

df[df['A'].astype(str).str.contains("Hello|Britain")]

Answer 4

Supposons que nous ayons une colonne nommée "ENTITY" dans le cadre de données. df . Nous pouvons filtrer nos df ,pour avoir la totalité du cadre de données df dans lequel les lignes de la colonne "entité" ne contiennent pas "DM" en utilisant un masque comme suit :

mask = df['ENTITY'].str.contains('DM')

df = df.loc[~(mask)].copy(deep=True)

Answer 5

Voici ce que j'ai fini par faire pour les correspondances partielles de chaînes. Si quelqu'un a une façon plus efficace de le faire, faites-le moi savoir.

def stringSearchColumn_DataFrame(df, colName, regex):
    newdf = DataFrame()
    for idx, record in df[colName].iteritems():

        if re.search(regex, record):
            newdf = concat([df[df[colName] == record], newdf], ignore_index=True)

    return newdf