Comment lire des données lorsque certains chiffres contiennent des virgules en tant que séparateur de milliers?

Question

J'ai un fichier csv où certaines des valeurs numériques sont exprimées en tant que chaînes de caractères avec des virgules comme séparateur de milliers, par exemple "1,513" au lieu de 1513. Quel est le moyen le plus simple de lire les données dans R?

Je peux utiliser read.csv(..., colClasses="character"), mais ensuite je dois supprimer les virgules des éléments concernés avant de convertir ces colonnes en valeurs numériques, et je ne trouve pas de moyen simple de le faire.

Answer 1

Ne sachant pas comment faire en sorte que read.csv l'interprète correctement, mais vous pouvez utiliser sub pour remplacer "," par "", puis convertir la chaîne en numérique en utilisant as.numeric :

y <- c("1,200","20,000","100","12,111")
as.numeric(gsub(",", "", y))
# [1]  1200 20000 100 12111

Cela a également été répondu précédemment sur R-Help (et dans Q2 ici).

Alternativement, vous pouvez prétraiter le fichier, par exemple avec sed dans unix.

Answer 2

Vous pouvez utiliser read.table ou read.csv pour effectuer cette conversion de manière semi-automatique. Créez d'abord une nouvelle définition de classe, puis créez une fonction de conversion et définissez-la comme une méthode "as" en utilisant la fonction setAs de la manière suivante :

setClass("num.with.commas")
setAs("character", "num.with.commas", 
        function(from) as.numeric(gsub(",", "", from) ) )

Ensuite, exécutez read.csv comme suit :

DF <- read.csv('votre.fichier.ici', 
   colClasses=c('num.with.commas','factor','character','numeric','num.with.commas'))

Answer 3

Je veux utiliser R plutôt que de prétraiter les données car cela facilite les révisions ultérieures des données. Suivant la suggestion de Shane d'utiliser gsub, je pense que c'est à peu près aussi propre que je puisse le faire :

x <- read.csv("file.csv",header=TRUE,colClasses="character")
col2cvt <- 15:41
x[,col2cvt] <- lapply(x[,col2cvt],function(x){as.numeric(gsub(",", "", x))})

Answer 4

"Preprocess" en R:

lines <- "www, rrr, 1,234, ttt \n rrr,zzz, 1,234,567,987, rrr"

Peut utiliser readLines sur une textConnection. Ensuite, supprimer uniquement les virgules qui se trouvent entre des chiffres:

gsub("([0-9]+)\\,([0-9])", "\\1\\2", lines)

## [1] "www, rrr, 1234, ttt \n rrr,zzz, 1234567987, rrr"

Il est également utile de savoir, bien que ce ne soit pas directement pertinent pour cette question, que les virgules en tant que séparateurs décimaux peuvent être gérées par read.csv2 (automatiquement) ou read.table (avec le paramètre 'dec' paramètré).

Édition: Plus tard, j'ai découvert comment utiliser colClasses en concevant une nouvelle classe. Voir:

Comment charger un df avec un séparateur de milliers en R en tant que classe numérique?

Answer 5

Je pense que le prétraitement est la meilleure option. Vous pourriez utiliser Notepad++ qui dispose d'une option de remplacement d'expression régulière.

Par exemple, si votre fichier était comme ceci :

"1,234","123","1,234"
"234","123","1,234"
123,456,789

Alors, vous pourriez utiliser l'expression régulière "([0-9]+),([0-9]+)" et le remplacer par \1\2

1234,"123",1234
"234","123",1234
123,456,789

Ensuite, vous pourriez utiliser x <- read.csv(file="x.csv",header=FALSE) pour lire le fichier.