Comment supprimer les valeurs aberrantes d'un ensemble de données ?

Question

J'ai des données multivariées sur la beauté en fonction de l'âge. Les âges vont de 20 à 40 ans à des intervalles de 2 (20, 22, 24....40), et pour chaque enregistrement de données, on leur donne un âge et une note de beauté de 1 à 5. Lorsque je fais des boxplots de ces données (âges sur l'axe des X, notes de beauté sur l'axe des Y), il y a quelques valeurs aberrantes tracées en dehors des moustaches de chaque boîte.

Je veux supprimer ces valeurs aberrantes du cadre de données lui-même, mais je ne sais pas comment R calcule les valeurs aberrantes pour ses diagrammes en boîte. Voici un exemple de ce à quoi mes données pourraient ressembler.

Answer 1

Personne n'a posté la réponse la plus simple :

x[!x %in% boxplot.stats(x)$out]

Voir aussi ceci : http://www.r-statistics.com/2011/01/how-to-label-all-the-outliers-in-a-boxplot/

Answer 2

OK, vous devriez appliquer quelque chose comme ça à votre jeu de données. Ne remplacez pas & sauvegardez ou vous détruirez vos données ! Et, au fait, vous ne devriez (presque) jamais supprimer les valeurs aberrantes de vos données :

remove_outliers <- function(x, na.rm = TRUE, ...) {
  qnt <- quantile(x, probs=c(.25, .75), na.rm = na.rm, ...)
  H <- 1.5 * IQR(x, na.rm = na.rm)
  y <- x
  y[x < (qnt[1] - H)] <- NA
  y[x > (qnt[2] + H)] <- NA
  y
}

Pour le voir en action :

set.seed(1)
x <- rnorm(100)
x <- c(-10, x, 10)
y <- remove_outliers(x)
## png()
par(mfrow = c(1, 2))
boxplot(x)
boxplot(y)
## dev.off()

Et encore une fois, vous ne devriez jamais faire cela tout seul, les valeurs aberrantes sont juste faites pour être ! =)

EDIT : J'ai ajouté na.rm = TRUE par défaut.

EDIT2 : Supprimé quantile a ajouté des indices, ce qui a rendu la fonction plus rapide ! =)

Answer 3

Utilisez outline = FALSE comme option lorsque vous faites le boxplot (lisez l'aide !).

> m <- c(rnorm(10),5,10)
> bp <- boxplot(m, outline = FALSE)

Answer 4

La fonction boxplot renvoie les valeurs utilisées pour réaliser le tracé (qui est en fait réalisé par bxp()) :

bstats <- boxplot(count ~ spray, data = InsectSprays, col = "lightgray") 
#need to "waste" this plot
bstats$out <- NULL
bstats$group <- NULL
bxp(bstats)  # this will plot without any outlier points

Je n'ai volontairement pas répondu à la question spécifique parce que je considère que la suppression des "valeurs aberrantes" est une faute professionnelle statistique. Je considère comme une pratique acceptable le fait de ne pas les tracer dans un boxplot, mais les supprimer est une manipulation systématique et injustifiée des données d'observation.

Answer 5

La fonction subset( ) est le moyen le plus simple de sélectionner les variables et l'observation. Dans l'exemple suivant, nous sélectionnons toutes les lignes qui ont une valeur d'âge supérieure ou égale à 20 ou un âge inférieur à 10. Nous conservons les colonnes ID et Weight.

# using subset function

newdata <- subset(mydata, age >= 20 | age < 10, select=c(ID, Weight))

Dans l'exemple suivant, nous sélectionnons tous les hommes âgés de plus de 25 ans et nous conservons les variables poids à revenu (poids, revenu et toutes les colonnes entre elles).

# using subset function (part 2)
newdata <- subset(mydata, sex=="m" & age > 25,
select=weight:income)

Méthodes supplémentaires à http://www.statmethods.net/management/subset.html