La différence entre le sous-ensemble et le filtre de dplyr

Ils sont, en effet, de produire le même résultat, et ils sont très similaires dans leur concept.

L'avantage de subset est qu'elle est partie de la base de R et ne nécessite pas de paquets supplémentaires. Avec des échantillons de petite taille, il semble être un peu plus rapide que filter (6 fois plus vite dans votre exemple, mais c'est mesurée en microsecondes).

Que les ensembles de données de croître, filter semble avantagé en terme d'efficacité. À 15 000 dossiers, filter dépasse subset par environ 300 microsecondes. Et soit 153 000 dossiers, filter est trois fois plus rapide (mesurée en millisecondes).

Donc, en termes de temps de l'homme, je ne pense pas qu'il y a beaucoup de différence entre les deux.

L'autre avantage (et c'est un peu d'un avantage particulier), c'est que filter peut fonctionner sur des bases de données SQL sans tirer sur les données en mémoire. subset n'a tout simplement pas le faire.

Personnellement, j'ai tendance à utiliser filter, mais seulement parce que je suis déjà à l'aide de la dplyr cadre. Si vous ne travaillez pas avec des données de la mémoire, il ne fera pas beaucoup de différence.

library(dplyr)
library(microbenchmark)

# Original example
microbenchmark(
  df1<-subset(airquality, Temp>80 & Month > 5),
  df2<-filter(airquality, Temp>80 & Month > 5)
)

Unit: microseconds
   expr     min       lq     mean   median      uq      max neval cld
 subset  95.598 107.7670 118.5236 119.9370 125.949  167.443   100  a 
 filter 551.886 564.7885 599.4972 571.5335 594.993 2074.997   100   b


# 15,300 rows
air <- lapply(1:100, function(x) airquality) %>% bind_rows

microbenchmark(
  df1<-subset(air, Temp>80 & Month > 5),
  df2<-filter(air, Temp>80 & Month > 5)
)

Unit: microseconds
   expr      min        lq     mean   median       uq      max neval cld
 subset 1187.054 1207.5800 1293.718 1216.671 1257.725 2574.392   100   b
 filter  968.586  985.4475 1056.686 1023.862 1036.765 2489.644   100  a 

# 153,000 rows
air <- lapply(1:1000, function(x) airquality) %>% bind_rows

microbenchmark(
  df1<-subset(air, Temp>80 & Month > 5),
  df2<-filter(air, Temp>80 & Month > 5)
)

Unit: milliseconds
   expr       min        lq     mean    median        uq      max neval cld
 subset 11.841792 13.292618 16.21771 13.521935 13.867083 68.59659   100   b
 filter  5.046148  5.169164 10.27829  5.387484  6.738167 65.38937   100  a 

OriginalL'auteur Benjamin

Intéressant. J'essayais de voir la différence de dataset et je coulnd pas obtenir une explication sur le pourquoi de la "[" opérateur se sont comportés différemment (c'est à dire, pourquoi il a renvoyé NAs):

# Subset for year=2013
sub<-brfss2013 %>% filter(iyear == "2013")
dim(sub)
#[1] 486088    330
length(which(is.na(sub$iyear))==T)
#[1] 0

sub2<-filter(brfss2013, iyear == "2013")
dim(sub2)
#[1] 486088    330
length(which(is.na(sub2$iyear))==T)
#[1] 0

sub3<-brfss2013[brfss2013$iyear=="2013", ]
dim(sub3)
#[1] 486093    330
length(which(is.na(sub3$iyear))==T)
#[1] 5

sub4<-subset(brfss2013, iyear=="2013")
dim(sub4)
#[1] 486088    330
length(which(is.na(sub4$iyear))==T)
#[1] 0

OriginalL'auteur Maria Wollestonecraft

Un avantage supplémentaire de la filter est qu'il joue à nice avec des données groupées. subset ignore groupements.

Ainsi, lorsque les données sont regroupées, subset fera toujours référence à l'ensemble des données, mais filter uniquement de référence du groupe.

# setup
library(tidyverse)

data.frame(a = 1:2) %>% group_by(a) %>% subset(length(a) == 1) 
# returns empty table

data.frame(a = 1:2) %>% group_by(a) %>% filter(length(a) == 1) 
# returns all rows

OriginalL'auteur Albert