Por Jose R. Zapata

Tidyverse

El tidyverse es una colección de paquetes R diseñados para ciencia de datos. Todos los paquetes comparten una filosofía de diseño subyacente, gramática y estructuras de datos.

El libro online R for Data Science muestra todas las facultades del tydiverse en ciencia de datos.

Instalar e importar Tidyverse

install.packages("tidyverse")

library(tidyverse)

El mundo de tidyverse es:

Manipulacion de datos (dplyr)

Documentacion en: https://cran.r-project.org/web/packages/dplyr/dplyr.pdf

• filter() (and slice())
• arrange()
• select() (and rename())
• distinct()
• mutate() (and transmute())
• summarise()
• sample_n() and sample_frac()

Instalacion de dplyr

# si ya esta instalado el tydiverse no es necesario instalarla
# Instalacion en R
#install.packages('dplyr')

# Llamar la libreria
library(dplyr)

Attaching package: ‘dplyr’


The following objects are masked from ‘package:stats’:

    filter, lag


The following objects are masked from ‘package:base’:

    intersect, setdiff, setequal, union

Datos de ejemplo

# se puede descargar la base de datos nycflights13
# si ya esta instalado no hay necesidad de instalarlo nuevamente
install.packages('nycflights13',repos = 'http://cran.us.r-project.org')

Installing package into ‘/usr/local/lib/R/site-library’
(as ‘lib’ is unspecified)

library(nycflights13)
summary(flights)

      year          month             day           dep_time    sched_dep_time
 Min.   :2013   Min.   : 1.000   Min.   : 1.00   Min.   :   1   Min.   : 106
 1st Qu.:2013   1st Qu.: 4.000   1st Qu.: 8.00   1st Qu.: 907   1st Qu.: 906
 Median :2013   Median : 7.000   Median :16.00   Median :1401   Median :1359
 Mean   :2013   Mean   : 6.549   Mean   :15.71   Mean   :1349   Mean   :1344
 3rd Qu.:2013   3rd Qu.:10.000   3rd Qu.:23.00   3rd Qu.:1744   3rd Qu.:1729
 Max.   :2013   Max.   :12.000   Max.   :31.00   Max.   :2400   Max.   :2359
                                                 NA's   :8255
   dep_delay          arr_time    sched_arr_time   arr_delay
 Min.   : -43.00   Min.   :   1   Min.   :   1   Min.   : -86.000
 1st Qu.:  -5.00   1st Qu.:1104   1st Qu.:1124   1st Qu.: -17.000
 Median :  -2.00   Median :1535   Median :1556   Median :  -5.000
 Mean   :  12.64   Mean   :1502   Mean   :1536   Mean   :   6.895
 3rd Qu.:  11.00   3rd Qu.:1940   3rd Qu.:1945   3rd Qu.:  14.000
 Max.   :1301.00   Max.   :2400   Max.   :2359   Max.   :1272.000
 NA's   :8255      NA's   :8713                  NA's   :9430
   carrier              flight       tailnum             origin
 Length:336776      Min.   :   1   Length:336776      Length:336776
 Class :character   1st Qu.: 553   Class :character   Class :character
 Mode  :character   Median :1496   Mode  :character   Mode  :character
                    Mean   :1972
                    3rd Qu.:3465
                    Max.   :8500

     dest              air_time        distance         hour
 Length:336776      Min.   : 20.0   Min.   :  17   Min.   : 1.00
 Class :character   1st Qu.: 82.0   1st Qu.: 502   1st Qu.: 9.00
 Mode  :character   Median :129.0   Median : 872   Median :13.00
                    Mean   :150.7   Mean   :1040   Mean   :13.18
                    3rd Qu.:192.0   3rd Qu.:1389   3rd Qu.:17.00
                    Max.   :695.0   Max.   :4983   Max.   :23.00
                    NA's   :9430
     minute        time_hour
 Min.   : 0.00   Min.   :2013-01-01 05:00:00.00
 1st Qu.: 8.00   1st Qu.:2013-04-04 13:00:00.00
 Median :29.00   Median :2013-07-03 10:00:00.00
 Mean   :26.23   Mean   :2013-07-03 05:22:54.64
 3rd Qu.:44.00   3rd Qu.:2013-10-01 07:00:00.00
 Max.   :59.00   Max.   :2013-12-31 23:00:00.00

# Observe que el dataframe es muy largo
dim(flights)

1. 336776
2. 19

filter()

Permite seleccionar un subconjunto de filas en un dataframe. El primer argumento es el nombre. El segundo y siguientes argumentos son las expresiones que filtran el dataframe: por ejemplo, podemos seleccionar todos los vuelos del 3 de noviembre que fueron de American Airlines (AA) con:

head(filter(flights,month==11,day==3,carrier=='AA'))

Es mucho mas simple que de la forma normal de R

head(flights[flights$month == 11 & flights$day == 3 & flights$carrier == 'AA', ])

slice()

slice(flights, 1:4)

arrange()

Funciona de manera similar a filter() excepto que en lugar de filtrar o seleccionar filas, las reordena. Se necesita un dataframe y un conjunto de nombres de columna (o expresiones más complicadas) para ordenar. Si proporciona más de un nombre de columna, cada columna adicional se utilizará para romper relaciones de los valores de las columnas anteriores:

head(arrange(flights,year,month,day,air_time))

Se puede agregar desc() para ordenarlas en orden descendente

head(arrange(flights,desc(dep_delay)))

select()

Cuando se tiene grandes conjuntos de datos con muchas columnas, pero solo unos pocos se necesitan. select() permite crear rápidamente un subconjunto útil utilizando operaciones que generalmente solo funcionan en posiciones de variables numéricas:

head(select(flights,carrier))

rename()

Para renombrar las columnas, Esta no es una operacion “in-place”

head(rename(flights,airline_car = carrier))

distinct()

Un uso común de select() es encontrar los valores de un conjunto de variables. Esto es particularmente útil junto con el verbo distinct() que solo devuelve los valores únicos en una tabla.

distinct(select(flights,carrier))

mutate()

Además de seleccionar conjuntos de columnas existentes, a menudo es útil agregar nuevas columnas que son funciones de columnas existentes. Este es el trabajo de mutate():

head(mutate(flights, new_col = arr_delay-dep_delay))

transmutate()

Use transmute() si solo quieres las nuevas columnas:

head(transmute(flights, new_col = arr_delay-dep_delay))

summarize()

Puede usar summarize() para contraer rápidamente dataframes en filas individuales utilizando funciones que agregan resultados. Recuerde usar na.rm = TRUE para eliminar los valores de NA.

summarise(flights,avg_air_time=mean(air_time,na.rm=TRUE))

sample_n() y sample_frac()

Sirven para tomar una muestra aleatoria de filas: use sample_n() para un número fijo y sample_frac() para una fracción fija.

sample_n(flights,5)

# .002% de los datos
sample_frac(flights,0.00002) # USE replace=TRUE para el muestreo de inicio

Ordenar datos o data wrangling con tidyr

tidyr, que es un paquete complementario que ayuda a crear conjuntos de datos ordenados. La información ordenada es cuando tenemos un conjunto de datos donde cada fila es una observación y cada columna es una variable, de esta manera los datos están organizados de tal manera que cada celda es un valor para una variable específica de una observación específica. Tener los datos en este formato le ayudará a comprenderlos y permitirá analizarlos o visualizarlos de manera rápida y eficiente.

tidyr cheatsheet

Instalar tidyr

# si ya esta instalado tidyverse no es necesario
#install.packages('tidyr',repos = 'http://cran.us.r-project.org')

library(tidyr)
library(data.table)

Attaching package: ‘data.table’


The following objects are masked from ‘package:dplyr’:

    between, first, last

Data.frames vs data.tables

Todos los datatables también son data.frames. En términos generales, puede pensar en data.tables como data.frames con características adicionales. data.frame es parte de la base R. data.table es un paquete que amplía data.frames. Dos de sus características más notables son la velocidad y la sintaxis más limpia. Sin embargo, esa sintaxis para un data.table es diferente de la sintaxis R estándar para data.frame, mientras que para el ojo no entrenado es difícil distinguirlo de un vistazo. Por lo tanto, si lee un fragmento de código y no hay otro contexto para indicar que está trabajando con data.tables e intenta aplicar el código a un data.frame, puede fallar o producir resultados inesperados. Entonces, ¿cuáles son algunas de las diferencias prácticas? Éstos son algunos:

• operaciones mucho más rápidas y muy intuitivas.
• No imprimirá accidentalmente un gran data.frame con la necesidad de presionar Ctrl-C, data.table previene este tipo de accidente

Usar tidyr

• gather()
• spread()
• separate()
• unite()

Datos de ejemplo

Datos de ejemplo para ser limpiados usando tidyr

comp <- c(1,1,1,2,2,2,3,3,3)
yr <- c(1998,1999,2000,1998,1999,2000,1998,1999,2000)
q1 <- runif(9, min=0, max=100)
q2 <- runif(9, min=0, max=100)
q3 <- runif(9, min=0, max=100)
q4 <- runif(9, min=0, max=100)

df <- data.frame(comp=comp,year=yr,Qtr1 = q1,Qtr2 = q2,Qtr3 = q3,Qtr4 = q4)

df

gather()

Son operaciones analogas a las pivot tables. La función gather() colapsará múltiples columnas en valores de par de claves. El data.frame anterior se considera amplio ya que la variable de tiempo (representada como trimestres) está estructurada de manera que cada trimestre representa una variable. Para reestructurar el componente de tiempo como una variable individual, podemos reunir cada trimestre dentro de una variable de columna y también reunir los valores asociados con cada trimestre en una segunda variable de columna.

# Usando solo la funcion
a<- gather(df,Quarter,Revenue,Qtr1:Qtr4)
head(a)

spread()

Es el complemento de gather()

spread(a,Quarter,Revenue)

separate()

Dada la expresión regular o un vector de posiciones de caracteres, separate() convierte una sola columna de caracteres en múltiples columnas.

df <- data.frame(x = c(NA, "a.x", "b.y", "c.z"))
df

separate(df,x, c("ABC", "XYZ"))

unite()

Unite es una función para pegar varias columnas en una sola.

head(mtcars)

unidos <-unite(mtcars, "vs.am", c("vs","am"),sep = '.')
head(unidos)

separate()

Separate() es el complemento de unite()

separate(unidos,vs.am, c("vs", "am"))

Operador pipe %>%

Si bien no es necesario que utilice el operador de pipe con dplyr o tidyr, puede ser muy útil cuando intente realizar múltiples operaciones / funciones en un conjunto de datos. El operador pipe le permitirá evitar una operación larga anidada o hacer un montón de asignaciones. En su forma más básica.

# los Datos
df <- mtcars

Usando Nesting

library(dplyr)
arrange(sample_n(filter(df,mpg>20),size=5),desc(mpg))

Usando Multiples asignaciones

library(dplyr)
a <- filter(df,mpg > 20) # selecciona un subconjunto del dataframe
b <- sample_n(a,size = 5) # toma una muestra aleatoria
c <- arrange(b,desc(mpg)) #orgniza el dataframe
c

Usando el Operador pipe %>%

library(dplyr)
df %>% filter(mpg > 20) %>% sample_n(size = 5) %>% arrange(desc(mpg))

REFERENCIAS

• What is the tidyverse

• Data wrangling cheattsheet
• https://www.tidyverse.org/
• http://tidyr.tidyverse.org/
• Data wrangling
• https://dplyr.tidyverse.org/
• Documentacion dplyr
• http://ggplot2.tidyverse.org/