#Cargar datos
url <- "https://github.com/JoseRZapata/Data_analysis_notebooks/raw/main/data/datasets/missing-data.csv"
download.file(url, destfile = "missing-data.csv", mode = "wb")

data <- read.csv("missing-data.csv", na.strings = "") # donde hay espacios en blanco poner NA
data # dataframe con datos faltantes

# Quitar las filas con datos NA
data.cleaned <- na.omit(data)
data.cleaned

# verificar si un elemento del dataframe es na
is.na(data[4,2])

# verificar si un elemento del dataframe es na
is.na(data[4,1])

# verificar si en una columna hay na
is.na(data$Income)

#Limpiar NA de solamente la variable Income
data.income.cleaned <- data[!is.na(data$Income),]
data.income.cleaned

# Identificar si hay Filas completas para un data frame
complete.cases(data)

data.cleaned.2 <- data[complete.cases(data), ]
data.cleaned.2

#Convertir los ceros de ingresos en NA
data$Income[data$Income == 0] <- NA
data

#Medidas de centralización y dispersión en una fila que tiene NA
mean(data$Income)

mean(data$Income, na.rm = TRUE) #Ignorar los datos NA

sd(data$Income)

sd(data$Income, na.rm = TRUE) #Ignorar los datos NA

# Cargar datos y donde hay espacios en blanco poner NA
data <- read.csv("missing-data.csv", na.strings = "")

# Reemplazar los datos faltantes por el promedio de la columna
data$Income.mean <- ifelse(is.na(data$Income), #condicion
                           mean(data$Income, na.rm = TRUE), # si es verdadera
                           data$Income # else
                           )
data

# Reemplazar el valor faltante por un valor tomado aleatoriamente

#x es un vector de datos que puede contener NA
rand.impute <- function(x) {
  # missing contiene un vector de valores T/F dependiendo del NA de x
  missing <- is.na(x)
  #n.missing contiene cuantos valores son NA dentro de x
  n.missing <- sum(missing)
  #x.obs son los valores conocidos que tienen dato diferente de NA en x
  x.obs <- x[!missing]
  #por defecto, devolveré lo mismo que había entrado por parámetro
  imputed <- x
  #en los valores que faltaban, los reemplazamos por una muestra
  #de los que si conocemos (MAS)
  imputed[missing] <- sample(x.obs, n.missing, replace = TRUE)
  return (imputed)
}

random.impute.data.frame <- function(dataframe, cols){
  names <- names(dataframe)
  for(col in cols){
    name <- paste(names[col], "imputed", sep = ".")
    dataframe[name] = rand.impute(dataframe[,col])
  }
  dataframe
}

data <- read.csv("missing-data.csv", na.strings = "")
data$Income[data$Income==0]<-NA
data <- random.impute.data.frame(data, c(1,2))

data

# creacion de dataframe con datos duplicados
family.salary = c(40000, 60000, 50000, 80000, 60000, 70000, 60000)
family.size = c(4, 3, 2, 2, 3, 4, 3)
family.car = c("Lujo", "Compacto", "Utilitario", "Lujo",
               "Compacto", "Compacto", "Compacto")

family <- data.frame(family.salary, family.size, family.car)
family

# Devuelve los datos que no se repiten
family.unique <- unique(family)
family.unique

#detectar cuales son los que estas duplicados
duplicated(family)

# Obtener los datos duplicados
family[duplicated(family),]

# instalarlo si no lo tiene
#install.packages("scales")
library(scales)

url <- "https://github.com/JoseRZapata/Data_analysis_notebooks/raw/main/data/datasets/data-conversion.csv"
download.file(url, destfile = "data-conversion.csv", mode = "wb")

students <- read.csv("data-conversion.csv")
students

# el valor minimo lo hace = 0
# El valor maximo es igual a 1
# es una tarnsformacion lineal
students$Income.rescaled <- rescale(students$Income)
students

# Reescalado  con la formula
students$Income.rescaled2 <-(students$Income - min(students$Income))/ (max(students$Income) - min(students$Income))
students

#  haccer un reescaldo de 0 a 100
students$Income.rescaled3 <- rescale(students$Income, to = c(0, 100))
students

# Funcion para reescalar varias columnas
rescale.many <- function(dataframe, cols){
  names <- names(dataframe)
  for(col in cols){
    name <- paste(names[col], "rescaled", sep = ".")
    dataframe[name] <- rescale(dataframe[,col])
  }
  cat(paste("Hemos reescalado ", length(cols), " variable(s)"))
  dataframe
}

students <- rescale.many(students, c(1,4))
students

#https://www.cs.toronto.edu/~delve/data/boston/bostonDetail.html

url <- "https://github.com/JoseRZapata/Data_analysis_notebooks/raw/main/data/datasets/BostonHousing.csv"
download.file(url, destfile = "BostonHousing.csv", mode = "wb")


housing <- read.csv("BostonHousing.csv")
head(housing)

# Usando la normal estandar para todos los datos
# https://es.wikipedia.org/wiki/Distribuci%C3%B3n_normal#Estandarizaci%C3%B3n_de_variables_aleatorias_normales
# centrar en 0
housing.z <- scale(housing, center = TRUE, scale = TRUE)
head(housing.z)

# restarle la resta la media a cada valor, esto desplaza la distribucion
housing.mean <- scale(housing, center = TRUE, scale = FALSE)
head(housing.mean)

# Desviacion estandard
housing.sd <- scale(housing, center = FALSE, scale = TRUE)
head(housing.sd)

# NO hace nada
housing.none <- scale(housing, center = FALSE, scale = FALSE)
head(housing.none)

#sd = sqrt(sum(x^2)/(n-1))
# funcion para escalar varias columnas
scale.many = function(dataframe, cols){
  names <- names(dataframe)
  for(col in cols){
    name <- paste(names[col], "z", sep = ".")
    dataframe[name] <- scale(dataframe[,col])
  }
  cat(paste("Hemos normalizado ", length(cols), " variable(s)"))
  dataframe
}

housing <- scale.many(housing, c(1, 3, 5:8))

# leer los datos
students <- read.csv("data-conversion.csv")
students

# creacion de vectores de separacion
# convertir el income en 3 categorias
bp <- c(-Inf, 10000, 31000, Inf)
names <- c("Low", "Average", "High")

# cut para dividir los datos
students$Income.cat <- cut(students$Income, breaks = bp, labels = names)
students

# cortar los datos sin darle nombres
students$Income.cat2 <- cut(students$Income, breaks = bp)
students

# podemos poner cualquier nombre para las categorias que se crean
# no es necesario definir donde son los puntos de corte
students$Income.cat3 <- cut(students$Income,
                            breaks = 4,
                            labels = c("Level 1", "Level 2",
                                       "Level 3", "Level 4")
                            )
students

install.packages("fastDummies")
library(fastDummies)

#dummy variables
students <- read.csv("data-conversion.csv")

students.dummy <- dummy_cols(students)
head(students.dummy)

# crear una variable dummy de state
dummy_cols(students,
           select_columns = "State")

# Crear dummies columns de state y Gender
dummy_cols(students,
           select_columns = c("State", "Gender"))

url <- "https://github.com/JoseRZapata/Data_analysis_notebooks/raw/main/data/datasets/ozone.csv"
download.file(url, destfile = "ozone.csv", mode = "wb")

ozone.data <- read.csv("ozone.csv", stringsAsFactors = F) # No convierte NA a string

boxplot(ozone.data$pressure_height,
        main = "Pressure Height",
        boxwex = 0.5)$out

summary(ozone.data$pressure_height)

boxplot(pressure_height ~ Month,
        data = ozone.data,
        main = "Presure Height per Month"
        )

boxplot(ozone_reading ~Month,
        data = ozone.data,
        main = "Ozone reading per Month")$out

# funcion para cambiar los outliers por la media y por la mediana
impute_outliers <- function(x, removeNA = TRUE){
  quantiles <- quantile(x, c(0.05, 0.95), na.rm = removeNA)
  x[x<quantiles[1]] <- mean(x, na.rm = removeNA)
  x[x>quantiles[2]] <- median(x, na.rm = removeNA)
  x
}

imputed_data <- impute_outliers(ozone.data$pressure_height)

par(mfrow = c(1,2))
boxplot(ozone.data$pressure_height, main = "Presión con outliers")
boxplot(imputed_data, main = "Presión sin outliers")

replace_outliers <- function(x, removeNA = TRUE){
  qrts <- quantile(x, probs = c(0.25, 0.75), na.rm = removeNA)
  caps <- quantile(x, probs = c(.05, .95), na.rm = removeNA)
  iqr <- qrts[2]-qrts[1]
  h <- 1.5 * iqr
  x[x<qrts[1]-h] <- caps[1]
  x[x>qrts[2]+h] <- caps[2]
  x
}

capped_pressure_height <- replace_outliers(ozone.data$pressure_height)

par(mfrow = c(1,2))
boxplot(ozone.data$pressure_height, main = "Presión con outliers")
boxplot(capped_pressure_height, main = "Presión sin outliers")