Practica de limpieza de texto con pandas - Solución

uv add jupyter

# Copie su código aca

import pandas as pd
import numpy as np
import re

pd.set_option("display.max_colwidth", None)

## Texto general
df_texto = pd.DataFrame({
    "texto": [
        "  ¡Hola Mundo!!!  Esto es   un EJEMPLO: visita https://miweb.com  #DataScience  :)  ",
        "Pandas > numpy? 🤔  Email: persona@example.com   ",
        "Me gusta el café colombiano; es buenísimo!!! #Café #Colombia @juan",
        "Oferta!!! 3x2 en jabón líquido 500ml - CÓDIGO: A-123",
        "      TABLAS\t, \n espacios   y saltos de línea.\r\n",
        "Teléfono: (57) 300-123-45-67; Whatsapp +57 300 222 33 44",
        "Dirección: Cll 10 # 5-20; Medellín. Barrio: La América",
        "Emoji test: 😀🙌🏽🏳️‍🌈, símbolos ©®™ y otros…",
    ]
})

## Tweets
df_tweets = pd.DataFrame({
    "tweet": [
        "RT @maria: Nuevo post en el blog -> http://blog.com/post?id=45 #nlp #python",
        "¡Me encanta Pandas! #datos #Python https://example.org @data_science 😊",
        "Probando cosas en Jupyter... sin link ni hashtag",
        "@juan y @ana lanzaron curso de NLP en https://cursos.ai #nlp #ml",
        "¿Pandas o Polars? debátanlo aquí 👉 https://foro.com #data",
    ]
})

## Productos y precios
df_productos = pd.DataFrame({
    "producto": [
        "Camisa talla M",
        "Pantalón-XL",
        "Zapato, Talla: 42",
        "Blusa s",
        "Medias 10-12",
        "Polo Talla l",
        "Vestido - 36",
        "Sombrero (talla Única)",
    ],
    "precio": [
        "$1.234,50",
        "USD 45",
        "30,00 €",
        "25.000",
        "$ 0",
        "S/. 120.90",
        "COP 9.990",
        "AR$ 2.550,00",
    ],
})

## Personas, respuestas y direcciones
df_personas = pd.DataFrame({
    "nombre": [
        "ana María LOPEZ",
        "Juan  perez",
        "Ñandú   Gómez",
        "Miguel (Soporte)",
        "  MÓNICA de la CRUZ  ",
        "luis-delgado",
    ],
    "categoria": ["Sí", "si", "SI ", "No", "—", None],
    "direccion": [
        "Calle 45 # 12-34, Bogotá",
        "Av. Siempre Viva 742 - Lima",
        "Cll. 10 No. 5-20 Medellín",
        "Cra 7a # 45-60, Bogotá",
        "Av. 9 #12-34  Cali",
        "Av. Insurgentes Sur 1234, CDMX",
    ],
    "id_raw": ["abc-0001", "abc 001", "ABC0002", "Abc_003", "abc-00004", "ABC-0005"],
})

print("df_texto:")
display(df_texto)
print("\ndf_tweets:")
display(df_tweets)
print("\ndf_productos:")
display(df_productos)
print("\ndf_personas:")
display(df_personas)

# Copie su código aca

df_texto.info()
df_tweets.info()
df_productos.info()
df_personas.info()

# Copie su código aca

df_texto["texto_min"] = df_texto["texto"].astype(str).str.lower()
df_texto[["texto", "texto_min"]]

# Copie su código aca

df_texto["texto_espacios"] = df_texto["texto_min"].str.strip()
df_texto[["texto_espacios", "texto_min"]]

# Copie su código aca

df_texto["texto_sin_punct"] = df_texto["texto_espacios"].str.replace(
    r"[^\w\s]", "", regex=True
)
df_texto["texto_sin_punct"]

# Copie su código aca

def quitar_acentos(text: str) -> str:
    MAP_VOCALES = {
        "á": "a",
        "é": "e",
        "í": "i",
        "ó": "o",
        "ú": "u",
        "ü": "u",
    }
    translate = str.maketrans(MAP_VOCALES)
    text = text.translate(translate)
    return text


df_texto["texto_sin_acentos"] = df_texto["texto_sin_punct"].apply(quitar_acentos)
df_texto["texto_sin_acentos"]

# Copie su código aca

emoji_re = re.compile("[\U0001f300-\U0001faff\U00002700-\U000027bf]+", flags=re.UNICODE)
df_texto["texto_sin_emoji"] = df_texto["texto_espacios"].apply(
    lambda s: emoji_re.sub("", s)
)
df_texto["texto_sin_emoji"]

# Copie su código aca

email_pat = r"[A-Za-z0-9_.+-]+@[A-Za-z0-9-]+\.[A-Za-z0-9.-]+"
url_pat = r"https?://\S+"
df_texto["email"] = df_texto["texto"].str.findall(email_pat)
df_texto["urls"] = df_texto["texto"].str.findall(url_pat)

df_texto[["texto", "email", "urls"]]

# Copie su código aca

pat_hash = r"#\w+"
pat_ment = r"@\w+"
pat_url = r"https?://\S+"
df_tweets["hashtags"] = df_tweets["tweet"].str.findall(pat_hash)
df_tweets["mentions"] = df_tweets["tweet"].str.findall(pat_ment)
df_tweets["urls"] = df_tweets["tweet"].str.findall(pat_url)

df_tweets

# Copie su código aca

df_tweets["es_rt"] = df_tweets["tweet"].str.startswith("RT ")
df_tweets["tweet_sin_rt"] = df_tweets["tweet"].str.replace(
    r"^RT\s+@\w+:\s*", "", regex=True
)

df_tweets

# Copie su código aca

tmp = df_tweets["tweet_sin_rt"] if "tweet_sin_rt" in df_tweets else df_tweets["tweet"]
tmp = tmp.str.replace(r"https?://\S+", " ", regex=True)
tmp = tmp.str.replace(r"@\w+|#\w+", " ", regex=True)
tmp = tmp.str.replace(r"[^\w\sáéíóúÁÉÍÓÚñÑ]", " ", regex=True)
tmp = tmp.str.replace(r"\s+", " ", regex=True).str.strip().str.casefold()
df_tweets["tweet_limpio"] = tmp
df_tweets[["tweet", "tweet_limpio"]]

# Copie su código aca

pat_letra = r"(?i)\b(xs|s|m|l|xl|xxl|única|unica|u)\b"
pat_num = r"(\d+(?:\.\d+)?)"


def extraer_talla(row):
    txt = str(row["producto"])
    m1 = re.search(pat_letra, txt)
    m2 = re.search(pat_num, txt)
    talla_std = None
    talla_num = None
    if m1:
        val = m1.group(1).lower()
        talla_std = "TU" if val in {"única", "unica", "u"} else val.upper()
    if m2:
        talla_num = float(m2.group(1)) if m2.group(1) is not None else None
    return pd.Series({"talla_std": talla_std, "talla_num": talla_num})


df_productos[["talla_std", "talla_num"]] = df_productos.apply(extraer_talla, axis=1)
df_productos

# Copie su código aca

def parse_precio(s):
    if pd.isna(s):
        return np.nan
    s = str(s).replace("\xa0", " ").strip()
    s2 = re.sub(r"[^0-9,.-]", "", s)
    if "," in s2 and "." in s2:
        s2 = s2.replace(".", "").replace(",", ".")
    elif "," in s2 and "." not in s2:
        s2 = s2.replace(",", ".")
    s2 = s2.replace(",", "")
    try:
        return float(s2)
    except Exception:
        return np.nan


df_productos["precio_num"] = df_productos["precio"].apply(parse_precio)
df_productos

# Copie su código aca

mask = (
    df_productos["producto"]
    .str.lower()
    .apply(quitar_acentos)
    .str.contains("camisa|pantalon")
)
df_productos[mask]

# Copie su código aca

def limpiar_nombre(s):
    s = re.sub(r"\([^)]*\)", " ", str(s))
    s = s.replace("-", " ")
    s = re.sub(r"\s+", " ", s).strip()
    s = s.title()
    for w in [" De ", " Del ", " La ", " Y "]:
        s = s.replace(w, w.lower())
    return s


df_personas["nombre_limpio"] = df_personas["nombre"].apply(limpiar_nombre)
df_personas["nombre_limpio"]

# Copie su código aca

def a_bool_si(s):
    if s is None:
        return False
    val = str(s).strip().casefold()
    return val in {"si", "sí", "si.", "sí."}


df_personas["categoria_bool"] = df_personas["categoria"].apply(a_bool_si)
df_personas

# Copie su código aca

def extraer_ciudad(s):
    s = str(s)
    m = re.search(r",\s*([^,]+)$", s)
    if m:
        return m.group(1).strip()
    return s.strip().split()[-1]


df_personas["ciudad"] = df_personas["direccion"].apply(extraer_ciudad)
df_personas

# Copie su código aca

def normalizar_id(s):
    m = re.search(r"([A-Za-z]{3})\s*[-_ ]?\s*(\d+)", str(s))
    if not m:
        return None
    pref = m.group(1).upper()
    num = int(m.group(2))
    return f"{pref}-{num:04d}"


df_personas["id_norm"] = df_personas["id_raw"].apply(normalizar_id)
df_personas["id_valido"] = df_personas["id_norm"].str.match(r"^[A-Z]{3}-\d{4}$")
df_personas[["id_raw", "id_norm", "id_valido"]]

# Copie su código aca

def limpia_basica(s: str) -> str:
    """Limpieza básica de texto.

    Convierte a minúsculas, quita acentos, URLs, menciones y hashtags,
    puntuación, dígitos y quita espacios.

    Arguments:
        s (str): Texto a limpiar.

    Returns:
        str: Texto limpio.

        Ejemplo:
        >>> limpia_basica('  ¡Hola Mundo!!! Visita https://miweb.com  #DataScience  :)  ')
        'hola mundo visita'


    """

    if s is None:
        return s
    s = str(s).lower()
    MAP_VOCALES = {
        "á": "a",
        "é": "e",
        "í": "i",
        "ó": "o",
        "ú": "u",
        "ü": "u",
    }
    translate = str.maketrans(MAP_VOCALES)
    s = s.translate(translate)
    s = re.sub(r"https?://\S+", " ", s)
    s = re.sub(r"[@#]\w+", " ", s)
    s = re.sub(r"[^a-z\sñ]", " ", s)
    s = re.sub(r"\s+", " ", s).strip()
    return s


df_texto["texto_limpio_final"] = df_texto["texto"].apply(limpia_basica)
df_texto[["texto", "texto_limpio_final"]]

# Copie su código aca

df_texto["len_raw"] = df_texto["texto"].str.len()
df_texto["len_clean"] = df_texto["texto_limpio_final"].str.len()
df_texto[["texto", "texto_limpio_final", "len_raw", "len_clean"]]