Evaluación

Evaluación

PorcentajeTrabajo practicoFecha
20 %Nivel 0 - MLOps: Proceso manual (Data science, Git pull request)28 / Feb
20 %Nivel 0 - MLOps: configuración local, code quality28 / Marzo
30 %Nivel 1 - MLOps: CI/ CD y Experimentación25 / Abril
30 %Nivel 1 - MLOps: (Data and Model Validation, deployment y monitoring)19 / Mayo

1. Nivel 0 - MLOps: Proceso manual (20%)

El objetivo de este trabajo es realizar solucionar un problema de un proyecto basico de ciencia de datos mediante un Proceso manual, incluidos el análisis de datos, la preparación de datos, el entrenamiento de modelos y la validación. Se requiere la ejecución de cada paso y la transición de un paso a otro, ambas de forma manual. Etapas a realizar:

  1. Descarga de datos
  2. Exploración inicial de datos
  3. Análisis exploratorio de datos (EDA)
  4. Feature Engineering
  5. Modelo BaseLine
  6. Selección del mejor modelo
  7. Interpretación del mejor modelo.

2. Nivel 0 - MLOps: local y CI/CD (20%)

El objetivo de este trabajo es convertir los procesos realizados manualmente en scripts de python, y garantizar que el proyecto sea reproducible, mantenible y escalable mediante:

  1. Gestión de ambientes virtuales y dependencias
  2. Pruebas unitarias y de integración
  3. Code-quality (linter, formater, isort, mypy, pip-audit, pre-commit)

3. Nivel 1 - MLOps: Automatización Experimentación (30%)

Este sera un nuevo proyecto con datos que se actualicen constantemente, donde a los pasos descritos anteriormente se agregaran los procesos de:

  • CI/
  • Data Validation y Model validation
  • Experiment tracking

4. Nivel 1 - MLOps: Automatización Completa (30%)

El proceso final del curso sera agregar al proyecto anterior los pasos de:

  • Puesta en producción de modelos
  • pipeline de experimentación
  • pipeline de producción
  • Model Monitoring
  • Retraining