Evaluación

Evaluación

PorcentajeTrabajo practicoFecha
20 %Nivel 0 - MLOps: Proceso manual (Data science, Git pull request)28 / Feb
20 %Nivel 0 - MLOps: configuración local, code quality28 / Marzo
30 %Nivel 1 - MLOps: CI/ CD y Experimentación25 / Abril
30 %Nivel 1 - MLOps: (Data and Model Validation, deployment y monitoring)19 / Mayo

1. Nivel 0 - MLOps: Proceso manual (20%)

El objetivo de este trabajo es realizar solucionar un problema de un proyecto básico de ciencia de datos mediante un Proceso manual, incluidos el análisis de datos, la preparación de datos, el entrenamiento de modelos y la validación. Se requiere la ejecución de cada paso y la transición de un paso a otro, ambas de forma manual. Etapas a realizar:

  1. Descarga de datos
  2. Exploración inicial de datos
  3. Análisis exploratorio de datos (EDA)
  4. Feature Engineering
  5. Modelo BaseLine
  6. Selección del mejor modelo
  7. Interpretación del mejor modelo.
$$ \text{Nota de calificación} = \left( \frac{\text{Número de tareas completadas} \times 5.0}{7} \right) $$

2. Nivel 0 - MLOps: local y CI/CD (20%)

El objetivo de este trabajo es convertir los procesos realizados manualmente a scripts de pytho con buenas practicas de código y crear un Demo.

  1. Gestión de ambientes virtuales y dependencias
  2. Code-quality (linter, formater, isort, mypy, pip-audit, pre-commit)
  3. Demo Funcional con streamlit (online y en batch)

3. Nivel 1 - MLOps: Automatización Experimentación (30%)

Este sera un nuevo proyecto con datos que se actualicen constantemente y garantizar que el proyecto sea reproducible, mantenible y escalable, donde a los pasos descritos anteriormente se agregaran los procesos de:

  • POC del proyecto en Notebooks
  • Creacion de scripts de python
  • Pruebas unitarias y de integración
  • CI/CD
  • Experiment tracking

4. Nivel 1 - MLOps: Automatización Completa (30%)

El proceso final del curso sera agregar al proyecto anterior los pasos de:

  • Data Validation y Model validation
  • Puesta en producción de modelos
  • pipeline features
  • pipeline training
  • pipeline prediction
  • Model Monitoring
  • Retraining