Para el desarrollo estructurado de un proyecto de ciencia de datos se recomienda el uso del framework Kedro
Una de las ventajas de Kedro es la visualizacion del flujo de los datos, lo pueden ver en este demo: https://demo.kedro.org/
La documentacion de Kedro la pueden encontrar en: https://kedro.readthedocs.io/en/stable/
Pasos para nuevo proyecto
- Crear un nuevo Enviroment con el nombre que decidas (se recomeidno un nombre relacionado con el proyecto)
conda create -n prueba-kedro python==3.9.4
- Activar en nuevo Enviroment:
conda activate prueba-kedro
- Instalar kedro y el plugin de visualizacion:
pip install kedro kedro-viz
- Crear nuevo proyecto con Kedro
kedro new
- Instalar las librerias que estan en el archivo requirements, se recomienda revizar cuales librerias no necsita para borrarlas del archivo
pip install -r src/requirements.txt
- Instalar las librerias necesarias para realizar el proyecto
pip install numpy pandas scikit-learn pyarrow mlflow deepchecks
con estos pasos anteriores se va crear una nueva carpeta con todas las carpetas relacionadas para crear un proyecto de kedro.
Configuracion del IDE con Kedro
Pasos para ejecutar y hacer debug de kedro en vscode o Pycharm
VSCode
https://kedro.readthedocs.io/en/stable/development/set_up_vscode.html
Pycharm
https://kedro.readthedocs.io/en/stable/development/set_up_pycharm.html