Proyecto 1 de 6 · Data engineering

Pipeline medallón

Del Excel que nadie quiere abrir a un dashboard en el que todos confían.

RolPipeline de datos · end-to-end
PythonPostgreSQLdbtLooker Studio
SSituación

Reportes armados a mano desde decenas de Excel con formatos distintos; cada cierre era una negociación.

TTarea

Diseñar un flujo confiable desde los Excel hasta un dashboard, sin depender de procesos manuales.

AAcción

Pipeline por capas bronze/silver/gold con reglas versionadas en dbt, sobre PostgreSQL, publicado en Looker Studio.

RResultado
55 → 1Excels de pilotos → base maestra

Una sola fuente de verdad y reportes que se actualizan solos.

/ arquitectura

Cómo fluye el dato

pasa el cursor por un bloquetoca un bloque
01
IngestaAsí llega el dato
02
ProcesamientoSe limpia y se calcula
03
AlmacenamientoQueda guardado por capa
04
VisualizaciónLlega a quien decide
XLS
Archivos ExcelIngesta.xlsx · carpeta compartida

Los archivos llegan tal cual los usa el equipo. Nada se edita a mano: la fuente original queda intacta.

Qué aprendí

01Capas = errores localizables

Separar crudo, limpio y listo-para-negocio hace que cada falla tenga dirección.

02Tests desde el día uno

Los tests de dbt detectaron problemas de origen antes de que llegaran al dashboard.

03La herramienta según el volumen

Postgres bastaba: menos costo y menos piezas móviles que un warehouse.