En nuestro webinar «Ruta LakeFlow: de la ingesta a la automatización de datos en Databricks», junto con Databricks y a cargo de Miguel Correa, Data Engineer Tech Lead en DataKnow, exploramos cómo unificar ingesta, transformación, orquestación y gobierno en un solo flujo. Este es el resumen; al final tienes el enlace a la grabación completa.
3 Key Points
Lakeflow unifica ingesta, transformación y orquestación
en un solo flujo dentro de Databricks (antes eran 3 productos separados: conectores, DLT y Workflows), sin reemplazar Delta Lake ni Unity Catalog.
El gobierno y la calidad no van al final:
acompañan todo el ciclo, desde Bronze hasta Gold, con Unity Catalog, monitoreo y costos integrados en el mismo flujo.
No es un reemplazo universal:
convive con ADF, Airflow o dbt; la elección depende de la arquitectura de cada organización, no de la tendencia del momento.
¿Qué es Lakeflow?
Un ETL/ELT moderno combina fuentes, transformaciones, operación y gobierno. Cuando cada capa vive en una herramienta distinta, aumentan el mantenimiento y los puntos ciegos. Lakeflow es la respuesta de Databricks a eso: una solución que unifica ingesta, transformación y orquestación —sin reemplazar Delta Lake ni Unity Catalog, se integra con ambos.
Hasta hace poco eran tres productos separados (conectores de ingesta, Delta Live Tables y Workflows); desde 2024 Databricks los unificó en uno solo. Si ya trabajabas con DLT, tu código sigue funcionando: solo cambió el nombre a Lakeflow Pipelines.
La arquitectura en tres piezas
- Lakeflow Connect (ingesta): conectores administrados, incrementales, y personalizables cuando no existe uno para tu fuente.
- Declarative Pipelines (transformación): declaras en SQL o Python qué dataset debe existir y cómo se relaciona con los demás; el motor resuelve orden, paralelismo y actualización.
- Lakeflow Jobs (operación): orquesta tareas en un DAG, con triggers, dependencias, reintentos e historial de ejecuciones.
Del dato crudo al producto de datos
Lakeflow se apoya en el patrón Medallion: Bronze (datos crudos y trazables), Silver (limpieza y calidad) y Gold (listos para BI, ML/IA y aplicaciones). Connect trae los datos hasta Bronze, Pipelines construye Silver/Gold, y Jobs coordina el recorrido completo.
El gobierno no va al final: Unity Catalog (permisos y linaje), calidad, monitoreo y costos acompañan todo el flujo. Una forma simple de verlo: Delta Lake es el piso, Lakeflow es la fábrica, y Unity Catalog define quién puede entrar y qué puede usar.
¿Reemplaza a ADF, Airflow o dbt?
No. Lakeflow no es un reemplazo universal convive con estas herramientas según dónde viva el centro de gravedad del procesamiento: ADF es fuerte en integración Azure/on-premise, Airflow como orquestador generalista, dbt en modelado analítico SQL, y Lakeflow cuando ingesta, transformación y operación viven dentro de Databricks. El diseño parte de la arquitectura de cada organización, no de la moda.
Código, sin código, o con IA
Para equipos no técnicos existe Lakeflow Designer: un canvas visual que genera el mismo Declarative Pipeline por debajo, con el mismo gobierno. Y para construir con lenguaje natural, Genie Code usa IA para generar y mantener el pipeline. Código, Designer y Genie Code son tres puertas al mismo motor declarativo.
Una adopción segura no convierte a Lakeflow en el estándar transversal desde el día uno, sino que busca evidencia en un caso concreto: seleccionar un flujo de alto valor, construir la ingesta a Bronze y el pipeline con calidad, operar con monitoreo y ownership claro, y escalar con patrones reutilizables. El objetivo no es una demo bonita, es un pipeline confiable que el equipo pueda operar.
Cómo empezar
Este webinar deja el mapa; las próximas sesiones profundizan servicio por servicio: Lakeflow Connect, Declarative Pipelines, Jobs y Triggers, y arquitectura real (Medallion, gobierno, costos y coexistencia con otras herramientas).
Esto es solo el resumen en la grabación completa del webinar está todo el detalle, incluido el workshop end-to-end en vivo. Si quieres más contenido como este, síguenos en LinkedIn; y si estás pensando en llevar esto a tu operación de datos, conversemos con nuestro equipo.
