Ingerir y transformar datos no sirve de mucho si nadie coordina cuándo corre cada paso, con qué recursos y qué hacer si algo falla. Muchos equipos resuelven esto con un orquestador externo —Airflow, Prefect, Dagster— que hay que configurar, mantener y sincronizar con la plataforma de datos. Lakeflow Jobs propone otra ruta: la orquestación vive nativamente en Databricks, comparte linaje, calidad y gobernanza con el resto del Lakehouse, y elimina la duplicación de mantener dos sistemas separados.
3 Key Points
Lakeflow Jobs
orquesta nativamente en Databricks: Tasks, Trigger, Cómputo y DAG en un mismo lugar, sin plataforma externa que mantener.
El tipo de cómputo se elige por tarea:
Serverless para producción general, Job Cluster para batch programado, SQL Warehouse para BI.
Los DAGs
siguen patrones reconocibles (Sequence, Funnel, Fan-out) y se disparan con triggers flexibles: Scheduled, File Arrival, Continuous o Table Update.
Los elementos que componen un Job
Un Job es el contenedor que agrupa, programa y coordina todo el workflow de punta a punta: define cuándo se ejecuta, con qué recursos y en qué orden corren sus tareas.
| Elemento | Qué hace |
|---|---|
| Tasks | Unidades de trabajo individuales: Notebook, SQL, Declarative Pipeline, dbt, JAR, Wheel y más. |
| Trigger | Determina cuándo se dispara el Job: Scheduled, Continuous, File Arrival, Manual o Table Update. |
| Cómputo | Serverless, Job Cluster, Interactive o SQL Warehouse — se elige por tarea, no por Job. |
| DAG | Grafo dirigido y acíclico que define el orden de ejecución entre tareas. |
Cada task se configura de forma independiente: su tipo de cómputo, sus dependencias (qué tareas deben terminar antes de que empiece), el entorno y librerías a instalar, parámetros que se pueden pasar dinámicamente, y notificaciones, reintentos (retries) y umbrales de métricas propios.
Cómo elegir el cómputo adecuado
El tipo de cómputo se decide por tarea, no por Job, y cada opción tiene un rol distinto:
| Tipo | Uso ideal | ¿Producción? |
|---|---|---|
| Serverless | Producción general — opción recomendada por defecto | Sí |
| Job Cluster | Producción programada (batch); control de infraestructura que Serverless no ofrece | Sí |
| SQL Warehouse | Consultas SQL, dashboards y BI | Sí, para SQL/BI |
| Interactive Cluster | Desarrollo y exploración ad-hoc | No recomendado |
La diferencia de costo es significativa: según la guía de Databricks, un Job Cluster reduce el costo cerca de 50% frente a un Interactive Cluster, y Serverless ofrece el menor costo total al no requerir gestión manual.
El DAG: orquestando dependencias
Un DAG es dirigido, acíclico y está formado por vértices (Tasks) conectados por aristas (dependencias). Tres patrones cubren la mayoría de los casos: Sequence (cadena lineal, cada tarea depende de la anterior — ideal para bronze → silver → gold), Funnel (varias tareas independientes convergen en una, como múltiples fuentes hacia un reporte consolidado) y Fan-out (una tarea alimenta a varias en paralelo, como una tabla que nutre varios reportes o modelos).
Para conectar tareas con más control, Lakeflow Jobs ofrece patrones de control flow: Sequential (una tarea corre después de que termina la anterior), Parallel (varias tareas corren al mismo tiempo sin depender entre sí), Conditional (ejecuta una rama u otra según el resultado, tipo if/else), Run Job (ejecuta otro Job como tarea, reutilizando su lógica) y For Each (repite una tarea por cada elemento de una lista, en paralelo).
Triggers: cuándo se dispara un Job
| Trigger | Cuándo usarlo |
|---|---|
| Scheduled | Horario fijo o expresión cron: diario, semanal, cada 15 minutos. |
| File Arrival | Reacciona de inmediato cuando llega un archivo nuevo a un Volume o storage. |
| Continuous | Ejecución permanente para streaming, con reintento automático. |
| Table Update | Se dispara cuando una tabla cambia. |
Un Job no reemplaza solo a un programador de tareas: reemplaza la necesidad de una plataforma de orquestación aparte, unificando datos, cómputo y control de flujo en un mismo lugar.
Si quieres verlo en acción con una demo en vivo, puedes revisar la grabación de nuestro webinar «Ruta LakeFlow: Orquestación nativa de workflows — Jobs, Tasks, DAGs y Triggers«, con Natalia Arcila, Ingeniera de Datos en DataKnow.
