Las ofertas de Data Engineer en LATAM ya no piden solo SQL y Python. En los últimos meses, más de la mitad de las vacantes que reviso con alumnos piden experiencia directa con Databricks: PySpark, Delta Lake y, cada vez más seguido, Unity Catalog. Si tu ruta a Data Engineer no incluye estas tres piezas, te estás preparando para el mercado de hace tres años.
Por qué Databricks se volvió el centro de la conversación
La razón no es moda: Databricks resolvió el problema real de tener que elegir entre un data warehouse (rápido, pero caro y rígido) y un data lake (barato, pero lento y sin estructura). El Lakehouse junta ambos mundos, y Delta Lake es la pieza que lo hace posible — le da a archivos planos en la nube las garantías de una base de datos transaccional.
Las 4 capas que tienes que dominar, en orden
1. PySpark y SQL para procesar datos a escala
Spark sigue siendo el motor detrás de Databricks. No necesitas ser experto en la teoría distribuida de Spark, pero sí saber escribir transformaciones en PySpark y Spark SQL que no exploten la memoria del clúster — ese es el filtro real en una entrevista técnica. La mayoría de los ejercicios que les pongo a mis alumnos no preguntan "sabes Spark", preguntan "por qué este pipeline tarda 40 minutos en vez de 4", y la respuesta casi siempre es un join mal particionado.
2. Delta Lake: versionado y calidad de datos
Delta Lake agrega transacciones ACID, versionado (puedes volver a cómo estaba una tabla hace una semana con "time travel") y manejo de esquema a los archivos Parquet. Es la diferencia entre un pipeline que "corre" y uno que puedes auditar cuando algo sale mal en producción: si una tabla de ventas amanece con datos duplicados, con Delta Lake puedes ver exactamente qué versión del dato cambió y cuándo.
3. Databricks Workflows: orquestar, no solo escribir código
Un Data Engineer junior escribe notebooks. Uno semi-senior los encadena en un Workflow con dependencias, reintentos automáticos y alertas cuando algo falla. Esta pieza es la que separa "sé programar" de "puedo mantener un pipeline en producción" — y es, en mi experiencia revisando currículums, lo primero que un reclutador técnico pregunta en la entrevista: "¿cómo orquestas tus pipelines?".
4. Unity Catalog: gobernanza, el requisito que más está creciendo
Esta es la parte que más rápido está subiendo en las ofertas: empresas que manejan datos sensibles (banca, salud, retail) exigen Unity Catalog para controlar quién accede a qué tabla, con qué permiso, y dejar un registro auditable. Hace dos años casi nadie lo pedía explícitamente; hoy aparece en la mayoría de las vacantes senior, y es justo la sesión donde más alumnos me dicen que "nunca habían tocado esto en su trabajo actual".
Lo que nadie te dice al entrar a Data Engineering es que saber mover datos ya no alcanza — tienes que poder demostrar que esos datos son confiables y que sabes quién los puede ver.
Un proyecto que de verdad sirve en una entrevista
El proyecto que mejor funciona para mostrar estas cuatro capas juntas no es un pipeline de un solo paso: es uno que ingiere datos crudos, los transforma en capas (bronze, silver, gold, el patrón medallion que Databricks promueve), los orquesta con un Workflow que corre diario, y aplica permisos distintos en Unity Catalog según el rol (un analista ve la capa gold agregada, no los datos crudos de la capa bronze). Ese es, en resumen, el proyecto final con el que cierra la ruta.
Data Engineer con Databricks vs. el Data Engineer genérico
La diferencia que más les cuesta ver a quienes vienen de un perfil de analista: un Data Engineer de Databricks no solo escribe transformaciones, también toma decisiones de arquitectura — cuándo particionar una tabla, cuándo usar un Workflow en vez de un job suelto, cuándo compactar los archivos pequeños que terminan volviendo lenta una consulta (el problema de archivos pequeños que casi todo pipeline de Spark enfrenta tarde o temprano). Eso es justo lo que una entrevista técnica trata de verificar con preguntas de diseño, no de sintaxis.
La ruta práctica, sin saltarte pasos
- ▸Fundamentos del Workspace y procesamiento con PySpark/SQL
- ▸Delta Lake: versionado, optimización y administración de tablas
- ▸Automatización con Delta Live Tables y Databricks Workflows
- ▸Unity Catalog: accesos, gobierno de datos y buenas prácticas
Esa es, en ese orden, la estructura del curso de Databricks Data Engineer de DataPath: 8 sesiones con proyecto final, pensado para alguien que ya sabe SQL/Python y quiere el salto específico a Databricks.
Cómo empezar
El curso Databricks Data Engineer Asincrónico de DataPath cubre PySpark, Delta Lake, Workflows y Unity Catalog con proyecto final, a tu ritmo. Si prefieres el formato en vivo con instructor, el Bootcamp Databricks Data Engineer cubre la misma ruta con clases en tiempo real.
Para verlo dentro de una ruta completa de carrera (con SQL, Python y arquitectura incluidos), la ruta Data Engineer de DataPath ordena todo el camino.
Si quieres resolver dudas de tu propio pipeline en vivo, cada semana hay un taller práctico en la Comunidad AI Builders.
Entra aquí: builders.datapath.ai
