Si nunca has tocado Azure Data Factory, lo primero que frustra no es la herramienta en sí, sino todo lo que hay que configurar antes de llegar a ella: un resource group, una base de datos origen, una cuenta de almacenamiento. Lo que sigue es el orden exacto para llegar de una cuenta de Azure vacía a tu primer pipeline corriendo, sin saltarte el paso que después hace fallar la conexión.
Antes de ADF: resource group y los servicios base
Todo en Azure vive dentro de un resource group, que es simplemente el contenedor lógico donde agrupas los recursos de un proyecto. Antes de crear el servicio de Data Factory, necesitas al menos dos cosas conectadas a ese grupo: una base de datos de origen (en la práctica, Azure SQL es la más común para empezar) y una cuenta de Storage para los datos que vas a mover o transformar.
El orden importa porque Data Factory no genera datos, los mueve y transforma entre sistemas que ya existen. Si creas el servicio de ADF antes de tener listo el origen y el destino, vas a terminar configurando conexiones a servicios que todavía no existen, que es la razón número uno por la que los tutoriales en video parecen más confusos de lo que son en la práctica.
Creando el servicio ADF y la base SQL
El curso Azure Data Factory Desde Cero (12 sesiones, nivel básico, con certificado) sigue exactamente este orden: overview de Azure y creación del resource group, después el servicio de Data Factory, luego Azure SQL con su configuración, y recién ahí la cuenta de Storage con sus contenedores. Es la secuencia que evita el problema más común de quien empieza solo: tener el pipeline a medio armar y no saber por qué la conexión al origen falla.
Storage, contenedores y Data Lake
Con el SQL y el Storage Account creados, el siguiente paso es organizar los contenedores dentro de la cuenta de almacenamiento y, si el proyecto lo necesita, montar un Data Lake sobre esa misma cuenta. Esta es la pieza que separa un pipeline de prueba de uno que se parece a lo que vas a encontrar en un proyecto real: los datos ya no viven solo en una tabla SQL, sino distribuidos entre bases de datos y archivos en Data Lake, que es como suelen convivir los sistemas en empresas que ya tienen varios años de datos acumulados.
El flujo en ADF: Linked Services, Datasets y el pipeline
- ▸: la conexión a cada sistema externo (tu SQL, tu Storage). Se configuran una sola vez y los reutilizas en todos los pipelines del proyecto.
- ▸: la referencia a una tabla o archivo específico dentro de ese Linked Service. Un Linked Service a Azure SQL puede tener varios Datasets, uno por cada tabla que necesites mover.
- ▸: la secuencia de actividades que copia, transforma y orquesta esos datasets. Con triggers puedes programarlo para que corra solo, sin que nadie lo dispare a mano cada vez.
Recién con Linked Services y Datasets configurados tiene sentido armar el pipeline, porque ADF necesita saber de dónde lee y a dónde escribe antes de que puedas definir el flujo entre ambos puntos.
Data Flows: transformación visual sin escribir Spark a mano
Una vez que el pipeline mueve datos de un punto a otro, el siguiente nivel son los Data Flows: transformaciones visuales (filtrar filas, unir tablas, agregar columnas calculadas) que ADF traduce internamente a Spark por detrás, sin que tengas que escribir código. Para quien viene de un perfil de analista y no de desarrollador, esto es lo que hace que ADF sea accesible sin necesitar dominar Spark o Python desde el primer día.
Configuraciones avanzadas y triggers
El curso cubre también triggers de distintos tipos: programados (corre todos los días a una hora fija), basados en eventos (corre cuando llega un archivo nuevo al Storage) y manuales. La elección del trigger correcto depende de con qué frecuencia cambia tu fuente de datos: un trigger programado cada hora para una fuente que se actualiza una vez al día solo desperdicia ejecuciones y, en consecuencia, factura de Azure.
Un detalle que ahorra dinero: limpiar los recursos al terminar
La última sesión del curso es justamente eliminar los recursos y el resource group completo. No es un detalle menor: Azure cobra por recursos activos aunque no los estés usando, y un Storage Account o una instancia de Azure SQL olvidados generan factura todos los meses. Acostumbrarte a esa limpieza desde que practicas es un hábito que te ahorra sorpresas cuando ya trabajes con cuentas de producción.
Una vez que domines este flujo básico, el siguiente salto natural es Azure Synapse Analytics para transformaciones a mayor escala, o entender hacia dónde está migrando Microsoft el ecosistema completo con la certificación Microsoft Fabric Data Engineer (DP-700), que hoy integra Data Factory, Synapse y Power BI bajo un solo producto. El curso cuesta 49 dólares y, al ser nivel básico, no asume que ya conoces Azure: el primer módulo parte de los conceptos fundamentales de Data Factory antes de tocar la consola.
