Dataflow o Dataproc es la pregunta que aparece apenas tienes que mover datos en serio dentro de Google Cloud, y también una de las que más cae en entrevistas de data engineer. La respuesta corta: Dataflow si es streaming o si no quieres administrar un clúster; Dataproc si ya tienes código Spark o Hadoop andando y no lo vas a reescribir.
La respuesta larga depende de tres cosas que nadie pregunta en los tutoriales: qué tan sensible es tu pipeline al retraso, cuánto cuesta cada hora de tu equipo y qué código ya existe. Vamos por partes.
Qué es cada uno, sin marketing
Dataproc es Spark y Hadoop administrados por Google. Tú pides un clúster, Google lo levanta en un par de minutos y corres el mismo job que corrías on-premise. Decides tipo de máquina, cantidad de nodos y versión de Spark. Es el camino natural de una migración.
Dataflow es otra filosofía: escribes el pipeline con Apache Beam y no ves servidores. Google asigna y quita workers según la carga, y el mismo código sirve para batch y para streaming. Esa unificación es la gracia de Beam, y es también el motivo por el que su curva de aprendizaje es más empinada que la de Spark para alguien que viene de SQL.
Los dos son parte del stack que armamos en el Bootcamp Google Cloud Platform Data Engineer, justamente porque en un proyecto real terminas usando los dos: una sesión completa va a Dataproc y otra a Dataflow, con Cloud Composer orquestando arriba.
La comparación que importa
- ▸Streaming de verdad (eventos que llegan desordenados y tienes que agrupar por ventana de tiempo): Dataflow. El modelo de ventanas y marcas de agua de Beam, con el estado que Google administra por ti, es lo más sólido que hay en GCP para eso.
- ▸Batch nocturno predecible sobre datos que ya están en Cloud Storage: Dataproc suele salir más barato, sobre todo si usas workers interrumpibles (Spot) para la parte que tolera reinicios.
- ▸Migración de Hadoop on-premise: Dataproc, sin dudarlo. Levantas el clúster, apuntas tus jobs a Cloud Storage en vez de HDFS y sigues. Reescribir todo a Beam en la misma migración es cómo se hunden los proyectos.
- ▸Equipo chico sin nadie de infraestructura: Dataflow. Pagas más por hora de cómputo, pero no pagas las horas de alguien dimensionando nodos ni la madrugada en que el clúster se quedó sin memoria.
Hay un tercer camino que casi nadie menciona y que resuelve más casos de los que parece: no usar ninguno de los dos. Si tus datos ya están en BigQuery y la transformación se puede escribir en SQL, hazla ahí. Un pipeline de Beam para algo que era un MERGE es la forma más cara de sentirse ingeniero. Lo tratamos en BigQuery de Cero a Héroe.
Dónde se va la plata en cada uno
En Dataproc pagas por el tiempo que el clúster está encendido. Si alguien olvida apagarlo un viernes, el lunes hay una conversación incómoda. Por eso la buena práctica es clúster efímero: se crea para el job, corre y se destruye. Con eso y con workers Spot, el costo baja bastante frente a un clúster permanente.
En Dataflow pagas por recursos que consume el job mientras corre, y el autoescalado te ahorra el sobredimensionamiento. La trampa es otra: un pipeline de streaming nunca termina, así que estás pagando 24/7 aunque el volumen sea bajo de madrugada. Revisa el mínimo de workers antes de dejarlo corriendo un mes.
Antes de elegir herramienta, mide cuánto tarda hoy el proceso y cuánto tiempo del equipo se va en mantenerlo. Casi siempre la segunda cifra es la que decide, y casi nunca es la que se pone en la presentación.
Qué piden las ofertas de GCP Data Engineer
En las descripciones de puesto de la región el patrón se repite: BigQuery siempre, Dataflow o Dataproc según la industria, Pub/Sub cuando hay tiempo real y Airflow —es decir, Cloud Composer— para orquestar. Si quieres la foto completa del stack y los rangos salariales, lo desglosamos en cuánto gana un GCP Data Engineer en 2026.
Lo honesto es que saber la teoría de los dos no te consigue el puesto: lo que mueve una entrevista es poder explicar por qué elegiste uno en un proyecto tuyo y qué se rompió en el camino.
Cómo practicarlo con datos de verdad
Lo que te llevas del Bootcamp Google Cloud Platform Data Engineer son 22 horas en vivo repartidas en ocho sesiones donde construyes el circuito completo: almacenamiento en Cloud Storage y BigQuery, procesamiento con Dataproc, pipelines en Dataflow, orquestación con Cloud Composer y streaming con Pub/Sub, más un proyecto final que presentas y una sesión dedicada a la preparación de la certificación. Si tus horarios no dan para clases en vivo, existe la versión asincrónica del bootcamp.
Y si todavía estás decidiendo si la nube de Google es tu camino o prefieres una formación de ingeniería de datos que no dependa de un solo proveedor, compara con la ruta Data Engineer y con Apache Spark Fundamentals, que es el conocimiento que se te transfiere a Dataproc, a Databricks y a cualquier otro lado.
