Hace un año, los agentes de voz con IA eran demos impresionantes que fallaban en cuanto el contexto se complicaba. Hoy están en producción: call centers que manejan miles de llamadas por día sin intervención humana, asistentes que reservan turnos médicos en tiempo real, aplicaciones que contestan consultas de e-commerce con voz natural. El salto no fue gradual—fue repentino, y el mercado de talento todavía no alcanzó a ponerse al día.
Si nunca construiste un voice agent, esto es lo que necesitás saber para entender cómo funciona y dar los primeros pasos.
Qué es un agente de voz con IA
Un voice agent es un sistema que puede escuchar lo que dice un usuario, procesarlo con un LLM, tomar decisiones o consultar herramientas externas, y responder con voz sintetizada—todo en tiempo real, con latencia lo suficientemente baja para que la conversación se sienta natural.
La diferencia con un chatbot de texto es más que el canal: un agente de voz tiene que manejar interrupciones, silencios, ruido de fondo, reformulaciones a mitad de frase y el ritmo natural de una conversación hablada. Eso agrega complejidad técnica que los chatbots de texto no tienen.
El pipeline técnico: STT → LLM → TTS
Todo voice agent descansa sobre tres bloques conectados en tiempo real:
- ▸STT (Speech-to-Text): convierte el audio del usuario en texto. Las opciones más usadas en 2026 son Whisper de OpenAI (preciso, open source), Deepgram (baja latencia, ideal para streaming) y Google Speech-to-Text (integración fácil con el stack de Google).
- ▸LLM con lógica de agente: el texto transcripto llega al modelo, que decide qué responder o qué herramienta invocar. Acá es donde entra LangChain para manejar el contexto de conversación, las tools y la lógica del agente.
- ▸TTS (Text-to-Speech): convierte la respuesta del LLM en audio. ElevenLabs lidera en naturalidad de voz. También están OpenAI TTS, Google WaveNet y Cartesia para casos de baja latencia.
El cuello de botella no suele estar en el LLM—está en la latencia total del pipeline. Si STT tarda 400ms, el LLM 800ms y TTS 300ms, el usuario espera 1.5 segundos antes de escuchar la primera sílaba de la respuesta. En una llamada telefónica real, eso se siente largo. Los sistemas en producción trabajan con streaming en cada etapa: el TTS empieza a generar audio antes de que el LLM termine de responder.
WebSockets y streaming: por qué importan
La arquitectura REST clásica no sirve para voice agents en tiempo real. Necesitás WebSockets (o equivalentes como WebRTC) para mantener una conexión bidireccional persistente entre el cliente y el servidor. El audio fluye en chunks—no esperás a que el usuario termine de hablar para procesarlo, lo vas transcribiendo mientras habla.
Lo que nadie te dice cuando empezás: manejar el VAD (Voice Activity Detection) bien es más difícil de lo que parece. El VAD decide cuándo el usuario terminó de hablar para que el agente pueda responder. Si el umbral es muy sensible, el agente interrumpe antes de tiempo. Si es muy lento, hay silencios incómodos. Hay que calibrarlo caso por caso.
Caso real: agente de atención al cliente por teléfono
Supongamos que construís un agente para una clínica médica que atiende consultas sobre turnos, precios y cobertura. El flujo básico:
- ▸El usuario llama. Twilio o Vonage recibe la llamada y establece el WebSocket con tu servidor.
- ▸El audio llega a Deepgram para transcripción en streaming. Cada chunk de texto transcripto se acumula hasta detectar un pause del VAD.
- ▸LangChain toma el texto, consulta el historial de conversación y decide: ¿es una pregunta que puede responder directo? ¿Necesita buscar en la base de datos de turnos? ¿Tiene que transferir al humano?
- ▸La respuesta generada va a ElevenLabs en streaming, que devuelve audio sintético que se reproduce en tiempo real sobre la llamada.
Todo eso ocurre en menos de 2 segundos en un sistema bien optimizado. Y el agente puede manejar 50 llamadas simultáneas con el mismo costo que 2 operadores humanos.
Qué habilidades necesitás antes de empezar
No necesitás saber de audio processing a bajo nivel, pero sí necesitás:
- ▸Python cómodo: async/await, manejo de WebSockets con asyncio o la librería websockets.
- ▸LangChain: para armar la lógica del agente, manejar contexto y conectar herramientas.
- ▸APIs de STT y TTS: Deepgram, Whisper y ElevenLabs tienen SDKs de Python. No hay que reinventar la rueda.
- ▸Algo de infraestructura: saber deployar en un servidor con IP pública (un EC2, un Cloud Run, un Railway) para que Twilio o el cliente pueda conectarse.
La curva de aprendizaje más empinada no es el código—es entender los tiempos de cada parte del pipeline y cómo optimizarlos para que la conversación se sienta fluida. Eso viene con práctica y con leer los logs de latencia.
Por qué este es un nicho con alta demanda y poca competencia
Construir chatbots de texto ya saben hacerlo muchos. Los voice agents siguen siendo un nicho porque combinan complejidad técnica (WebSockets, streaming, latencia) con complejidad de producto (diseño de conversaciones naturales, manejo de fallas, escalado). Hay mucha demanda de empresas que quieren automatizar sus líneas telefónicas o construir asistentes de voz para sus productos—y pocos equipos que sepan hacerlo bien.
Los sectores donde más se está aplicando en LATAM: salud (turnos, recordatorios), finanzas (consultas de cuenta, cobranza), retail (soporte post-venta), educación (asistentes de estudio). Si tenés experiencia en uno de esos sectores y aprendés voice agents, la combinación es difícil de replicar.
Cómo aprender a construir agentes de voz en DataPath
El Curso de Agentes de Voz con IA de DataPath cubre el pipeline completo: desde la configuración de STT y TTS hasta desplegar un voice agent funcional que maneje conversaciones reales. Trabajamos con WebSockets, LangChain y las APIs líderes del mercado.
Si llegás al curso sin experiencia en LangChain, te recomiendo empezar por ahí primero:
— Curso de LangChain: la base para cualquier agente de IA, incluidos los de voz.
— Ruta AI Agentic Engineer: si querés el camino completo que incluye voice agents, multi-agentes y despliegue en producción.
La voz va a ser la interfaz de la IA en la mayoría de los contextos donde no existe una pantalla. Empezar a construir en ese espacio ahora, antes de que sea mainstream, es una ventaja que se acumula.
