Evaluar un agente de IA es la parte que casi nadie enseña y la primera que te piden en una entrevista seria. La escena típica: el agente funcionó en la demo, lleva tres semanas en producción, alguien cambió el prompt un martes y ahora responde peor. ¿Cuánto peor? Nadie sabe. No hay con qué compararlo.
Esto dejó de ser un lujo justo este mes. Google soltó Gemini 4 Hydrogen el 12 de noviembre y Anthropic sacó Fable 5.2 el 9, ambos empujando precio y velocidad hacia abajo. Si los modelos cambian cada tres semanas, lo único estable de tu sistema es la forma en que mides si mejoró o empeoró.
Un eval no es un test unitario
El reflejo de quien viene de desarrollo es escribir un test que compare la salida contra un string esperado. Con un LLM eso se rompe en la primera corrida: la respuesta correcta se puede decir de treinta formas distintas.
Un eval es otra cosa. Es un conjunto de casos de entrada con un criterio de "esto está bien" que puede verificarse, más una manera de puntuar qué tan cerca estuvo la respuesta. A veces el criterio es exacto (¿llamó la herramienta correcta?, ¿extrajo el RUC bien?, ¿el JSON parsea?) y a veces es difuso (¿la respuesta es útil y no inventó nada?).
La buena noticia: la mayor parte de lo que falla en un agente es verificable de forma exacta. No necesitas resolver el problema filosófico de "medir calidad" para dormir tranquilo.
Las cuatro capas que de verdad necesitas
1. Un set de casos dorados
Entre 30 y 100 casos reales, guardados en un archivo, con la respuesta o el comportamiento esperado. Sácalos de tu propio tráfico, no los inventes: los casos inventados son todos fáciles y por eso tu agente los pasa.
El truco está en la composición. Un tercio de casos normales, un tercio de casos borde (texto mal escrito, campos vacíos, el cliente que pregunta tres cosas a la vez) y un tercio de casos que ya te fallaron en producción. Cada vez que alguien reporta un error, ese caso entra al set y se queda ahí para siempre. Ese archivo es el activo más valioso de tu proyecto, más que el prompt.
2. Trazas por paso
Si tu agente da seis pasos y la respuesta final está mal, sin trazas no sabes cuál de los seis se equivocó. Vas a terminar cambiando el prompt del paso uno cuando el problema estaba en que la herramienta del paso cuatro devolvió una lista vacía y nadie la revisó.
Lo mínimo que hay que guardar por ejecución: entrada, qué herramienta se llamó con qué argumentos, qué devolvió, tokens consumidos y tiempo de cada paso. En LangGraph esto sale casi gratis porque el estado ya está explícito en el grafo, que es una de las razones reales por las que conviene sobre un bucle casero. Con CrewAI, que organiza agentes por rol, lo que te interesa seguir es el traspaso entre agentes: ahí es donde se pierde el contexto.
3. Métricas en vivo
Los evals te dicen cómo le va a tu agente contra casos conocidos. La producción te trae lo desconocido. Tres señales bastan para empezar: tasa de tareas completadas sin intervención humana, tasa de reintentos y proporción de conversaciones que terminan escalando a una persona.
Esa tercera métrica es la más honesta de todas. Si el escalamiento sube del 20% al 35% en una semana, algo se rompió, aunque todos tus evals sigan en verde.
4. Costo por tarea
No costo mensual: costo por tarea resuelta. Es el número que te deja decidir con criterio y el que te van a pedir cuando llegue la renovación del presupuesto. Si una conversación cuesta US$0.14 y resuelve el 70%, tu costo por caso resuelto es US$0.20. Con eso ya puedes compararte contra lo que cuesta hacerlo a mano.
Arma tu primer set en una tarde
No hace falta plataforma ni presupuesto. Esto se hace con un archivo y un script:
- ▸Exporta 50 interacciones reales de la semana pasada. Si no tienes logs, ese es tu primer problema y se arregla hoy.
- ▸Marca a mano qué debió pasar en cada una. Toma dos horas y duele, pero es la parte que no se puede delegar.
- ▸Escribe un script que corra el agente sobre los 50 casos y guarde las salidas en un CSV con el costo y el tiempo de cada una.
- ▸Define tu puntaje: cuántos pasaron, cuántos fallaron y por qué motivo. Clasifica los errores en tres o cuatro tipos, no más.
- ▸Corre eso antes de cada cambio de prompt o de modelo. Sin excepciones.
Con esos cinco pasos ya estás por encima de la mayoría de equipos que conozco, incluidos varios que tienen agentes atendiendo clientes.
El error que casi todos cometen
Usar un LLM como juez sin calibrarlo. Le pides a un modelo que puntúe del 1 al 5 la respuesta de otro modelo, te devuelve números bonitos y los pones en una gráfica. El problema es que nadie comprobó si ese juez coincide con una persona.
La forma correcta toma una hora: puntúa tú mismo 30 casos, deja que el juez puntúe los mismos 30 y mira si coinciden. Si el acuerdo es bajo, el juez no sirve y hay que arreglarle la rúbrica. Un juez sin calibrar es peor que no medir, porque te da confianza falsa.
El segundo error, más barato de arreglar: promediar todo en un solo número. "Nuestro agente tiene 87%" no te dice nada. Separa por tipo de caso y vas a descubrir que el 87% es 98% en lo fácil y 40% en lo que de verdad importa.
Qué hacer cuando sale un modelo nuevo
Esta es la recompensa de todo lo anterior. Sale Hydrogen, sale Fable, sale lo que sea: corres tu set de 50 casos con el modelo nuevo, comparas aciertos, latencia y costo, y decides en dos horas con datos propios en vez de con el hilo de X de alguien que probó tres prompts.
Y conviene probar por paso, no por sistema completo. Casi siempre el resultado es mixto: el modelo nuevo gana en extracción y pierde en planificación. Ahí es donde el router que mencionábamos arriba deja de ser teoría.
Dónde aprender esto en serio
La evaluación es la mitad invisible de la ingeniería de agentes, y es exactamente lo que separa a quien arma demos de quien sostiene sistemas. Lo trabajamos completo en la ruta AI Agentic Engineer: arquitectura, memoria, herramientas, evaluación y despliegue sobre un proyecto que termina corriendo.
Si todavía estás en la base —APIs, RAG, primeros agentes— el orden natural es la ruta de AI Engineer, y para el día a día de escribir y refactorizar estos scripts, Claude Code ahorra una cantidad notable de tiempo en la parte aburrida: generar los casos, parsear las salidas, armar el reporte.
Siguiente paso
Abre tus logs de la semana, saca 50 interacciones y márcalas. Mañana tienes un set de evals y un número al que volver cada vez que toques algo. Es la única forma de saber si tu agente mejoró o solo cambió.
Puedes ver todo el catálogo de cursos si quieres armar tu ruta, y si te sirve practicar con otros que están metidos en lo mismo, en la Comunidad AI Builders hacemos un taller en vivo cada semana desde 19 USD al mes.



