Una cadena de pasos acierta menos que cada paso por separado. Si un paso sale bien el 95 % de las veces, una cadena de 10 pasos sale bien cerca del 60 %.
La cuenta multiplica el éxito de cada paso por sí mismo, una vez por paso. Supone que los pasos fallan por separado. En la práctica, un error suele arrastrar a los pasos que siguen.
Mové los valores para ver tu caso. El link de la barra de direcciones guarda el cálculo.
Cálculo
Algunos valores del link no servían. Esos campos muestran el valor de ejemplo.
Veredicto: No: los errores se multiplican. Con 90 % por paso, un flujo de 5 pasos falla cerca de 41 % de las veces. Con 95 % por paso, uno de 20 pasos sale bien menos de 36 % de las veces. Esa cuenta supone errores independientes. La contracara: un modelo chico partió la tarea en pasos mínimos y votó cada uno. Así completó 1.048.575 pasos sin un error.
Criterio
Calculá la confiabilidad del proceso entero: el éxito por paso elevado a la cantidad de pasos. Si no llega a lo que pide la tarea, acortá la cadena o poné una verificación entre pasos.
Por qué confianza media. La cuenta es aritmética y supone errores independientes. Los dos hilos de Reddit que la hacen son chicos. El paper del millón de pasos es un preprint (un artículo sin revisión de pares). Sus pasos estaban definidos de antemano: es ejecución pura, no descubrimiento. Ninguna fuente sostiene que 90 % por paso alcance.
Ver el detalle de las 3 pruebasOcultar el detalle0 a favor, 2 en contra, 1 matiza
Hilo sobre agentes que andan en el piloto y se degradan en producción. Un comentario hace la cuenta: con 90 % de éxito por paso, un flujo de 5 pasos falla cerca de 41 % de las veces. Pasa porque los errores se multiplican. Otro dice que es un problema del sistema y que más código solo no lo arregla.
Números
90 % por paso, 41 % de falla en 5 pasosCuenta de un comentarista (0,9 elevado a 5 da cerca de 0,59).
Limitación Hilo chico (6 puntos y 30 comentarios en el archivo). La cuenta es aritmética, sin datos de campo, y supone errores independientes. Se leyó en el archivo público Arctic Shift porque reddit.com bloquea la lectura automática. La cita se comparó letra por letra con el original.
“compounding errors is a systematic problem that you cannot code your way out of”
El post dice que el precio por token es la métrica equivocada, porque se paga igual si el resultado está bien o mal. La confiabilidad cae con el largo de la cadena de pasos, así que hay que sumar el costo de revisar. El autor concluye que no se puede automatizar trabajo serio de forma rentable. Un comentario propone algo más útil: medir el costo por resultado exitoso.
Números
77 %, 60 % y menos de 36 %Confiabilidad de un proceso de 5, 10 y 20 pasos con 95 % de acierto por paso, si los errores fueran independientes.
Limitación Hilo muy chico (2 puntos y 6 comentarios en el archivo) y el post promociona un artículo del autor. La cuenta es aritmética, no una medición. Se leyó en el archivo público Arctic Shift porque reddit.com bloquea la lectura automática. La cita se comparó letra por letra con el original.
“Cost per successful outcome seems like a far more useful metric than cost per token”
Meyerson, E., Paolo, G., Dailey, R., et al. arXiv (Cognizant AI Lab, UT Austin)
La otra cara de la confiabilidad compuesta: parten la tarea en pasos mínimos, cada uno a cargo de un microagente. En cada paso votan entre varias respuestas hasta que una saca 3 votos de ventaja, y descartan las que muestran señales de confusión. Así completan las Torres de Hanoi con 20 discos sin un solo error, con un modelo chico sin razonamiento. La salida no es un modelo más grande, sino descomponer y verificar cada paso.
Números
1.048.575 pasosLargo de la tarea resuelta sin errores, con gpt-4.1-mini.
cerca de 0,22 %Error por paso del modelo usado.
unos 3.500 dólaresCosto proyectado para 95 % de éxito; el paper no da el costo real de la corrida.
Limitación Preprint. Los pasos tienen que estar definidos de antemano y la estrategia se le da al modelo en cada prompt: es ejecución pura, no descubrimiento. El análisis supone errores independientes.
“the process inevitably becomes derailed after at most a few hundred steps”
Para un agente que corre solo, mirá pass^k. Una tarea que sale bien una vez puede fallar la próxima. Hay dos formas de contar k intentos de la misma tarea:
pass@k mide si al menos uno de los k intentos sale bien. Sirve cuando una persona elige el mejor de varios borradores.
pass^k mide si los k intentos salen bien. Importa cuando el sistema corre solo, tarea tras tarea.
Con más intentos, pass@k sube y pass^k baja. Un ejemplo: cada intento sale bien el 75 % de las veces. Entonces los 3 intentos de una tarea salen bien cerca del 42 % (0,75 × 0,75 × 0,75).
Las corridas de abajo son sintéticas: están inventadas para mostrar la cuenta. Cada corrida es un intento de una tarea, que sale bien o mal.
Corridas de ejemplo
pass@3
98,4 %
Al menos uno de 3 intentos sale bien.
pass^3
68,4 %
Los 3 intentos salen bien.
Con 3 intentos, al menos uno sale bien el 98,4 % de las veces, pero los 3 salen bien solo el 68,4 %. La diferencia es de 30 puntos.
pass@k: al menos uno bienpass^k: todos bien
pass@k y pass^k para cada k
k
pass@k
pass^k
1
85,4 %
85,4 %
2
95,4 %
75,4 %
3
98,4 %
68,4 %
4
99,6 %
63,3 %
5
100 %
59,4 %
6
100 %
56,3 %
Para medir tu agente con tareas reales y fijar un criterio de salida con pass^k, usá el plan de evaluación.
Para saber si un agente sirve, alcanza con ver que resuelve la tarea alguna vez.
Veredicto: Alcanza solo si algo verifica cada intento, como los tests en código. Para lo que llega a un cliente importa acertar siempre. Con 75 % por intento, acertar 3 de 3 baja a cerca de 42 %. En OSWorld, un agente con GPT-5 tuvo 10 intentos por tarea. Resolvió cerca de 78 % al menos una vez, y cerca de 36 % en los 10. En atención al cliente de una fintech, la mejor tasa de acierto fue 25,52 % en un intento. En los 4 intentos bajó a 13,40 %.
Criterio
Medí pass^k, que es acertar en todas las repeticiones de la misma tarea. Usalo para todo lo que no tiene una verificación automática antes de llegar a alguien. Dejá pass@k, que es acertar al menos una vez, para cuando un test filtra los intentos malos.
Por qué confianza media. La cuenta de 75 % a cerca de 42 % es aritmética y supone intentos independientes. Dos benchmarks de 2026 muestran la misma caída al repetir: uno de uso de computadora y otro de atención al cliente. Pero son preprints, sin revisión de pares. Uno lo hace un equipo de una empresa que vende agentes de atención. La guía la escribe un proveedor de modelos. Nadie defiende con datos que alcance con un acierto. Las fuentes que matizan piden tests que prueben el cambio. Un practicante cuenta que el agente escribió tests que no probaban nada.
Ver el detalle de las 5 pruebasOcultar el detalle0 a favor, 3 en contra, 2 matizan
Esta guía para evaluar agentes recomienda empezar temprano con tareas sacadas de fallas reales. También pide combinar tres tipos de evaluadores (código, modelo y persona), calificar el resultado y no el camino, y leer las transcripciones. Distingue pass@k, acertar al menos una vez en k intentos, de pass^k, acertar en todos. Advierte que parte de los fallos son errores del evaluador.
Números
20 a 50 tareasTareas simples sacadas de fallas reales, como buen punto de partida.
75 % por intento, cerca de 42 % en 3 de 3Ejemplo de pass^k: acertar las tres veces es mucho menos probable que acertar una.
de 42 % a 95 %Resultado de Opus 4.5 en CORE-Bench después de corregir errores del evaluador.
Limitación La escribe un proveedor de modelos. Es una guía de práctica, no un estudio.
“20-50 simple tasks drawn from real failures is a great start”
Gonzalez-Pumariega, G., Agashe, S., Yang, J., Li, A., Wang, X. E. arXiv
El estudio corre muchas veces las mismas tareas de OSWorld y busca por qué un agente que acierta una vez no lo repite. Encuentra tres causas: azar en la ejecución, tareas ambiguas y variación en el comportamiento del agente. Cambios cosméticos en el entorno bajaron la confiabilidad de GPT-5 y de Claude. Escribir el criterio de evaluación en la instrucción mejoró la confiabilidad en todos los modelos.
Números
cerca de 78 % contra cerca de 36 %Agent S3 con GPT-5: tareas resueltas al menos una vez en 10 intentos (Pass@10) contra tareas resueltas en los 10 intentos (Pass^10). Leído de la figura 1.
Limitación Preprint. Las cifras son aproximadas, leídas de una figura. Uso de computadora, no atención al cliente.
Shi, Q., Zytek, A., Razavi, P., Narasimhan, K., Barres, V. arXiv (Sierra, Princeton)
El equipo de τ-bench suma un dominio nuevo: atención al cliente de una fintech, con unos 700 documentos de conocimiento enlazados. Aun los mejores modelos, con mucho razonamiento, resuelven cerca de un cuarto de las tareas. Además, la confiabilidad cae cuando repiten la misma tarea. Es parte de τ³-bench.
Números
25,52 %Mejor tasa de acierto en un intento (pass^1) con búsqueda realista: GPT-5.2 con razonamiento alto, sobre 97 tareas.
13,40 %Mejor tasa de acierto en los 4 intentos (pass^4).
39,69 % y 26,80 %Claude 4.5 Opus con los documentos correctos ya dados: pass^1 y pass^4.
Limitación Preprint de un equipo de una empresa que vende agentes de atención al cliente. Benchmark con usuario simulado.
Quien manda código tiene que mostrar que funciona: probarlo a mano y dejar tests automáticos que fallen si se revierte el cambio. A los agentes de código se les pide lo mismo, y la persona sigue siendo la responsable de lo que entrega.
Números
859 puntos y 658 comentariosTamaño de la discusión en Hacker News (item 46313297).
Limitación Ensayo de opinión de un especialista, sin datos propios.
“Your job is to deliver code you have proven to work.”
El autor ve un empuje a revisar poco o nada el código ("si pasan los tests, publicá"). En su código existente, la mitad del tiempo se le iba en arreglar errores sutiles. Quienes cuentan éxitos coinciden en las condiciones: código ya ordenado por personas, tipos estáticos, tests amplios, tareas acotadas y revisar el plan antes. Uno cuenta que el agente escribió tests que no probaban nada.
Números
461 puntos y 455 comentariosTamaño del hilo.
Limitación Opiniones de practicantes. Se leyó con la API de Algolia (post y respuestas de primer nivel con más respuestas).