Esta página explica cómo se armó la base de evidencia y qué reglas cumple. Sus números salen de la base en cada build (cada vez que se genera el sitio). Si la base cambia, la página cambia sola.
La base tiene dos clases de archivos: pruebas y afirmaciones.
Una prueba es una fuente. Puede ser un paper, una encuesta, una norma o un post técnico. También un hilo de Reddit o de Hacker News, una nota de prensa, una página de precios, un registro o un fallo. Cada prueba es un archivo YAML en evidence/sources/, con un número estable. YAML es un formato de texto para datos que se lee sin programar. El archivo dice qué encontró la fuente, con palabras propias. También tiene sus números con la unidad, sus límites y la fecha en que se revisó.
Una afirmación es una frase que la gente repite o discute sobre los agentes en la empresa. Cada afirmación es un archivo en evidence/claims/. Junta las pruebas a favor, las pruebas en contra y las que la matizan. Después da un veredicto, un criterio de diseño y un nivel de confianza con su porqué.
Así se ve una prueba real de la base, tal como está en el repositorio:
evidence/sources/maker-million-steps.yaml
id: maker-million-steps
numero: 19
tipo: paper
titulo: "Solving a Million-Step LLM Task with Zero Errors"
autores: "Meyerson, E., Paolo, G., Dailey, R., et al."
organizacion: "arXiv (Cognizant AI Lab, UT Austin)"
url: https://arxiv.org/abs/2511.09030
idioma: en
fecha: "2025-11-12"
verificado_el: "2026-11-02"
abierta: true
postura: matiza
hallazgo:
es: "La otra cara de la confiabilidad compuesta: parten la tarea en pasos mínimos, cada uno a cargo de un microagente. En cada paso votan entre varias respuestas hasta que una saca 3 votos de ventaja, y descartan las que muestran señales de confusión. Así completan las Torres de Hanoi con 20 discos sin un solo error, con un modelo chico sin razonamiento. La salida no es un modelo más grande, sino descomponer y verificar cada paso."
en: "The other side of compound reliability: they split the task into minimal steps, each handled by a microagent. At each step they vote among several answers until one leads by 3 votes, and they discard answers that show signs of confusion. That way they complete the Towers of Hanoi with 20 disks without a single error, using a small model without reasoning. The fix is not a bigger model, but decomposing and verifying each step."
numeros:
- valor:
es: "1.048.575 pasos"
en: "1,048,575 steps"
que:
es: "Largo de la tarea resuelta sin errores, con gpt-4.1-mini."
en: "Length of the task solved without errors, with gpt-4.1-mini."
- valor:
es: "cerca de 0,22 %"
en: "about 0.22%"
que:
es: "Error por paso del modelo usado."
en: "Per-step error of the model used."
- valor:
es: "unos 3.500 dólares"
en: "about 3,500 dollars"
que:
es: "Costo proyectado para 95 % de éxito; el paper no da el costo real de la corrida."
en: "Projected cost for 95% success; the paper does not give the actual cost of the run."
limitaciones:
es: "Preprint. Los pasos tienen que estar definidos de antemano y la estrategia se le da al modelo en cada prompt: es ejecución pura, no descubrimiento. El análisis supone errores independientes."
en: "Preprint. The steps have to be defined in advance and the strategy is given to the model in each prompt: it is pure execution, not discovery. The analysis assumes independent errors."
cita:
texto: "the process inevitably becomes derailed after at most a few hundred steps"
idioma: en
verificada: true
Y así se ve una afirmación que la usa. Abrí las pruebas para ver de qué lado está cada una:
Si cada paso acierta 90 % de las veces, el agente es confiable.
Veredicto: No: los errores se multiplican. Con 90 % por paso, un flujo de 5 pasos falla cerca de 41 % de las veces. Con 95 % por paso, uno de 20 pasos sale bien menos de 36 % de las veces. Esa cuenta supone errores independientes. La contracara: un modelo chico partió la tarea en pasos mínimos y votó cada uno. Así completó 1.048.575 pasos sin un error.
Criterio
Calculá la confiabilidad del proceso entero: el éxito por paso elevado a la cantidad de pasos. Si no llega a lo que pide la tarea, acortá la cadena o poné una verificación entre pasos.
Por qué confianza media. La cuenta es aritmética y supone errores independientes. Los dos hilos de Reddit que la hacen son chicos. El paper del millón de pasos es un preprint (un artículo sin revisión de pares). Sus pasos estaban definidos de antemano: es ejecución pura, no descubrimiento. Ninguna fuente sostiene que 90 % por paso alcance.
Ver el detalle de las 3 pruebasOcultar el detalle0 a favor, 2 en contra, 1 matiza
Hilo sobre agentes que andan en el piloto y se degradan en producción. Un comentario hace la cuenta: con 90 % de éxito por paso, un flujo de 5 pasos falla cerca de 41 % de las veces. Pasa porque los errores se multiplican. Otro dice que es un problema del sistema y que más código solo no lo arregla.
Números
90 % por paso, 41 % de falla en 5 pasosCuenta de un comentarista (0,9 elevado a 5 da cerca de 0,59).
Limitación Hilo chico (6 puntos y 30 comentarios en el archivo). La cuenta es aritmética, sin datos de campo, y supone errores independientes. Se leyó en el archivo público Arctic Shift porque reddit.com bloquea la lectura automática. La cita se comparó letra por letra con el original.
“compounding errors is a systematic problem that you cannot code your way out of”
El post dice que el precio por token es la métrica equivocada, porque se paga igual si el resultado está bien o mal. La confiabilidad cae con el largo de la cadena de pasos, así que hay que sumar el costo de revisar. El autor concluye que no se puede automatizar trabajo serio de forma rentable. Un comentario propone algo más útil: medir el costo por resultado exitoso.
Números
77 %, 60 % y menos de 36 %Confiabilidad de un proceso de 5, 10 y 20 pasos con 95 % de acierto por paso, si los errores fueran independientes.
Limitación Hilo muy chico (2 puntos y 6 comentarios en el archivo) y el post promociona un artículo del autor. La cuenta es aritmética, no una medición. Se leyó en el archivo público Arctic Shift porque reddit.com bloquea la lectura automática. La cita se comparó letra por letra con el original.
“Cost per successful outcome seems like a far more useful metric than cost per token”
Meyerson, E., Paolo, G., Dailey, R., et al. arXiv (Cognizant AI Lab, UT Austin)
La otra cara de la confiabilidad compuesta: parten la tarea en pasos mínimos, cada uno a cargo de un microagente. En cada paso votan entre varias respuestas hasta que una saca 3 votos de ventaja, y descartan las que muestran señales de confusión. Así completan las Torres de Hanoi con 20 discos sin un solo error, con un modelo chico sin razonamiento. La salida no es un modelo más grande, sino descomponer y verificar cada paso.
Números
1.048.575 pasosLargo de la tarea resuelta sin errores, con gpt-4.1-mini.
cerca de 0,22 %Error por paso del modelo usado.
unos 3.500 dólaresCosto proyectado para 95 % de éxito; el paper no da el costo real de la corrida.
Limitación Preprint. Los pasos tienen que estar definidos de antemano y la estrategia se le da al modelo en cada prompt: es ejecución pura, no descubrimiento. El análisis supone errores independientes.
“the process inevitably becomes derailed after at most a few hundred steps”
La base usa fuentes sobre tecnología publicadas desde el 1 de octubre de 2025. La búsqueda se cerró el 2 de noviembre de 2026. Cada ficha tiene la fecha en que se revisó. La búsqueda cubrió cinco frentes:
Papers desde octubre de 2025. Sobre todo de arXiv, un archivo público de papers. También especificaciones oficiales y posts de ingeniería de quienes construyen los sistemas.
Encuestas e informes. Estudios de consultoras, universidades y organismos sobre adopción, resultados, trabajo y costos.
Normas y regulación. La ley de IA de la Unión Europea, marcos de riesgo, guías de seguridad y el estado de la regulación en América Latina.
Precios. Las páginas de precios de los proveedores, con la fecha en que se consultaron.
Experiencia de campo. Hilos de Reddit y de Hacker News de quienes operan agentes, a favor y en contra.
Reddit bloquea los lectores automáticos. reddit.com y su API devolvieron un bloqueo (HTTP 403) a las herramientas de lectura. Por eso los hilos de Reddit se leyeron en Arctic Shift, un archivo público que guarda el texto original de cada post y cada comentario. Las citas se copiaron de ese texto, no de un resumen. Hacker News se leyó en su propio sitio y en su API pública.
La investigación completa está en docs/research/, en ocho archivos. Los cinco primeros son la búsqueda original:
Reddit en contra.
Reddit a favor y criterios.
Papers 2025 y 2026.
Adopción, costos y regulación.
La verificación de las citas de Reddit.
Los otros tres son la actualización de noviembre de 2026: capacidad y evaluación, seguridad, y productividad y costo. Esa actualización reemplazó las fuentes anteriores al corte. Los archivos listan cada fuente que se miró, también las que no entraron a la base y las que salieron por la fecha.
Cada fuente y cada afirmación cumplen estas reglas. El validador de la base (npm run evidence:check) revisa varias en cada build y en cada pull request (un pedido de cambio en GitHub).
Fuentes desde octubre de 2025. Toda fuente sobre tecnología es del 1 de octubre de 2025 en adelante. Los agentes cambiaron tanto que una fuente más vieja ya no describe lo que hay. La excepción son las leyes, las regulaciones y los fallos vigentes, porque no describen tecnología. Un marco voluntario, como una lista de riesgos, no es una norma y tiene que cumplir el corte. En un paper, un working paper o un artículo de revista cuenta la primera publicación. Eso incluye la que sale en línea antes que la impresa. Una revisión cuenta solo si cambia los resultados, y la ficha dice qué cambió.
Fuente primaria cuando se puede. El enlace va al paper, la norma, el informe o el hilo original. Una nota que comenta un estudio no reemplaza al estudio.
La regla de abierta. Una fuente lleva abierta: true si se leyó completa en la página de su enlace. También vale un archivo fiel de esa misma página, como Arctic Shift para un hilo de Reddit. Si la fuente se conoce por otra página, el enlace va a la página que se leyó y limitaciones nombra la fuente original. Si no se pudo leer completa, lleva abierta: false. Entonces el sitio no la presenta como hecho, y la ficha la marca con “No se pudo abrir”.
Palabras propias. El hallazgo resume la fuente con palabras propias, en español y en inglés. Los papers se resumen, no se traducen.
Una cita por fuente, como mucho. La cita tiene 15 palabras o menos y va en el idioma original. El sitio la muestra solo si se comparó letra por letra con el original.
Números con unidad y matiz. Cada número va con su unidad y con el matiz de la fuente: “cerca de”, “al menos”, “en tareas de software”. Un veredicto no puede tener un número que no esté en una de sus pruebas.
Precios y leyes con fecha. Un precio, una versión de una especificación o el estado de una ley valen para el día en que se revisaron. Ese día es verificado_el.
Las dos caras. Cada afirmación tiene pruebas a favor y pruebas en contra o que la matizan. Si de verdad no hay, una nota explica por qué.
Cada fuente tiene una postura general frente a los agentes. Puede estar a favor (los respalda), en contra (muestra límites, fallas o riesgos) o matizar (depende de las condiciones). Esa postura describe a la fuente sola.
En cada afirmación, el lado lo decide la afirmación. La misma fuente puede estar a favor de una afirmación y matizar otra. Por ejemplo, un índice muestra que los modelos mejoran rápido. Ese índice respalda una afirmación sobre capacidad. Al mismo tiempo, matiza una afirmación sobre resultados en las empresas.
El veredicto toma posición en dos o tres oraciones. No dice más que sus pruebas. El criterio es la regla de diseño que sale del veredicto. Está escrito para aplicarlo al día siguiente.
La confianza dice cuánto pesa la evidencia detrás del veredicto. Cada afirmación explica su nivel en el apartado “Por qué” de su ficha.
Nivel
Qué hace falta
Afirmaciones
Confianza alta
Varias fuentes primarias que coinciden.
5
Confianza media
Hay fuentes primarias, pero con límites claros (muestra chica, tareas de laboratorio, fecha, conflicto de interés) o sin acuerdo pleno.
49
Confianza baja
La evidencia es débil: un lado se apoya solo en relatos (Reddit, Hacker News, prensa), en pocas fuentes o en la empresa que vende.
11
Reddit y Hacker News suman experiencia de campo, pero una afirmación no se sostiene solo con ellos. Si un lado tiene solo hilos, la confianza baja y la ficha lo dice.
La muestra de Reddit y Hacker News no es representativa. Muestra a quien escribe en foros técnicos en inglés. En varios subreddits los hilos tienen pocos votos. Algunos comentarios son de vendedores o parecen publicidad. La búsqueda en el archivo fue por palabras del título, así que puede faltar algún hilo grande.
Muchas fuentes son de quienes venden. Los proveedores de modelos escriben sobre sus propios sistemas. Las consultoras venden servicios sobre lo que miden. La ficha lo dice en limitaciones, y la confianza baja cuando eso pesa.
El corte deja afuera trabajos anteriores. Algunos estudios muy citados sobre productividad, adopción o seguridad son anteriores a octubre de 2025. Por eso ya no están en la base. Si una conclusión dependía de ellos, el capítulo la apoya en fuentes nuevas o la deja más débil.
La fecha de corte envejece rápido. Los modelos, los precios y las leyes cambian en meses. Por eso cada fuente tiene su fecha, y el control semanal avisa a los 180 días.
El idioma. La mayor parte de la evidencia está en inglés. La regulación de América Latina se leyó en español y en portugués.
Hoy, 34 de las 150 pruebas son hilos de Reddit o de Hacker News, y 141 de las 150 están en inglés.
La base no queda congelada. Cada lunes corre un workflow de GitHub Actions (evidencia.yml). Un workflow es una tarea automática del repositorio. Este hace tres cosas:
Valida la base entera: el esquema (la forma que debe tener cada archivo), los ids y que cada afirmación apunte a pruebas que existen.
Prueba el enlace de cada fuente. Separa los enlaces rotos de los que bloquean robots y de los que no responden a tiempo.
Busca las fuentes que pasaron 180 días sin revisar.
Si encuentra enlaces rotos o fuentes vencidas, abre un issue (un aviso en el repositorio). Lo actualiza cada semana y lo cierra cuando una corrida sale limpia. El control avisa, pero nunca rompe el sitio.
¿Conocés una fuente que falta? Abrí el formulario Proponer una fuente. Pide el enlace, el tipo, la postura, el capítulo, el hallazgo en tus palabras y si la leíste completa.
¿Una afirmación está mal? Abrí el formulario Discutir una afirmación. Pide el id de la afirmación, qué está mal y la fuente que lo respalda. El id es el nombre del archivo en evidence/claims/, sin .yaml. Si no lo encontrás, alcanza con el enlace a la página.
¿Preferís mandar el archivo YAML ya escrito? La guía para contribuir explica el formato y cómo validarlo antes de enviarlo. Todas las fuentes de la base están en la evidencia.