Ir al contenido

Agentes a juicio

13 capítulos65 afirmaciones150 pruebasRevisado el

¿Cuándo conviene un agente de IA en una empresa, y cuándo no?

Cada afirmación sobre agentes tiene pruebas a favor, pruebas en contra y un veredicto. El veredicto se vuelve un criterio de diseño.

Las 150 pruebas, por capítulo

Cada barra es una fuente con número. Arriba apoya, abajo contradice y sobre la línea matiza: pone una condición o un límite. Cada prueba aparece una vez, en el primer capítulo donde pesa, con su postura general.

Por eso un racimo puede ser chico: el número de abajo dice cuántas pruebas cita el capítulo en total.

Con el teclado: Tab hasta el eje, las flechas recorren las pruebas y Enter abre la ficha. Sin JavaScript, cada barra lleva a su prueba en la evidencia.

La altura dice qué clase de fuente es.

  1. 56 documentos con método o textos oficialespaper, norma, especificación, registro, fallo
  2. 11 datos declaradosencuesta, precio
  3. 83 relatospost técnico, Reddit, Hacker News, prensa

Los 13 capítulos

Cada uno pone a prueba una idea sobre agentes y termina en un criterio: qué hacer. El que más pruebas cita es el 05, Seguridad por diseño: 28.

  1. Capítulo 1. La promesa y la brecha. 5 afirmaciones y 20 pruebas.¿Que casi todas las empresas usen IA prueba que los agentes ya dan resultado?
  2. Capítulo 2. ¿Agente o flujo fijo?. 4 afirmaciones y 17 pruebas.¿Cuándo conviene que el modelo elija el camino y cuándo conviene escribirlo en código?
  3. Capítulo 3. El error que se multiplica. 4 afirmaciones y 17 pruebas.¿Alcanza con que cada paso acierte casi siempre para que el agente sea confiable?
  4. Capítulo 4. ¿Uno o varios agentes?. 4 afirmaciones y 10 pruebas.¿Repartir el trabajo entre varios agentes lo hace mejor o solo lo hace más caro?
  5. Capítulo 5. Seguridad por diseño. 6 afirmaciones y 28 pruebas.¿Alcanza con un modelo bien alineado y un buen filtro para que un agente sea seguro?
  6. Capítulo 6. Conectar sistemas: MCP y A2A. 5 afirmaciones y 21 pruebas.¿Un estándar de conexión hace segura la conexión?
  7. Capítulo 7. Personas en el circuito. 5 afirmaciones y 17 pruebas.¿Poner a una persona en el circuito controla el riesgo de un agente?
  8. Capítulo 8. Evaluar antes de prometer. 6 afirmaciones y 24 pruebas.¿El puntaje de un benchmark dice cómo va a andar el agente en tu empresa?
  9. Capítulo 9. Costo por tarea exitosa. 5 afirmaciones y 18 pruebas.¿Cuánto cuesta de verdad que un agente haga bien una tarea?
  10. Capítulo 10. Productividad real. 6 afirmaciones y 19 pruebas.¿Los agentes hacen que el trabajo termine antes, o solo hacen que se sienta más rápido?
  11. Capítulo 11. Trabajo, ética y aprendizaje. 5 afirmaciones y 22 pruebas.Si el agente hace el trabajo, ¿qué pasa con las personas que lo hacían, con lo que sabían y con la responsabilidad?
  12. Capítulo 12. Regulación. 5 afirmaciones y 15 pruebas.¿Hay reglas que un agente tenga que cumplir hoy, o todavía hay tiempo?
  13. Capítulo 13. El marco de decisión. 5 afirmaciones y 23 pruebas.Con todo lo que se probó, ¿cómo se decide si, dónde y cómo poner un agente?

Careada quiere decir que sus pruebas quedan cara a cara. Así se ve cada afirmación del juicio.

Arriba están la afirmación, la confianza del veredicto y el criterio: qué hacer con lo que muestran las pruebas. Abajo están las pruebas. Las que están a favor y las que están en contra quedan enfrentadas. Las que matizan, es decir, ponen una condición o un límite, van sobre el eje.

Abrí cada prueba para ver qué encontró la fuente, de qué tipo es, de cuándo es y si la leímos en el original.

La IA acelera el trabajo real de las personas.

Confianza media

Capítulo 10Productividad real

Veredicto

Veredicto: Probablemente acelera la producción, pero el tamaño es incierto. En un experimento aleatorizado con un asistente, todos mejoraron en una tarea de negocio. En proyectos abiertos que adoptaron Cursor, las líneas agregadas subieron 281,3 % el primer mes. Pero la mejora se apagó a los dos meses. METR repitió su estudio en 2026. METR cree que la IA probablemente acelera más que en 2025, aunque no confía en sus propios números.

Criterio

No des por hecha la ganancia: medila en tu propio trabajo, comparando contra hacerlo sin la herramienta. Volvé a medir la calidad unos meses después, porque la velocidad del arranque puede dejar deuda.

Por qué confianza media. El experimento aleatorizado es con un asistente de chat, no con agentes. Los datos de agentes de código son observacionales. Uno es de Microsoft sobre su propio despliegue y otro es sobre proyectos de código abierto. La repetición de METR tiene intervalos que cruzan el cero. METR desconfía de su dato por sesgo de selección. Un proveedor que estima la productividad con sus datos la achica al ajustar por éxito.

Ver el detalle de las 5 pruebasOcultar el detalle2 a favor, 1 en contra, 2 matizan

A favor

  1. Prueba049Paper

    Does Generative AI Narrow Education-Based Productivity Gaps? Evidence from a Randomized Experiment

    Cruces, G., Fernández Meijide, D., Galiani, S., Gálvez, R. H., Lombardi, M. NBER (Working Paper 34851)

    Es un experimento aleatorizado (con grupos armados al azar) con un asistente de IA generativa, en una tarea de resolver un problema de negocio. Todos mejoran, y los que tienen menos educación mejoran más. La brecha se achica mucho, pero no desaparece, y al sacar la IA vuelve en buena parte. Los que tienen más educación usan mejor la herramienta.

    Números

    • de 0,548 a 0,139 desvíos estándarBrecha de desempeño por educación sin IA y con IA (se cierra cerca de tres cuartos), en 1.174 adultos de 25 a 45 años.

    Limitación Se leyó la página de NBER con el resumen. Mide educación, no experiencia; es un asistente de chat, no un agente, y la tarea es en línea, fuera de una empresa. Tiene revisiones de mayo y octubre de 2026.

    Leída en la fuente. Revisada el 2 nov 2026.

  2. Prueba116Paper

    Adoption and Impact of Command-Line AI Coding Agents: A Study of Microsoft's Early 2026 Rollout of Claude Code and GitHub Copilot CLI

    Murphy-Hill, E., Butler, J., Savelieva, A. arXiv (Microsoft)

    Estudia el despliegue de dos agentes de código de terminal entre decenas de miles de ingenieros de Microsoft. Quienes los adoptaron fusionaron más pull requests que un grupo de control sintético. En los ingenieros más junior (IC2), los pull requests creados subieron más: +34 %, contra +21 % del nivel de referencia (IC4). Por antigüedad, la mejora tiene forma de C: ganan más los de poca y los de mucha antigüedad. El estudio de adopción mira solo Copilot CLI: ahí los perfiles junior lo probaron menos al principio. El uso se contagió sobre todo por redes de colegas. No mide calidad.

    Números

    • +24,0 % (de +14,5 % a +33,7 %)Pull requests fusionados por ingeniero por día frente al control, en una ventana de 4 meses (intervalo de 95 %).
    • +34 % contra +21 %Aumento de pull requests creados con 3 días de uso por semana, frente a las semanas sin uso de la misma persona. Compara el nivel IC2 contra IC4, el de referencia (IC3: +21 %, IC5: +25 %, IC6: +22 %). Leído de la figura 9, con Claude Code y Copilot CLI.
    • -13 % y -14 %Chances de probar Copilot CLI al principio en los niveles IC2 e IC3 frente a IC4 (IC5: +22 %). Solo Copilot CLI: el estudio de adopción no incluye Claude Code.

    Limitación Observacional, no aleatorizado. Los autores son de Microsoft, dueña de GitHub, y lo declaran. Un pull request no es valor entregado. El aumento por nivel compara semanas con y sin uso de cada persona: es una asociación, no una causa. El estudio de adopción incluye solo Copilot CLI.

    “first use spread primarily through social networks”

    Cita verificada contra el original

    Leída en la fuente. Revisada el 2 nov 2026.

En contra

  1. Prueba017Paper

    Speed at the Cost of Quality: How Cursor AI Increases Short-Term Velocity and Long-Term Complexity in Open-Source Projects

    He, H., Miller, C., Agarwal, S., Kästner, C., Vasilescu, B. arXiv (Carnegie Mellon)

    Los proyectos de GitHub que adoptaron Cursor aceleran mucho al principio, pero la mejora se apaga a los dos meses. Quedan más complejidad y más alertas de análisis estático (revisión automática del código), y eso frena la velocidad después. Cursor acelera un rato y deja deuda técnica (problemas para arreglar más adelante).

    Números

    • +281,3 % y +48,4 %Líneas agregadas en el mes 1 y en el mes 2 después de adoptar, en 806 repositorios contra 1.380 de control.
    • +30,26 % y +41,64 %Alertas de análisis estático y complejidad del código después de adoptar.

    Limitación Diferencias en diferencias sobre proyectos de código abierto, no empresas. Los números salen de la versión 3 (26 de enero de 2026); el título cambió entre versiones y no se verificó si cambiaron los resultados. La discusión menciona 25,1 % de complejidad, que no coincide con la tabla.

    “a statistically significant, large, but transient increase in project-level development velocity”

    Cita verificada contra el original

    Leída en la fuente. Revisada el 2 nov 2026.

Matiza

  1. Prueba060Post técnico

    We are Changing our Developer Productivity Experiment Design

    Becker, J., Rush, N., Cunningham, T., Rein, D., Mahamud, K. METR

    METR repitió su estudio con más desarrolladores y con herramientas de fines de 2025. Los números indican que la IA ahora acelera el trabajo, pero METR no confía en ellos. Muchos desarrolladores no quisieron trabajar sin IA y dejaron afuera tareas para no hacerlas sin ella. Concluye que hoy la IA probablemente acelera más que en 2025, pero el dato es una evidencia muy débil del tamaño de la mejora. También cambió el diseño del experimento.

    Números

    • 57 desarrolladores, 143 repositorios, más de 800 tareasTamaño del nuevo estudio (10 repiten y 47 son nuevos).
    • -18 % y -4 %Cambio en el tiempo con IA: los que repiten (intervalo de -38 % a +9 %) y los nuevos (de -15 % a +9 %).
    • +19 %Cambio en el tiempo con IA en el estudio original de 2025 (intervalo de +2 % a +39 %).
    • entre 30 % y 50 %Desarrolladores que no presentaron algunas tareas para no hacerlas sin IA.

    Limitación Sesgo de selección que METR reconoce. Además bajó el pago, y quienes usan varios agentes en paralelo miden mal su tiempo. Los intervalos cruzan el cero: no muestran una mejora segura.

    Leída en la fuente. Revisada el 1 nov 2026.

  2. Prueba042Paper

    Anthropic Economic Index report: Economic primitives

    Anthropic

    Con datos de noviembre de 2025, en el chat de Claude la colaboración volvió a superar a la automatización. Bajaron las conversaciones en las que la persona solo da órdenes. En la API, que usan sobre todo empresas, la automatización sigue en cerca de tres cuartos. El éxito de la tarea es menor en la API, y al ajustar por éxito se achica la mejora de productividad estimada. El informe dice que el primer efecto neto puede ser descalificar trabajos, es decir, sacarles las tareas que piden más habilidad.

    Números

    • 52 % y 45 %Conversaciones de colaboración y de automatización en el chat. Las directivas bajaron a 32 % (39 % en agosto de 2025).
    • 67 % y 49 %Éxito de la tarea en el chat y en la API.
    • de 1,8 a 1,0 a 1,2 puntosAporte anual estimado al crecimiento de la productividad laboral de EE. UU., antes y después de ajustar por éxito.

    Limitación Lo publica el proveedor con sus propios datos. Son 1 millón de conversaciones y 1 millón de transcripciones de la API (13 al 20 de noviembre de 2025).

    “the productivity benefits will be smaller than raw speedups suggest”

    Cita verificada contra el original

    Leída en la fuente. Revisada el 2 nov 2026.

Para decidir, herramientas y plantillas

Cómo se armó la evidencia: qué fuentes entran, qué reglas cumplen y cómo decidimos el lado y la confianza.

Compuesto en Libre Franklin, Source Serif 4 y Red Hat Mono, servidas desde el propio sitio. Base de evidencia revisada el 2 nov 2026.