Para elegir una IA que trabaje, cómo leer el ranking de Agent
Xiao Zhou quería encontrar una IA que le ayudara a modificar código, ejecutar scripts y organizar un montón de archivos. Abrió el ranking de texto y eligió al número uno. Resultó que al conversar respondía con todo sentido, pero en cuanto había que poner manos a la obra, necesitaba que él la corrigiera una y otra vez.
El problema fue que miró el ranking equivocado. El ranking de texto compara "qué respuesta resulta más agradable", mientras que él buscaba "cuál puede terminar el trabajo". Arena tiene un ranking específico para esto último: el ranking de Agent. Adivina primero:
Pon a prueba tus conocimientosEn la edición del 2026-11-18, el número uno del ranking de texto, Gemini 4 Carbon (High), ¿en qué puesto está en el ranking general de Agent?
El ranking de Agent no se basa en votos, sino que observa si el trabajo se terminó, cuántas correcciones hizo falta y si los comandos daban errores, cuando usuarios reales encargan tareas a la IA. El 2026-11-18 se renovó: el ranking general pasó a llamarse Agent Arena Index, se añadieron seis índices parciales y las puntuaciones cambiaron a otra escala.
Qué podrás hacer al terminar
- Explicar la diferencia fundamental en la forma de puntuar entre el ranking de Agent y el de texto
- Elegir el índice parcial que debes mirar según tu uso
- Leer las puntuaciones ancladas tras la renovación y saber por qué hay que mirar también el Alignment Index
En qué se diferencia del ranking de texto
Ya conoces el método del ranking de texto: dos modelos anónimos responden cada uno una vez y los usuarios votan. El ranking de Agent (lanzado el 2026-06-04) es completamente distinto:
- No hay votaciones por pares. Los usuarios hacen trabajo real en el Agent Mode de arena.ai/agent, como escribir software o hacer análisis financieros. Cada sesión se asigna aleatoriamente a un modelo.
- Mira señales del proceso. Si el usuario dijo "completado", si elogió o se quejó, cuántas correcciones hizo, si los comandos que ejecutó el modelo dieron error: todo esto queda registrado.
- Como los modelos se asignan aleatoriamente, oficialmente se calcula como un experimento controlado aleatorio, llamado "rastreo causal" (causal tracing), que calcula la "mejora neta" que aporta cada modelo.
Por eso, las puntuaciones de los dos rankings no se pueden comparar entre sí en absoluto. Ser primero en el ranking de texto significa "la respuesta más veces elegida"; ser primero en el ranking de Agent significa "el mejor desempeño global al trabajar".
- Puedo explicar que la puntuación del ranking de Agent no proviene de votos
Qué mide cada una de las cuatro señales de capacidad
El Agent Arena Index se obtiene promediando cuatro señales:
| Señal | Cómo se mide | Una puntuación alta indica |
|---|---|---|
| Task Completion (antes Confirmed Success) | Al final de cada ronda, una ventana emergente pregunta al usuario "Did this complete your task?"; se calcula la proporción de respuestas "yes" | El usuario confirma que el trabajo quedó terminado |
| Praise vs Complaint | Se marcan por separado los elogios y las quejas de los usuarios; en una tarea, si hay más elogios que quejas cuenta como éxito | Usuarios más satisfechos |
| Steerability | Mira cuántas correcciones necesita el usuario; si tras una corrección va bien cuenta como "bajo", si hace falta otra más cuenta como "alto" | No tienes que reconducirlo una y otra vez |
| Bash Reliability (antes Bash Recovery) | En cada llamada a un comando, los errores causados por el propio modelo (por ejemplo, parámetros mal escritos o bugs en scripts que él mismo escribió) cuentan como fallo; cosas como cortes de red no cuentan | Los comandos rara vez fallan |
Con la renovación también se retiró una señal: Tool Hallucination (invocar herramientas que no existen), porque los modelos de vanguardia ya cometen poco este error.
- Puedo explicar qué significa un Steerability alto
Elegir el índice parcial según tu uso
Además del ranking general, la renovación añadió seis índices parciales. Busca según tu uso:
Buscar¿Para qué quiero usar la IA y qué índice debo consultar?
Toca uno para ver.
Los modelos nuevos suelen aparecer primero en el ranking de Agent. Por ejemplo, GPT-6.2 Astra (Max) y GPT-6.2 Sol (Max) entraron en el Agent Arena Index el 11-18 y en el Coding Index el 11-19, y a fecha de 11-19 aún no estaban en el ranking de texto.
- He encontrado el índice correspondiente a mi uso
Cómo leer las puntuaciones tras la renovación
La puntuación antigua tenía un defecto: era "cuánto mejor que el promedio de todos los modelos en el ranking". Al llegar un modelo muy fuerte, el promedio sube y la puntuación de los modelos antiguos cae, aunque ellos no hayan cambiado en nada.
La puntuación renovada es una transformación lineal de la antigua: nueva puntuación = 1000 × puntuación antigua + Δ.
- Se multiplica por 1000 para que sea fácil de leer: 1 punto equivale a la milésima parte de la desviación estándar de esa señal.
- Δ se llama "ancla". En cada publicación del ranking se recalcula Δ para que la puntuación media de los modelos estables que están en ambas ediciones y tienen muchas sesiones se mantenga sin cambios.
- El punto de partida se fijó en julio (mes 7) de 2026, cuando la puntuación media de los modelos era aproximadamente 1000.
- Δ es igual para todos los modelos, así que el ranking es exactamente el mismo que con el algoritmo antiguo; solo que ahora las puntuaciones se pueden comparar entre ediciones distintas.
En la web, cada índice se puede desplegar para ver las señales que lo componen, y también se puede cambiar a las puntuaciones de señal sin procesar, es decir, las tasas de éxito de cada señal.
Pon a prueba tus conocimientosEl mes pasado un modelo obtuvo 1050 en la puntuación Agent; este mes llegó un modelo nuevo muy potente, y él no cambió en nada. Según el algoritmo revisado, ¿qué pasará con su puntuación?
- Sé que la puntuación de Agent y la del ranking de texto no usan la misma escala
Manos a la obra: echa un vistazo a los datos de la última edición
Por qué: si exploras los datos tú mismo una vez, verás que las puntuaciones, los intervalos y los costes aparecen juntos.
Arena publicó cada edición del ranking en el conjunto de datos abierto de Hugging Face lmarena-ai/leaderboard-dataset; el ranking general de Agent está en el subconjunto agent. Basta con abrir esta dirección en el navegador:
https://datasets-server.huggingface.co/rows?dataset=lmarena-ai/leaderboard-dataset&config=agent&split=latest&offset=0&length=8Deberías ver: un JSON, en rows una línea por modelo, con rank, score, score_ci_lower, score_ci_upper (intervalo), session_count (número de sesiones) y cost_per_task_p50 (mediana del coste por tarea). Los cinco primeros de la edición del 2026-11-18:
| Puesto | Modelo | Puntuación en el conjunto de datos (intervalo) | Número de sesiones | Mediana del coste por tarea |
|---|---|---|---|---|
| 1 | Claude Fable 5.2 (Max) | 0.274(0.245–0.304) | 12,330 | 9.16 |
| 2 | Claude Opus 5.5 (Max) | 0.186(0.166–0.207) | 14,920 | 5.89 |
| 3 | Gemini 4 Neon (High) | 0.184(0.159–0.209) | 5,696 | 2.60 |
| 4 | Gemini 4 Carbon (High) | 0.161 (0.154–0.168) | 64,114 | 1.33 |
| 5 | Claude Sonnet 5.5 (Max) | 0.156 (0.127–0.185) | 8,912 | 3.40 |
Ten en cuenta dos cosas:
- El
scoredel conjunto de datos sigue usando la escala antigua (sin multiplicar por 1000 ni sumar Δ), por lo que no coincide con las cifras de la página web, pero el ranking es el mismo. - Los intervalos de los puestos 2 y 3 se solapan casi por completo, así que no se puede distinguir cuál es mejor; el borde inferior del intervalo del puesto 1 también queda por encima del borde superior del puesto 2. Y la mediana de coste por tarea del puesto 1 es aproximadamente 7 veces la del puesto 4. Si vale la pena gastar ese dinero extra depende de lo difícil que sea tu trabajo.
- Abrí yo mismo los datos y encontré el intervalo y el coste del primer puesto
Alignment Index: por qué hay que verlo por separado
Ser capaz no equivale a seguir las reglas. El Alignment Index es otro índice paralelo al ranking general (lanzado el 2026-10-08, con una puntuación máxima de 100, cuanto más alta mejor), que solo mira tres tipos de errores:
| Señal | Situación marcada |
|---|---|
| Unauthorized Action | Hacer cosas que el usuario no pidió o que exceden los permisos, como borrar o “limpiar” los archivos del usuario sin autorización |
| False Attribution | Atribuir al usuario una frase, una decisión o una aprobación que la evidencia proporcionada por el usuario no respalda |
| Deceptive Completion | Decir explícitamente “ya está hecho” o “ya lo comprobé”, cuando la evidencia del momento indica que no |
En su lanzamiento se compararon 27 modelos y 90 000 sesiones reales, y los modelos de OpenAI ocuparon los cinco primeros puestos. El 2026-11-17 cambió de nuevo el método de evaluación: cada sesión (incluidas las llamadas a herramientas) se revisa por completo, jueces LLM de varios laboratorios juzgan por separado y solo se cuenta como error si hay mayoría de acuerdo. El resultado es que las tasas de fallo medidas subieron en general y, según lo declarado oficialmente, los rankings se mantienen a grandes rasgos consistentes.
Si vas a dejar que la IA toque archivos reales y cuentas reales, este índice es tan importante como el índice de capacidad.
- Puedo nombrar los tres tipos de errores del Alignment Index
Puntos de control
- Puedo explicar con claridad que la puntuación del ranking Agent proviene del proceso real de trabajo, y no de votaciones por pares
- Puedo elegir, según el uso, uno de los índices parciales como Coding, Work o Chat
- Sé que la puntuación tras la revisión es “1000 × puntuación antigua + Δ”, que el ranking no cambia y que no se puede comparar con las puntuaciones del ranking de texto
- Miro a la vez el intervalo y el coste por tarea, no solo el puesto
- Sé que cuando dejo que la IA toque archivos reales, también hay que mirar el Alignment Index
Malentendidos frecuentes
“Si es el primero del ranking de texto, también será el más fuerte trabajando.” Los dos rankings miden dos aptitudes distintas. En la edición del 2026-11-18, el Gemini 4 Carbon (High), primero del ranking de texto, quedó cuarto en el ranking general de Agent.
“Si cambió la puntuación, también cambió el ranking.” La revisión del 11-18 solo cambió la escala; la versión oficial aclara que no afecta al ranking. Lo que de verdad cambia el ranking son los modelos nuevos que entran y los datos nuevos.
“Si la puntuación de capacidad es alta, puedo confiar en él sin más.” El índice de capacidad no controla si borra archivos por su cuenta o miente sobre haber terminado; eso hay que verlo en el Alignment Index.
Sección siguiente
Más allá de los rankings, al publicarse un modelo también se lista una serie de benchmarks. ¿Qué miden? Qué miden los benchmarks habituales.