Skip to content

Para elegir una IA que trabaje, cómo leer el ranking de Agent ​

Xiao Zhou quería encontrar una IA que le ayudara a modificar código, ejecutar scripts y organizar un montón de archivos. Abrió el ranking de texto y eligió al número uno. Resultó que al conversar respondía con todo sentido, pero en cuanto había que poner manos a la obra, necesitaba que él la corrigiera una y otra vez.

El problema fue que miró el ranking equivocado. El ranking de texto compara "qué respuesta resulta más agradable", mientras que él buscaba "cuál puede terminar el trabajo". Arena tiene un ranking específico para esto último: el ranking de Agent. Adivina primero:

Pon a prueba tus conocimientosEn la edición del 2026-11-18, el número uno del ranking de texto, Gemini 4 Carbon (High), ¿en qué puesto está en el ranking general de Agent?

El ranking de Agent no se basa en votos, sino que observa si el trabajo se terminó, cuántas correcciones hizo falta y si los comandos daban errores, cuando usuarios reales encargan tareas a la IA. El 2026-11-18 se renovó: el ranking general pasó a llamarse Agent Arena Index, se añadieron seis índices parciales y las puntuaciones cambiaron a otra escala.

Qué podrás hacer al terminar ​

  • Explicar la diferencia fundamental en la forma de puntuar entre el ranking de Agent y el de texto
  • Elegir el índice parcial que debes mirar según tu uso
  • Leer las puntuaciones ancladas tras la renovación y saber por qué hay que mirar también el Alignment Index

En qué se diferencia del ranking de texto ​

Ya conoces el método del ranking de texto: dos modelos anónimos responden cada uno una vez y los usuarios votan. El ranking de Agent (lanzado el 2026-06-04) es completamente distinto:

  • No hay votaciones por pares. Los usuarios hacen trabajo real en el Agent Mode de arena.ai/agent, como escribir software o hacer análisis financieros. Cada sesión se asigna aleatoriamente a un modelo.
  • Mira señales del proceso. Si el usuario dijo "completado", si elogió o se quejó, cuántas correcciones hizo, si los comandos que ejecutó el modelo dieron error: todo esto queda registrado.
  • Como los modelos se asignan aleatoriamente, oficialmente se calcula como un experimento controlado aleatorio, llamado "rastreo causal" (causal tracing), que calcula la "mejora neta" que aporta cada modelo.

Por eso, las puntuaciones de los dos rankings no se pueden comparar entre sí en absoluto. Ser primero en el ranking de texto significa "la respuesta más veces elegida"; ser primero en el ranking de Agent significa "el mejor desempeño global al trabajar".

  • Puedo explicar que la puntuación del ranking de Agent no proviene de votos

Qué mide cada una de las cuatro señales de capacidad ​

El Agent Arena Index se obtiene promediando cuatro señales:

SeñalCómo se mideUna puntuación alta indica
Task Completion (antes Confirmed Success)Al final de cada ronda, una ventana emergente pregunta al usuario "Did this complete your task?"; se calcula la proporción de respuestas "yes"El usuario confirma que el trabajo quedó terminado
Praise vs ComplaintSe marcan por separado los elogios y las quejas de los usuarios; en una tarea, si hay más elogios que quejas cuenta como éxitoUsuarios más satisfechos
SteerabilityMira cuántas correcciones necesita el usuario; si tras una corrección va bien cuenta como "bajo", si hace falta otra más cuenta como "alto"No tienes que reconducirlo una y otra vez
Bash Reliability (antes Bash Recovery)En cada llamada a un comando, los errores causados por el propio modelo (por ejemplo, parámetros mal escritos o bugs en scripts que él mismo escribió) cuentan como fallo; cosas como cortes de red no cuentanLos comandos rara vez fallan

Con la renovación también se retiró una señal: Tool Hallucination (invocar herramientas que no existen), porque los modelos de vanguardia ya cometen poco este error.

  • Puedo explicar qué significa un Steerability alto

Elegir el índice parcial según tu uso ​

Además del ranking general, la renovación añadió seis índices parciales. Busca según tu uso:

Buscar¿Para qué quiero usar la IA y qué índice debo consultar?

Toca uno para ver.

Los modelos nuevos suelen aparecer primero en el ranking de Agent. Por ejemplo, GPT-6.2 Astra (Max) y GPT-6.2 Sol (Max) entraron en el Agent Arena Index el 11-18 y en el Coding Index el 11-19, y a fecha de 11-19 aún no estaban en el ranking de texto.

  • He encontrado el índice correspondiente a mi uso

Cómo leer las puntuaciones tras la renovación ​

La puntuación antigua tenía un defecto: era "cuánto mejor que el promedio de todos los modelos en el ranking". Al llegar un modelo muy fuerte, el promedio sube y la puntuación de los modelos antiguos cae, aunque ellos no hayan cambiado en nada.

La puntuación renovada es una transformación lineal de la antigua: nueva puntuación = 1000 × puntuación antigua + Δ.

  • Se multiplica por 1000 para que sea fácil de leer: 1 punto equivale a la milésima parte de la desviación estándar de esa señal.
  • Δ se llama "ancla". En cada publicación del ranking se recalcula Δ para que la puntuación media de los modelos estables que están en ambas ediciones y tienen muchas sesiones se mantenga sin cambios.
  • El punto de partida se fijó en julio (mes 7) de 2026, cuando la puntuación media de los modelos era aproximadamente 1000.
  • Δ es igual para todos los modelos, así que el ranking es exactamente el mismo que con el algoritmo antiguo; solo que ahora las puntuaciones se pueden comparar entre ediciones distintas.

En la web, cada índice se puede desplegar para ver las señales que lo componen, y también se puede cambiar a las puntuaciones de señal sin procesar, es decir, las tasas de éxito de cada señal.

Pon a prueba tus conocimientosEl mes pasado un modelo obtuvo 1050 en la puntuación Agent; este mes llegó un modelo nuevo muy potente, y él no cambió en nada. Según el algoritmo revisado, ¿qué pasará con su puntuación?

  • Sé que la puntuación de Agent y la del ranking de texto no usan la misma escala

Manos a la obra: echa un vistazo a los datos de la última edición ​

Por qué: si exploras los datos tú mismo una vez, verás que las puntuaciones, los intervalos y los costes aparecen juntos.

Arena publicó cada edición del ranking en el conjunto de datos abierto de Hugging Face lmarena-ai/leaderboard-dataset; el ranking general de Agent está en el subconjunto agent. Basta con abrir esta dirección en el navegador:

text
https://datasets-server.huggingface.co/rows?dataset=lmarena-ai/leaderboard-dataset&config=agent&split=latest&offset=0&length=8

Deberías ver: un JSON, en rows una línea por modelo, con rank, score, score_ci_lower, score_ci_upper (intervalo), session_count (número de sesiones) y cost_per_task_p50 (mediana del coste por tarea). Los cinco primeros de la edición del 2026-11-18:

PuestoModeloPuntuación en el conjunto de datos (intervalo)Número de sesionesMediana del coste por tarea
1Claude Fable 5.2 (Max)0.274(0.245–0.304)12,3309.16
2Claude Opus 5.5 (Max)0.186(0.166–0.207)14,9205.89
3Gemini 4 Neon (High)0.184(0.159–0.209)5,6962.60
4Gemini 4 Carbon (High)0.161 (0.154–0.168)64,1141.33
5Claude Sonnet 5.5 (Max)0.156 (0.127–0.185)8,9123.40

Ten en cuenta dos cosas:

  1. El score del conjunto de datos sigue usando la escala antigua (sin multiplicar por 1000 ni sumar Δ), por lo que no coincide con las cifras de la página web, pero el ranking es el mismo.
  2. Los intervalos de los puestos 2 y 3 se solapan casi por completo, así que no se puede distinguir cuál es mejor; el borde inferior del intervalo del puesto 1 también queda por encima del borde superior del puesto 2. Y la mediana de coste por tarea del puesto 1 es aproximadamente 7 veces la del puesto 4. Si vale la pena gastar ese dinero extra depende de lo difícil que sea tu trabajo.
  • Abrí yo mismo los datos y encontré el intervalo y el coste del primer puesto

Alignment Index: por qué hay que verlo por separado ​

Ser capaz no equivale a seguir las reglas. El Alignment Index es otro índice paralelo al ranking general (lanzado el 2026-10-08, con una puntuación máxima de 100, cuanto más alta mejor), que solo mira tres tipos de errores:

SeñalSituación marcada
Unauthorized ActionHacer cosas que el usuario no pidió o que exceden los permisos, como borrar o “limpiar” los archivos del usuario sin autorización
False AttributionAtribuir al usuario una frase, una decisión o una aprobación que la evidencia proporcionada por el usuario no respalda
Deceptive CompletionDecir explícitamente “ya está hecho” o “ya lo comprobé”, cuando la evidencia del momento indica que no

En su lanzamiento se compararon 27 modelos y 90 000 sesiones reales, y los modelos de OpenAI ocuparon los cinco primeros puestos. El 2026-11-17 cambió de nuevo el método de evaluación: cada sesión (incluidas las llamadas a herramientas) se revisa por completo, jueces LLM de varios laboratorios juzgan por separado y solo se cuenta como error si hay mayoría de acuerdo. El resultado es que las tasas de fallo medidas subieron en general y, según lo declarado oficialmente, los rankings se mantienen a grandes rasgos consistentes.

Si vas a dejar que la IA toque archivos reales y cuentas reales, este índice es tan importante como el índice de capacidad.

  • Puedo nombrar los tres tipos de errores del Alignment Index

Puntos de control ​

  • Puedo explicar con claridad que la puntuación del ranking Agent proviene del proceso real de trabajo, y no de votaciones por pares
  • Puedo elegir, según el uso, uno de los índices parciales como Coding, Work o Chat
  • Sé que la puntuación tras la revisión es “1000 × puntuación antigua + Δ”, que el ranking no cambia y que no se puede comparar con las puntuaciones del ranking de texto
  • Miro a la vez el intervalo y el coste por tarea, no solo el puesto
  • Sé que cuando dejo que la IA toque archivos reales, también hay que mirar el Alignment Index

Malentendidos frecuentes ​

“Si es el primero del ranking de texto, también será el más fuerte trabajando.” Los dos rankings miden dos aptitudes distintas. En la edición del 2026-11-18, el Gemini 4 Carbon (High), primero del ranking de texto, quedó cuarto en el ranking general de Agent.

“Si cambió la puntuación, también cambió el ranking.” La revisión del 11-18 solo cambió la escala; la versión oficial aclara que no afecta al ranking. Lo que de verdad cambia el ranking son los modelos nuevos que entran y los datos nuevos.

“Si la puntuación de capacidad es alta, puedo confiar en él sin más.” El índice de capacidad no controla si borra archivos por su cuenta o miente sobre haber terminado; eso hay que verlo en el Alignment Index.

Sección siguiente ​

Más allá de los rankings, al publicarse un modelo también se lista una serie de benchmarks. ¿Qué miden? Qué miden los benchmarks habituales.

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.