Skip to content

¿Ser el número uno significa necesariamente ser el mejor? ​

No necesariamente. Estar primero en la clasificación indica que este modelo fue el más elegido por los usuarios de Arena en las preguntas de Arena. Los investigadores han descubierto que en este resultado se mezclan varios factores que no tienen que ver con que "el modelo sea mejor en general". Se puede mirar la clasificación, pero aplicando un descuento.

Qué podrás hacer al terminar ​

  • Mencionar tres sesgos conocidos de las clasificaciones
  • Saber qué preguntas hacer cuando un modelo nuevo aparece de repente en el primer puesto

Sesgo uno: poder elegir el mejor resultado ​

El artículo de 2025 "The Leaderboard Illusion" (arXiv 2504.20879) descubrió que Arena permite pruebas privadas no publicadas. Unos pocos fabricantes pueden probar varias variantes antes del lanzamiento público, publicar solo la mejor y, si hace falta, retirar puntuaciones.

El ejemplo extremo que cita el artículo: antes del lanzamiento de Llama-4, Meta probó en privado 27 variantes.

¿Por qué esto infla la puntuación? Una analogía: un mismo estudiante hace un examen 27 veces y solo reporta la nota más alta. Cada examen tiene un componente de suerte, y la mejor de las veces suele superar el nivel real.

Pon a prueba tus conocimientosUn proveedor envió en privado 10 versiones casi idénticas y solo publicó la de mayor puntuación. ¿Qué pasa con la puntuación publicada?

  • Puedo explicar por qué "elegir el mejor resultado" infla la puntuación

Sesgo dos: algunos modelos reciben muchos más datos de enfrentamientos ​

El mismo artículo calculó qué modelos fueron seleccionados para enfrentarse más a menudo: los modelos cerrados fueron elegidos en mayor proporción y retirados con menos frecuencia. Se estima que Google y OpenAI recibieron respectivamente el 19.2% y el 20.4% de todos los datos de enfrentamientos, mientras que 83 modelos de pesos abiertos sumados apenas alcanzaron alrededor del 29.7%.

Los datos de enfrentamientos son valiosos: registran qué preguntaron los usuarios y qué tipo de respuestas prefirieron. Quien recibe más, conoce mejor los "gustos" de esta clasificación.

Sesgo tres: se puede entrenar específicamente para esta clasificación ​

El artículo también descubrió que entrenar con datos de Arena mejora notablemente la puntuación: una pequeña cantidad de datos adicionales puede aportar hasta un 112% de mejora relativa en ArenaHard. La conclusión de los autores es que estos factores producen un sobreajuste a la distribución específica de Arena, no una mejora de la calidad general del modelo.

Es decir, es posible que el modelo aprenda a "caerle bien a los usuarios de Arena", y no a hacer mejor tu trabajo.

  • Puedo explicar en qué consiste cada uno de los tres sesgos

Uno más: el estilo ​

Como se explicó en la lección anterior, las respuestas más largas y con formatos más vistosos son elegidas por más personas; el propio equipo de Arena lo confirmó, y por eso lanzó el control de estilo. En las clasificaciones sin control de estilo activado, esa bonificación sigue presente.

Cómo aplicar un descuento al mirar la clasificación ​

Cuando veaspregunta primero
Un modelo nuevo entra en la clasificación y es primero de inmediato¿Cuántos votos hay? ¿Qué tan ancho es el intervalo? ¿Sigue siendo primero con el control de estilo activado?
Dos modelos con puntuaciones cercanas¿Se solapan los intervalos?
Un modelo muy alto en la clasificación, pero mediocre para ti¿Se parecen tus tareas a las preguntas de Arena?

La forma más fiable es probarlo con tus propias tareas. Eso es lo que veremos en la tercera parada.

Punto de control ​

  • Probar en privado varias variantes y conservar solo el mejor resultado infla la puntuación
  • La distribución de datos de enfrentamientos es desigual: las grandes empresas de modelos cerrados reciben más
  • Entrenar con datos de Arena permite inflar la puntuación de Arena, pero no equivale a una mejora general

Malentendidos frecuentes ​

"Ya que hay sesgos, las clasificaciones no sirven de nada." No es así. Siguen siendo el resultado de pruebas ciegas masivas con personas reales, y son muy útiles para reducir el rango de candidatas. Solo que no hay que tomarse en serio la diferencia entre el puesto 1 y el 3.

"Si un modelo abierto está bajo en la clasificación, es que no sirve." Los números anteriores muestran que los modelos de pesos abiertos reciben muchos menos datos de enfrentamientos: el punto de partida ya es distinto.

Siguiente sección ​

¿Quieres elegir una IA que escriba código y ejecute tareas? También existe un ranking especializado: cómo leer el ranking de Agent para elegir una IA que trabaje.

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.