Cómo leer la clasificación de LMArena
La puntuación de LMArena no es un resultado de examen: se calcula a partir de la fuerza relativa que emerge cuando muchas personas eligen a ciegas «qué respuesta es mejor». Por eso, al consultar la clasificación hay que mirar tres cosas: la puntuación, el margen de error de la puntuación y si este ranking ha descontado el bonus de «respuestas largas y formato vistoso».
Qué podrás hacer al terminar
- Explicar de dónde viene la puntuación de Arena
- Cuando dos modelos tienen puntuaciones cercanas, juzgar si en realidad no se puede distinguir cuál es mejor
- Saber por qué cambia el ranking cuando el «control de estilo» está activado o desactivado
De dónde viene la puntuación: comparación ciega por pares
Arena se llamaba originalmente Chatbot Arena y ahora se llama Arena (arena.ai). Su método es: introduces una pregunta, dos modelos anónimos dan cada uno una respuesta y tú votas por la mejor. Solo después de votar se revela quiénes eran.
Cuando se publicó el artículo, la plataforma ya había acumulado más de 240 mil votos. Los autores comprobaron que las preguntas obtenidas por crowdsourcing eran suficientemente diversas y que los resultados de las votaciones coincidían en gran medida con las valoraciones de expertos.
Con un gran volumen de registros de «quién ganó a quién», se usa un modelo estadístico (el artículo emplea el modelo Bradley-Terry) para convertirlos en una puntuación por cada modelo. La puntuación solo tiene significado relativo: dice que «este modelo, en esta población y en este tipo de preguntas, es elegido con más frecuencia que aquel».
Ahora Arena no solo tiene una clasificación de texto, sino también múltiples arenas como WebDev, Vision, Search, Document, texto a imagen, edición de imágenes, texto a video y más. Si quieres elegir un modelo para escribir código, ve a WebDev en lugar de la clasificación general; para elegir una IA que pueda ejecutar comandos por sí misma y terminar el trabajo, consulta la clasificación de Agent.
- Puedo decir de dónde proviene la puntuación de Arena
El rango junto a la puntuación importa más
Cada puntuación se estima a partir de un número limitado de votos, por lo que tiene un margen de error. Arena proporciona intervalos de confianza: en el conjunto de datos oficial, cada modelo tiene rating (puntuación), rating_lower y rating_upper (el límite inferior y superior del intervalo), además de vote_count (número de votos).
Juzga así:
| Situación | Cómo interpretarlo |
|---|---|
| Los intervalos de los dos modelos no se solapan | El mejor clasificado probablemente sí es más popular |
| Los intervalos de los dos modelos se solapan mucho | No se puede distinguir cuál es mejor; el orden del ranking puede ser solo cuestión de suerte |
| Un modelo nuevo con pocos votos | Suele tener intervalos más amplios y su ranking seguirá cambiando |
Los dos intervalos se solapan: no se puede distinguir cuál es más fuerte
Aproximadamente por modelo 1000 votos. La diferencia de puntuación es de solo 4 puntos,Los intervalos aún se superponen: el “1.º” y el “2.º” pueden ser pura suerte.
Pon a prueba tus conocimientosEl modelo A saca 1450, intervalo 1440–1460; el modelo B saca 1446, intervalo 1436–1456. ¿Cuál es más fuerte?
- Miro primero el intervalo y después el ranking
Control de estilo: separar «decirlo bonito» de «decirlo bien»
Al votar, las personas se ven influidas por el aspecto de la respuesta: las respuestas más largas, con títulos y listas, se eligen con más facilidad. El equipo de Arena investigó esto específicamente en su blog del día 28 del mes 8 de 2024: al controlar el efecto de la longitud de la respuesta y del formato Markdown, el ranking cambió de forma notable. Sus palabras exactas: «Style indeed has a strong effect on models’ performance in the leaderboard» (el estilo, en efecto, influye mucho en el desempeño de los modelos en la clasificación).
El objetivo del control de estilo es separar la influencia del estilo de la del contenido. Al activarlo, lo que ves se acerca más a «qué tan bueno es el contenido en sí»; al desactivarlo, ves «a quién prefieren de hecho los usuarios comunes». Ambos son útiles, según lo que busques:
- Si vas a mostrar las respuestas directamente a los usuarios, por ejemplo en atención al cliente o asistentes de escritura: mira ambas clasificaciones; la que tiene el control de estilo desactivado se acerca más a la percepción real
- Si quieres que el modelo dé contenido preciso y luego tú haces el formato: prioriza el ranking con control de estilo
Pon a prueba tus conocimientosCreas una herramienta interna donde la salida del modelo se analiza programáticamente en una tabla; el formato no importa. ¿Qué ranking te merece más confianza?
- Sé qué tipo de ranking debo consultar
Puntos de control
- La puntuación de Arena proviene de votos en comparaciones anónimas por pares, convertidos luego mediante un modelo estadístico
- Mira primero si los intervalos de confianza se solapan y después el orden del ranking
- Para elegir un modelo especializado, consulta la arena correspondiente
- El control de estilo cambia el ranking: elige según tu uso
Malentendidos frecuentes
«10 puntos más de puntuación significa ser un 10% mejor.» La puntuación es una escala de fuerza relativa, no un porcentaje, y no se puede convertir directamente en «cuánto mejor será en tu tarea».
«Hay una gran diferencia entre el puesto 1 y el 2.» Cuando los intervalos se solapan, el puesto 1 y el 2 quizá ni siquiera se puedan distinguir. El ranking corta a la fuerza una puntuación continua en enteros, lo que amplifica las diferencias pequeñas.
«El primero de la clasificación general también es el mejor programando.» La clasificación general mezcla todo tipo de preguntas. Consulta la arena o la categoría correspondiente a tu tarea.
Siguiente sección
El líder cambia con frecuencia. ¿Qué tan rápido? En la siguiente sección se calcula con los datos históricos oficiales: cuánto dura el número uno.