Skip to content

Cuántos puntos de diferencia hacen que sea una diferencia real ​

Depende de cuántas preguntas haya. Con 100 preguntas y una tasa de acierto de alrededor del 80%, la propia puntuación ya fluctúa aproximadamente más o menos 8 puntos porcentuales. Si A saca 82 y B saca 79, es muy probable que esos 3 puntos sean solo suerte.

El artículo de Anthropic de 2024, «Adding Error Bars to Evals» (arXiv 2411.00640), trata precisamente de esto: una evaluación es en realidad un experimento. Tus preguntas son solo una pequeña muestra extraída de «todas las preguntas posibles»; si cambias el conjunto de preguntas, la puntuación cambia.

Qué podrás hacer al terminar ​

  • Calcular con una fórmula el margen de error de las puntuaciones de tu propia evaluación
  • Determinar si la diferencia entre dos modelos es real
  • Saber cómo obtener conclusiones más fiables con menos preguntas

El viejo vicio del sector ​

El artículo señala que la costumbre del sector es «la puntuación más alta es la mejor», poniendo en negrita la puntuación más alta sin comprobar si la diferencia es significativa. Chatbot Arena popularizó los intervalos de confianza, pero en las evaluaciones tradicionales de preguntas y respuestas las barras de error brillan por su ausencia.

No cometas este error en tus propias evaluaciones.

Paso 1: calcular el margen de error ​

Para la puntuación media p de preguntas de acierto o fallo (cada pregunta vale 0 o 1), el error estándar es:

Error estándar = √( p × (1 − p) ÷ n )
Margen de error del 95% ≈ más o menos 1.96 × error estándar

n es el número de preguntas. Calculando con una tasa de acierto del 80%:

Número de preguntasError estándarMargen de error del 95%
505.7 puntos porcentualesaprox. ±11
1004.0 puntos porcentualesaprox. ±8
4002.0 puntos porcentualesaprox. ±4
10001.3 puntos porcentualesaprox. ±2.5

Solo multiplicando por 4 el número de preguntas se reduce el margen de error a la mitad.

ArrastraCuántos puntos de diferencia hacen que sea realCálculo en tiempo real según la fórmula de la lección

No se puede distinguir cuál es mejor

差 4 puntos porcentuales;50 preguntas, el margen de error de la diferencia entre los dos modelos es de aproximadamente ±16.2。 La diferencia está dentro del margen de error: con otro lote de preguntas, el orden podría invertirse.

Pruébalo: deja 80% y 76% fijos y solo arrastra el número de preguntas de 50 a 1000.

Pon a prueba tus conocimientosProbaste dos modelos con 50 preguntas: A tiene 80% de aciertos, B 76%. ¿Se puede decir que A es mejor?

  • He calculado el margen de error de mi propia evaluación

Paso 2: reducir el error con comparación por pares ​

La fórmula anterior trata los dos modelos como si cada uno hiciera su propio examen. Pero en tu evaluación, los dos modelos responden al mismo conjunto de preguntas. En ese caso se puede comparar pregunta por pregunta: para cada pregunta se calcula una vez «puntuación de A menos puntuación de B».

El artículo trata específicamente el análisis por pares: la dificultad de cada pregunta afecta a ambos modelos a la vez, y restar pregunta por pregunta cancela esa parte, por lo que el error suele ser menor que calculándolos por separado.

Cómo hacerlo: añade a la tabla de evaluación una columna «A − B», donde cada pregunta vale 1, 0 o −1, y observa la media de esa columna y su error.

  • Mi tabla de evaluación tiene la columna de diferencias por pregunta

Paso 3: responder varias veces las preguntas abiertas ​

El modelo responde de forma distinta cada vez, y esta es también una fuente de fluctuación. Entre los métodos para reducir la varianza que enumera el artículo está el muestreo repetido de la misma pregunta y promediar los resultados.

En las preguntas abiertas, haz que cada modelo responda unas 3 veces por pregunta y tome la puntuación media; es más estable que responder una sola vez.

Paso 4: atención a las preguntas agrupadas ​

Si tus preguntas están agrupadas, por ejemplo 5 preguntas sobre un mismo artículo, los aciertos y fallos de esas 5 preguntas suelen variar juntos. El artículo llama a esto «preguntas agrupadas» (clustered), y en ese caso el error real es mayor que el calculado con la fórmula anterior.

Tratamiento sencillo: considera cada grupo como una sola pregunta grande y estima el error según el número de grupos, no de preguntas.

Puntos de control ​

  • Margen de error ≈ ±1.96 × √(p(1−p)/n)
  • Con 100 preguntas, unos ±8 puntos porcentuales; una diferencia de pocos puntos no dice nada
  • Con el mismo conjunto de preguntas, usa comparación por pares: el error es menor
  • Muestreo repetido en preguntas abiertas, y preguntas agrupadas calculadas por grupos

Malentendidos frecuentes ​

«Mi evaluación tiene pocas preguntas, pero están cuidadosamente seleccionadas, así que es fiable.» La selección cuidadosa hace que las preguntas se ajusten más a la tarea, pero no reduce la fluctuación aleatoria. Con pocas preguntas, el error es grande.

«Una diferencia de 1 punto en la clasificación también es significativa.» Primero mira si indica el margen de error. Arena da intervalos de confianza; muchas tablas de benchmarks no los dan.

Sección siguiente ​

Ya elegido el modelo, ¿cómo confirmar que la API a la que llamas es realmente ese modelo? ¿Puede la API cambiar el modelo sin que te enteres?.

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.