Skip to content

Usar IA para puntuar IA ​

Básicamente fiable, pero tiene varios sesgos fijos que hay que corregir antes de usarlo. El artículo de 2023 «Judging LLM-as-a-Judge» (arXiv 2306.05685) comparó jueces de IA con humanos: un modelo fuerte como GPT-4 actuando como juez alcanza una tasa de consistencia con las preferencias humanas superior al 80%, comparable a la consistencia entre humanos. Los datos provienen de 3 mil votos de expertos y 3 mil votos de crowdsourcing.

El mismo artículo también enumera sus defectos.

Qué podrás hacer al terminar ​

  • Nombrar los tres sesgos de un juez de IA
  • Añadir a tu evaluación las correcciones correspondientes

Sesgo uno: sesgo de posición ​

El juez prefiere la respuesta en cierta posición. Ejemplo del artículo: pedir a GPT-4 que compare las respuestas de GPT-3.5 y Vicuna-13B. Cuando la respuesta de GPT-3.5 se coloca primero, GPT-4 considera que es más detallada y mejor; al intercambiar las posiciones de las dos respuestas, el juicio cambia.

Corrección: comparar cada par de respuestas dos veces, intercambiando el orden la segunda vez. Solo cuenta si ambas conclusiones coinciden; si no, se registra como empate.

Pon a prueba tus conocimientosPides al juez comparar A y B: con A primero gana A, y tras intercambiarlos, con B primero gana B. ¿Cómo se registra?

  • Mi evaluación intercambia el orden y compara dos veces

Sesgo dos: sesgo de longitud ​

El juez prefiere respuestas más largas, aunque el contenido extra no sirva de nada. Es lo mismo que la preferencia de estilo en los votos humanos en Arena.

Corrección: indicar en los criterios de puntuación que «no se otorgan puntos por extensión»; o limitar en el prompt la longitud de las respuestas candidatas; al comparar, anotar también el número de palabras de cada lado y ver si la más larga siempre gana.

Sesgo tres: autopreferencia ​

El juez puede favorecer respuestas escritas por sí mismo o por modelos de la misma familia.

Corrección: no usar como juez ninguno de los modelos candidatos. Si no queda más remedio, usar dos jueces de familias distintas y comprobar si las conclusiones coinciden.

Una más: capacidad de razonamiento limitada ​

El artículo señala que los problemas que el juez no puede resolver por sí mismo tampoco puede juzgarlos bien, por ejemplo en matemáticas y razonamiento.

Corrección: para las preguntas con respuesta estándar, comparar directamente con la respuesta, sin usar juez de IA. Reservar el juez para preguntas abiertas como escritura o resúmenes.

  • Sé qué preguntas no debo entregarle a un juez de IA

Cómo integrarlo en tu evaluación ​

  1. Primero, puntuar a mano una decena de preguntas
  2. Hacer que el juez de IA puntúe las mismas preguntas con los mismos criterios
  3. Comparar los dos resultados; si la tasa de consistencia es suficientemente alta, dejar que el juez puntúe el resto de preguntas
  4. Al puntuar: intercambiar el orden y comparar dos veces, no usar modelos candidatos como juez, y no entregarle las preguntas con respuesta estándar

Puntos de control ​

  • Un modelo fuerte como juez supera el 80% de consistencia con los humanos
  • Tres sesgos: posición, longitud, autopreferencia
  • Correcciones: intercambiar el orden, no puntuar por extensión, cambiar a un juez de otra familia
  • Las preguntas con respuesta estándar se comparan directamente

Malentendidos comunes ​

«Si el juez da 9 puntos, la respuesta es muy buena.» Las puntuaciones absolutas se ven muy influidas por el prompt. Al comparar dos modelos, usar «comparación por pares de quién es mejor» es más estable que «dar a cada uno una puntuación».

«Una consistencia del 80% es muy alta, puede sustituir por completo a los humanos.» El 20% restante podría concentrarse justo en las preguntas difíciles que más te importan. Hacer una revisión manual por muestreo antes de usarlo.

Siguiente sección ​

Tras la puntuación, A promedia 82 puntos y B promedia 79 puntos. ¿Es A realmente mejor? Cuántos puntos de diferencia cuentan como diferencia real.

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.