Skip to content

Crea tu propio conjunto de evaluación ​

Plantea preguntas basadas en lo que realmente vas a hacer, haz que cada modelo candidato responda una vez con la misma configuración y puntúa según criterios definidos de antemano. Esto se acerca más a tu experiencia real que cualquier ranking. Al terminar esta sección, tendrás una tabla: decenas de preguntas, varios modelos y una puntuación por celda.

Antes de empezar ​

  • Una tarea concreta, por ejemplo «clasificar correos de clientes» o «convertir notas de reunión en actas»
  • Dos o tres modelos candidatos, todos accesibles para su uso
  • Un software de hojas de cálculo

Paso 1: elige preguntas de tu trabajo real ​

No inventes las preguntas tú mismo. Revisa tus registros de trabajo pasados y extrae entradas que hayan aparecido de verdad: correos de clientes, notas de reuniones, mensajes de error.

Al elegir preguntas, cubre tres tipos:

TipoProporción sugeridaPor qué
ComunesLa mayoríaDeterminan la experiencia cotidiana
Difíciles, límiteUna parteMarcan la diferencia entre modelos
Que antes fallaronUnas pocasLos fallos que más te importan

Empieza con una cantidad de preguntas entre 30 y 50. La tercera lección explica por qué con muy pocas preguntas no se puede distinguir la diferencia.

Deberías obtener: una lista de preguntas, donde cada pregunta es una entrada real.

  • He seleccionado al menos 30 preguntas reales

Paso 2: escribe de antemano con claridad «qué cuenta como correcto» ​

Primero escribe los criterios, luego mira las respuestas. Si defines los criterios después de ver las respuestas, te inclinarás sin darte cuenta por la que te gusta.

Elige el método de puntuación según el tipo de tarea:

TareaMétodo de puntuación
Clasificación, extracción, con respuesta estándarComparar con la respuesta estándar: correcto es 1, incorrecto es 0
Escribir códigoEjecutar pruebas: si pasan, es correcto
Redacción, resumen, respuesta abiertaListar de 3 a 5 criterios de verificación, por ejemplo «no omite decisiones» o «no inventa cifras»; se obtiene un punto por cada criterio cumplido

Pon a prueba tus conocimientosPrimero pides a dos modelos que redacten cada uno un resumen, al leerlos te parece mejor el A, y con eso defines los criterios de puntuación. ¿Cuál es el problema?

  • Cada pregunta tiene criterios de corrección escritos de antemano

Paso 3: ejecuta cada modelo con la misma configuración ​

Cada modelo debe responder en las mismas condiciones; de lo contrario, lo que se compara no son los modelos:

  • El mismo prompt y el mismo mensaje de sistema
  • Los mismos parámetros como la temperatura
  • Cada pregunta en una conversación nueva, para evitar que el contenido anterior influya en lo posterior

En tareas abiertas, puedes dejar que cada modelo responda la misma pregunta varias veces. El modelo responde de forma distinta cada vez; responder varias veces permite ver si es estable.

Deberías obtener: al menos una respuesta por pregunta y por modelo.

  • Todos los modelos usan el mismo prompt y los mismos parámetros

Paso 4: evaluación a ciegas y registro en una tabla ​

Al puntuar, tapa el nombre del modelo y mira solo la respuesta. Puedes pedir a un colega que te desordene la secuencia.

Aspecto de la tabla:

N.º de preguntaTipoModelo AModelo BModelo C
1Común110
2Difícil010
…
Promedio

Añade dos columnas más que te importen: cuánto costó cada pregunta y cuánto se esperó. El mejor modelo no siempre es el más rentable.

  • Tengo una tabla de puntuaciones de preguntas × modelos

Puntos de control ​

  • Las preguntas provienen del trabajo real e incluyen comunes, difíciles y otras que antes fallaron
  • Los criterios de corrección se escribieron antes de ver las respuestas
  • El prompt y los parámetros son exactamente iguales para cada modelo
  • Al puntuar no se ve el nombre del modelo

¿No funcionó? ​

Las puntuaciones son casi iguales. Las preguntas son demasiado fáciles o muy pocas. Añade más preguntas difíciles y aumenta la cantidad hasta poder distinguir diferencias; véase cuántos puntos de diferencia cuentan como diferencia real.

Puntuar preguntas abiertas a mano es agotador. Primero puntúa unas diez a mano, luego prueba dejar que la IA ayude a puntuar; la siguiente sección explica sus trampas.

Siguiente sección ​

Puntuar preguntas abiertas a mano es muy pesado; ¿se puede dejar que la IA actúe como juez? Usa la IA para puntuar a la IA.

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.