Crea tu propio conjunto de evaluación
Plantea preguntas basadas en lo que realmente vas a hacer, haz que cada modelo candidato responda una vez con la misma configuración y puntúa según criterios definidos de antemano. Esto se acerca más a tu experiencia real que cualquier ranking. Al terminar esta sección, tendrás una tabla: decenas de preguntas, varios modelos y una puntuación por celda.
Antes de empezar
- Una tarea concreta, por ejemplo «clasificar correos de clientes» o «convertir notas de reunión en actas»
- Dos o tres modelos candidatos, todos accesibles para su uso
- Un software de hojas de cálculo
Paso 1: elige preguntas de tu trabajo real
No inventes las preguntas tú mismo. Revisa tus registros de trabajo pasados y extrae entradas que hayan aparecido de verdad: correos de clientes, notas de reuniones, mensajes de error.
Al elegir preguntas, cubre tres tipos:
| Tipo | Proporción sugerida | Por qué |
|---|---|---|
| Comunes | La mayoría | Determinan la experiencia cotidiana |
| Difíciles, límite | Una parte | Marcan la diferencia entre modelos |
| Que antes fallaron | Unas pocas | Los fallos que más te importan |
Empieza con una cantidad de preguntas entre 30 y 50. La tercera lección explica por qué con muy pocas preguntas no se puede distinguir la diferencia.
Deberías obtener: una lista de preguntas, donde cada pregunta es una entrada real.
- He seleccionado al menos 30 preguntas reales
Paso 2: escribe de antemano con claridad «qué cuenta como correcto»
Primero escribe los criterios, luego mira las respuestas. Si defines los criterios después de ver las respuestas, te inclinarás sin darte cuenta por la que te gusta.
Elige el método de puntuación según el tipo de tarea:
| Tarea | Método de puntuación |
|---|---|
| Clasificación, extracción, con respuesta estándar | Comparar con la respuesta estándar: correcto es 1, incorrecto es 0 |
| Escribir código | Ejecutar pruebas: si pasan, es correcto |
| Redacción, resumen, respuesta abierta | Listar de 3 a 5 criterios de verificación, por ejemplo «no omite decisiones» o «no inventa cifras»; se obtiene un punto por cada criterio cumplido |
Pon a prueba tus conocimientosPrimero pides a dos modelos que redacten cada uno un resumen, al leerlos te parece mejor el A, y con eso defines los criterios de puntuación. ¿Cuál es el problema?
- Cada pregunta tiene criterios de corrección escritos de antemano
Paso 3: ejecuta cada modelo con la misma configuración
Cada modelo debe responder en las mismas condiciones; de lo contrario, lo que se compara no son los modelos:
- El mismo prompt y el mismo mensaje de sistema
- Los mismos parámetros como la temperatura
- Cada pregunta en una conversación nueva, para evitar que el contenido anterior influya en lo posterior
En tareas abiertas, puedes dejar que cada modelo responda la misma pregunta varias veces. El modelo responde de forma distinta cada vez; responder varias veces permite ver si es estable.
Deberías obtener: al menos una respuesta por pregunta y por modelo.
- Todos los modelos usan el mismo prompt y los mismos parámetros
Paso 4: evaluación a ciegas y registro en una tabla
Al puntuar, tapa el nombre del modelo y mira solo la respuesta. Puedes pedir a un colega que te desordene la secuencia.
Aspecto de la tabla:
| N.º de pregunta | Tipo | Modelo A | Modelo B | Modelo C |
|---|---|---|---|---|
| 1 | Común | 1 | 1 | 0 |
| 2 | Difícil | 0 | 1 | 0 |
| … | ||||
| Promedio |
Añade dos columnas más que te importen: cuánto costó cada pregunta y cuánto se esperó. El mejor modelo no siempre es el más rentable.
- Tengo una tabla de puntuaciones de preguntas × modelos
Puntos de control
- Las preguntas provienen del trabajo real e incluyen comunes, difíciles y otras que antes fallaron
- Los criterios de corrección se escribieron antes de ver las respuestas
- El prompt y los parámetros son exactamente iguales para cada modelo
- Al puntuar no se ve el nombre del modelo
¿No funcionó?
Las puntuaciones son casi iguales. Las preguntas son demasiado fáciles o muy pocas. Añade más preguntas difíciles y aumenta la cantidad hasta poder distinguir diferencias; véase cuántos puntos de diferencia cuentan como diferencia real.
Puntuar preguntas abiertas a mano es agotador. Primero puntúa unas diez a mano, luego prueba dejar que la IA ayude a puntuar; la siguiente sección explica sus trampas.
Siguiente sección
Puntuar preguntas abiertas a mano es muy pesado; ¿se puede dejar que la IA actúe como juez? Usa la IA para puntuar a la IA.