Cómo elegir un modelo de gran tamaño
Primero la respuesta: los rankings sirven para reducir el abanico, tus propias tareas sirven para decidir y, al final, comprueba una vez más si lo que compraste es ese modelo y si el servicio es estable.
El número uno del ranking no te conviene necesariamente. Redactar contratos, modificar código, hacer atención al cliente: cada uno necesita cosas distintas; una diferencia de 10 puntos en la lista puede resultar imperceptible en tu tarea. A la inversa, el modelo que elegiste en tu evaluación, cuando lo llamas a través de una API intermediaria, puede que ya no sea él.
Este curso sigue estos tres pasos.
- 1Ver la tabla de clasificación
- 2Con tus propias preguntas
- 3Verificar si es original
Hay muchos modelos grandes disponibles. ¿Por cuál empezar? Pulsa “Siguiente”.
Qué tendrás en la mano al terminar
- Sabrás leer el ranking de LMArena: qué significan la puntuación, el intervalo de confianza y el control de estilo
- Cómo leer el ranking de Agent: elige el índice por categoría según el uso y luego mira el Alignment Index
- Sabrás qué miden los benchmarks MMLU-Pro, GPQA, SWE-bench y HLE, y cuál se relaciona con tu tarea
- Un conjunto de evaluación hecho con tus propias tareas y una tabla comparativa que permite ver si la diferencia es real
- Varios métodos para determinar si una API es auténtica, y qué puede y qué no puede detectar cada método
- Una lista de verificación para evaluar proveedores: con el mismo modelo, elegir uno rápido y estable
Las cuatro etapas de este curso
| Etapa | Lección | Qué problema resuelve |
|---|---|---|
| Mirar los rankings | Cómo leer el ranking de LMArena | De dónde salen las puntuaciones y las posiciones |
| Cuánto dura el número uno | Con qué rapidez cambia el líder | |
| ¿Ser primero en el ranking significa ser el mejor? | Qué sesgos conocidos tienen las listas | |
| Cómo leer el ranking de Agent | Qué índice mirar para elegir una IA que escriba código o ejecute tareas | |
| Mirar los benchmarks | Qué miden los benchmarks habituales | MMLU-Pro, GPQA, SWE-bench, HLE |
| Evaluar por tu cuenta | Crea tu propio conjunto de evaluación | Plantea preguntas con tus tareas reales |
| Usar IA para puntuar a la IA | Hasta qué punto es fiable el modelo juez | |
| Cuántos puntos de diferencia son una diferencia real | Añadir barras de error a las puntuaciones | |
| Verificar la autenticidad | ¿Pueden sustituir el modelo en tu API sin que lo sepas? | Cómo ocurre la sustitución |
| Cómo verificar si una API es auténtica | Los límites de capacidad de varios métodos de detección | |
| Con el mismo modelo, en qué se diferencian los proveedores | Cómo medir latencia, rendimiento y estabilidad | |
| Qué es la degradación de un modelo | Si se ha vuelto más tonto es real y cómo comprobarlo |
Qué hacer en esta etapa
- Piensa en una tarea concreta para la que quieras usar el modelo, por ejemplo, «convertir la grabación de una reunión en actas»
- Apunta los dos o tres modelos que usas ahora o que quieres probar
- Abre la siguiente lección y mira en qué posición están en el ranking
Qué preparar antes de empezar
No hace falta tener conocimientos de programación. En la tercera etapa, al hacer la evaluación, se usará un programa de hojas de cálculo; si quieres automatizar, puedes usar cualquier lenguaje de scripting, pero no es obligatorio.
Siguiente paso
Empieza aprendiendo a leer los rankings: Cómo leer el ranking de LMArena.