Skip to content

Cómo elegir un modelo de gran tamaño ​

Primero la respuesta: los rankings sirven para reducir el abanico, tus propias tareas sirven para decidir y, al final, comprueba una vez más si lo que compraste es ese modelo y si el servicio es estable.

El número uno del ranking no te conviene necesariamente. Redactar contratos, modificar código, hacer atención al cliente: cada uno necesita cosas distintas; una diferencia de 10 puntos en la lista puede resultar imperceptible en tu tarea. A la inversa, el modelo que elegiste en tu evaluación, cuando lo llamas a través de una API intermediaria, puede que ya no sea él.

Este curso sigue estos tres pasos.

Toca un pocoTres pasos para elegir un modeloIlustrativo: modelos y puntuaciones son de demostración
  1. 1Ver la tabla de clasificación
  2. 2Con tus propias preguntas
  3. 3Verificar si es original
Modelo A
Modelo B
Modelo C
Modelo D
Modelo E
Modelo F
Modelo G
Modelo H
Modelo I
Modelo J
Modelo K
Modelo L

Hay muchos modelos grandes disponibles. ¿Por cuál empezar? Pulsa “Siguiente”.

Qué tendrás en la mano al terminar ​

  • Sabrás leer el ranking de LMArena: qué significan la puntuación, el intervalo de confianza y el control de estilo
  • Cómo leer el ranking de Agent: elige el índice por categoría según el uso y luego mira el Alignment Index
  • Sabrás qué miden los benchmarks MMLU-Pro, GPQA, SWE-bench y HLE, y cuál se relaciona con tu tarea
  • Un conjunto de evaluación hecho con tus propias tareas y una tabla comparativa que permite ver si la diferencia es real
  • Varios métodos para determinar si una API es auténtica, y qué puede y qué no puede detectar cada método
  • Una lista de verificación para evaluar proveedores: con el mismo modelo, elegir uno rápido y estable

Las cuatro etapas de este curso ​

EtapaLecciónQué problema resuelve
Mirar los rankingsCómo leer el ranking de LMArenaDe dónde salen las puntuaciones y las posiciones
Cuánto dura el número unoCon qué rapidez cambia el líder
¿Ser primero en el ranking significa ser el mejor?Qué sesgos conocidos tienen las listas
Cómo leer el ranking de AgentQué índice mirar para elegir una IA que escriba código o ejecute tareas
Mirar los benchmarksQué miden los benchmarks habitualesMMLU-Pro, GPQA, SWE-bench, HLE
Evaluar por tu cuentaCrea tu propio conjunto de evaluaciónPlantea preguntas con tus tareas reales
Usar IA para puntuar a la IAHasta qué punto es fiable el modelo juez
Cuántos puntos de diferencia son una diferencia realAñadir barras de error a las puntuaciones
Verificar la autenticidad¿Pueden sustituir el modelo en tu API sin que lo sepas?Cómo ocurre la sustitución
Cómo verificar si una API es auténticaLos límites de capacidad de varios métodos de detección
Con el mismo modelo, en qué se diferencian los proveedoresCómo medir latencia, rendimiento y estabilidad
Qué es la degradación de un modeloSi se ha vuelto más tonto es real y cómo comprobarlo

Qué hacer en esta etapa ​

  • Piensa en una tarea concreta para la que quieras usar el modelo, por ejemplo, «convertir la grabación de una reunión en actas»
  • Apunta los dos o tres modelos que usas ahora o que quieres probar
  • Abre la siguiente lección y mira en qué posición están en el ranking

Qué preparar antes de empezar ​

No hace falta tener conocimientos de programación. En la tercera etapa, al hacer la evaluación, se usará un programa de hojas de cálculo; si quieres automatizar, puedes usar cualquier lenguaje de scripting, pero no es obligatorio.

Siguiente paso ​

Empieza aprendiendo a leer los rankings: Cómo leer el ranking de LMArena.

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.