Skip to content

Qué es la degradación de los modelos ​

A veces es real, a veces no. Que "se vuelva más tonto con el uso" puede deberse a cuatro causas: un bug en el servicio oficial; un cambio de comportamiento tras una actualización del modelo; que el intermediario haya cambiado de modelo; o simplemente una fluctuación aleatoria normal. Las tres primeras tienen casos reales documentados públicamente. Solo hay una manera de distinguirlas: reevaluar periódicamente con preguntas fijas y hablar con números.

Qué podrás hacer al terminar ​

  • Mencionar las cuatro causas comunes de la "degradación" y dar un ejemplo real de cada una
  • Reevaluar periódicamente con tu propio conjunto de evaluación y determinar si de verdad ha empeorado
  • Cuando ocurra una degradación, dejar evidencia que ayude a investigar la causa

Causa uno: el servicio oficial tuvo un bug ​

El 17 de 9 (septiembre) de 2025, Anthropic publicó un análisis retrospectivo de un incidente: entre 8 (agosto) y principios de 9 (septiembre) de 2025, tres bugs de infraestructura degradaron intermitentemente la calidad de las respuestas de Claude.

bugQué ocurrióImpacto
Error de enrutamiento de contextoParte de las peticiones de Sonnet 4 se enviaron a servidores configurados para un contexto de 1000.000 tokens (un millón)Al principio, el 0.8% de las peticiones; en la peor hora del 31 de 8 (agosto) llegó al 16%; aproximadamente el 30% de los usuarios de Claude Code tuvo al menos un mensaje afectado
Salida corruptaUna mala configuración del servidor daba ocasionalmente alta probabilidad a caracteres que no debían aparecerAparecían caracteres tailandeses o chinos en respuestas en inglés y errores de sintaxis evidentes en el código
Error del compiladorUn código para mejorar la selección de palabras activó un bug latente del compiladorEl mismo prompt funcionaba bien una vez y fallaba la siguiente

Varios detalles que vale la pena recordar:

  • Al principio no se distinguía. Desde principios de 8 (agosto) hubo usuarios que reportaron respuestas peores, pero la empresa dijo que al principio era difícil separar esos informes de las fluctuaciones normales de feedback, y solo a finales de 8 (agosto), cuando los reportes aumentaron, comenzó a investigar
  • Algunos tuvieron mala suerte todo el tiempo, otros fueron totalmente normales. El enrutamiento era "pegajoso": si una petición llegaba al servidor equivocado, las siguientes peticiones de la misma conversación muy probablemente iban también allí. Por eso algunos usuarios lo encontraban repetidamente y otros nunca, y los informes se contradecían entre sí
  • Las evaluaciones rutinarias no lo detectaron. Los benchmarks habituales y las comprobaciones aleatorias no capturaron esta degradación, en parte porque el modelo a menudo se recuperaba por sí mismo de errores puntuales

Anthropic dice explícitamente en el texto: nunca degradan la calidad del modelo por demanda, franja horaria o carga del servidor; el problema de esta vez provino por completo de bugs de infraestructura.

Pon a prueba tus conocimientosTe parece que el modelo se volvió más tonto, pero tu colega dice que todo está normal. Según el caso anterior, ¿qué indica esto?

  • Sé que un bug del lado del servidor puede afectar solo a una parte de las personas

Causa dos: actualización del modelo, cambio de comportamiento ​

Los investigadores Lingjiao Chen, Matei Zaharia y James Zou compararon dos versiones de GPT-3.5 y GPT-4, de 3 (marzo) y 6 (junio) de 2023 (artículo arXiv 2307.09009):

  • GPT-4: al determinar si un número es primo, la tasa de acierto bajó del 84% al 51%. En parte porque se volvió menos dispuesto a seguir el prompt de "pensar paso a paso"
  • En la misma tarea, GPT-3.5 en 6 (junio) fue notablemente mejor
  • GPT-4 en 6 (junio) se mostró menos dispuesto a responder preguntas sensibles, pero mejoró en problemas de razonamiento multihop
  • Ambos modelos cometieron más errores de formato al escribir código
  • La capacidad de GPT-4 para seguir instrucciones disminuyó con el tiempo

La conclusión del artículo: el comportamiento de un servicio de modelo "idéntico" puede cambiar mucho en poco tiempo, por lo que se necesita monitoreo continuo. Nótese que no todo fue a peor: algunas tareas mejoraron y otras empeoraron. Lo que te debe importar es en cuál de los dos casos quedó tu propia tarea.

  • Sé que una actualización del modelo puede mejorar unas tareas y empeorar otras

Causa tres: el intermediario cambió de modelo ​

Como se explicó en la primera lección, los investigadores documentaron que los intermediarios baratos "aguan" el servicio: sustituyen el modelo anunciado por una versión antigua o más barata. El artículo de la investigadora Zilan Qian señala que esto suele descubrirse solo en tareas complejas, y la forma en que los usuarios lo describen es "degradación".

Si usas el modelo mediante una API intermediaria y solo experimentas degradación ahí, sospecha primero de esta causa.

Causa cuatro: es solo fluctuación aleatoria ​

Las respuestas del modelo ya varían de una vez a otra. Lo que recuerdas suele ser las últimas respuestas especialmente malas. El análisis retrospectivo de Anthropic también dice que los primeros reportes eran difíciles de separar de las fluctuaciones normales.

El método para determinarlo se explicó en cuántos puntos de diferencia cuentan como un empeoramiento real: si la diferencia cae dentro del margen de error, no se puede afirmar que haya empeorado.

Autodiagnóstico: ¿de verdad se ha vuelto más tonto? ​

Paso 1: prepara un conjunto fijo de preguntas de reevaluación ​

Elige una parte de tu conjunto de evaluación y úsala siempre la misma en adelante, sin cambiar preguntas, prompts ni parámetros. Cuantas más preguntas, mejor se apreciarán los cambios pequeños.

Deberías obtener: un conjunto invariable de preguntas y configuraciones.

  • Tengo un conjunto fijo de preguntas de reevaluación

Paso 2: ejecuta periódicamente y anota la fecha ​

Ejecútalo cada cierto tiempo y anota la fecha, el nombre del modelo, el canal de acceso (oficial o intermediario) y la puntuación. Si el proveedor ofrece números de versión fijos con fecha, anota cuál usas.

Deberías obtener: una tabla de "fecha × puntuación".

Paso 3: cuando notes que se volvió más tonto, reevalúa de inmediato ​

  • Ejecuta el mismo conjunto de preguntas por el mismo canal y compara con las puntuaciones históricas para ver si la diferencia supera el margen de error
  • Ejecuta también una vez por el canal oficial. Si solo empeora en el intermediario, lo más probable es la causa tres
  • Abre una conversación nueva y prueba de nuevo. Si la conversación nueva funciona bien y la antigua sigue mal, puede ser un problema del lado del servidor "pegajoso" como el de arriba

Pon a prueba tus conocimientosAl retestear descubres: la API intermediaria bajó mucho respecto al mes pasado, fuera del margen de error; el mismo cuestionario en el canal oficial da igual que el mes pasado. ¿Cuál es la causa más probable?

Paso 4: deja evidencia y repórtalo al proveedor ​

Anthropic dice en su análisis retrospectivo que lo que les ayudó a aclarar el problema fueron los reportes concretos de los usuarios: los cambios específicos observados, ejemplos de comportamientos inesperados y patrones que aparecían en distintos usos. Al reportar, incluye:

  • Los prompts y respuestas concretos
  • La fecha y hora en que ocurrieron
  • La comparación de tus puntuaciones de reevaluación antes y después

Los usuarios de Claude pueden usar el comando /bug en Claude Code, o pulsar el botón de pulgar abajo en la aplicación de Claude para reportar.

Puntos de control ​

  • Las cuatro causas de la degradación: bug del servicio, actualización del modelo, cambio de modelo por el intermediario, fluctuación aleatoria
  • Un bug del servicio puede afectar solo a una parte de las peticiones, por eso algunas personas lo experimentan y otras no
  • Una actualización del modelo puede mejorar unas tareas y empeorar otras
  • Solo reevaluando periódicamente con preguntas fijas y comparando por separado por canal y por conversación se puede decir con claridad si de verdad se volvió más tonto

Malentendidos comunes ​

"La degradación siempre es intencional del fabricante; cuando hay mucha demanda, degradan a escondidas." La degradación que Anthropic analizó públicamente provino de un bug, y declararon explícitamente que nunca degradan la calidad por demanda, franja horaria o carga. Sin datos de reevaluación, es difícil atribuir la sensación a ninguna causa concreta.

"La degradación es pura ilusión." Los casos anteriores muestran que la degradación puede ser real, y que incluso las evaluaciones rutinarias oficiales no la detectaron a tiempo.

"Le pregunto al modelo '¿te has vuelto más tonto?' y ya lo sé." El modelo no sabe qué problema hay en el servicio que lo respalda. Solo se puede saber mediante reevaluación.

Siguiente paso ​

Vuelve a la página de inicio del curso, empieza con una tarea real tuya y haz una selección completa: consulta el ranking para reducir el alcance, usa tus propios problemas para comparar los resultados, confirma que lo que compras es ese, elige un proveedor estable y, con los mismos problemas, vuelve a hacer pruebas periódicamente.

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.