Skip to content

Cómo verificar si una API es auténtica ​

Los métodos que un usuario normal puede realizar solo detectan sustituciones grandes; no detectan cambios sutiles como la cuantización. La conclusión de los investigadores es que, confiando únicamente en la detección por software, el método es en principio poco fiable; la garantía verdaderamente fiable requiere un entorno de ejecución confiable (TEE) a nivel de hardware. A continuación, de lo simple a lo estricto, vemos uno por uno hasta dónde llega cada uno de los cinco métodos.

Qué podrás hacer al terminar ​

  • Conocer los límites de capacidad de cada uno de los cinco métodos de detección
  • Hacer un filtrado grueso con tu propio conjunto de evaluación
  • Saber qué tipo de garantías pedir al proveedor

Los cinco métodos en una tabla ​

Las conclusiones provienen de «Are You Getting What You Pay For?» de UC Berkeley (arXiv 2504.04715) y de «Model Equality Testing» de Stanford (arXiv 2410.20247).

MétodoCómo se haceQué puede detectarQué no puede detectar
Preguntar la identidadPreguntar «¿qué modelo eres?»Casi no detecta nadaNúmero de parámetros, cuantización; la tasa de acierto en preguntas de especificaciones es inferior al 5%
Ejecutar benchmarksEjecutar benchmarks públicos en la API y comparar con las puntuaciones oficialesSustituciones a gran escalaCambios pequeños como la cuantización (diferencias dentro de una desviación estándar)
Comparar la salida greedyFijar la temperatura en 0 y comparar palabra por palabra con los pesos oficiales ejecutados localmenteSalidas diferentesNo distingue entre sustitución y diferencias en la configuración de inferencia; propenso a falsos positivos
Prueba de dos muestrasMuestrear tanto de la API como del modelo de referencia y comprobar si las distribuciones coincidenDiversos cambios, potencia mediana del 77.4%Requiere poder obtener salidas del modelo de referencia
Entorno de ejecución confiableEl proveedor ejecuta el modelo en un TEE y emite una certificaciónGarantía criptográficaRequiere la cooperación del proveedor

Método uno: preguntar la identidad ​

El más fácil y también el más inútil. Resultados de las pruebas del artículo: los modelos normalmente solo mencionan la familia o el desarrollador, rara vez el número de parámetros o el estado de cuantización; al preguntar directamente por las especificaciones, la tasa de éxito es inferior al 5%. Cuando el prompt del sistema se reescribe para suplantar otra identidad, la mayoría de los modelos no se reconocen a sí mismos.

Conclusión: no lo uses.

Método dos: ejecutar benchmarks, o ejecutar tu conjunto de evaluación ​

Ejecutar un benchmark público en la API y comparar con las puntuaciones oficiales publicadas. Conclusión del artículo: la detección por benchmarks puede exponer sustituciones a gran escala, como cambiar por un modelo mucho más pequeño; pero las diferencias entre la versión cuantizada y la original en MMLU, GSM8K, MATH y GPQA Diamond suelen estar dentro de una desviación estándar entre ejecuciones repetidas, y quedan ocultas por las fluctuaciones naturales. Factores como la temperatura y la caché también dificultan el juicio.

Puedes usar el conjunto de evaluación hecho en la tercera sección en lugar de benchmarks públicos: el mismo conjunto de preguntas, ejecutado por separado en el canal oficial y en la API que quieres verificar, usando barras de error para juzgar si la diferencia es real.

Conclusión: adecuado para que un usuario normal haga un filtrado grueso; detecta «cambiaron a un modelo pequeño», pero no detecta «cambiaron a una versión cuantizada».

Pon a prueba tus conocimientosEjecutaste tu propio conjunto de evaluación en la API de la pasarela y la puntuación difiere en solo 1 punto respecto al canal oficial, dentro del margen de error. ¿Qué demuestra esto?

  • Sé que el hecho de que los benchmarks coincidan no significa que sea auténtico

Método tres: comparar la salida greedy ​

Fijar la temperatura en 0: el modelo elige cada vez la palabra siguiente más probable, y la salida debería ser determinista. Comparar palabra por palabra la salida de la API con la salida de los pesos oficiales ejecutados localmente.

El problema es que la incertidumbre de inferencia entre distintos proveedores hace que incluso un modelo exactamente idéntico produzca salidas diferentes, generando falsos positivos. Además, este método requiere poder ejecutar los pesos oficiales localmente, por lo que solo se aplica a modelos de pesos abiertos.

Conclusión: que las salidas coincidan es una buena señal; si no coinciden, no se puede concluir directamente.

Método cuatro: prueba de dos muestras ​

El método de Stanford plantea el problema como una prueba estadística: tomar un lote de muestras tanto de la API como del modelo de referencia y comprobar si ambos provienen de la misma distribución. Su prueba basada en MMD, con un kernel de cadenas simple, necesita en promedio solo unas 10 muestras por prompt, y alcanza una potencia de detección mediana del 77.4% para diversos cambios.

Con este método auditaron las API comerciales que en el verano de 2024 ofrecían 4 modelos Llama, y descubrieron que de 31 endpoints, 11 tenían distribuciones de salida distintas de los pesos de referencia publicados por Meta.

Conclusión: el método de software más eficaz actualmente, pero requiere muestras del modelo de referencia; adecuado para equipos con capacidad técnica que auditen modelos de pesos abiertos.

Método cinco: entorno de ejecución confiable (TEE) ​

El artículo de Berkeley sostiene que los métodos puramente de software son fundamentalmente poco fiables: las pruebas estadísticas basadas en el texto de salida requieren muchas consultas y son ineficaces ante sustituciones sutiles; los métodos basados en probabilidades logarítmicas son vencidos por la incertidumbre de inferencia inherente a los entornos de producción.

Proponen usar un entorno de ejecución confiable: el modelo se ejecuta en un entorno aislado por hardware que puede emitir una prueba criptográfica que indica qué pesos se están ejecutando dentro. El artículo considera que el sobrecosto adicional de hacerlo no es grande.

Conclusión: el único método que puede ofrecer una garantía fiable, pero requiere el apoyo del proveedor. Lo que puedes hacer es preguntar al proveedor si ofrece este tipo de certificación.

Hasta dónde puede llegar un usuario normal ​

  1. Usar tu propio conjunto de evaluación y ejecutarlo tanto en el canal oficial como en la API que quieres verificar
  2. Usar barras de error para juzgar la diferencia; si la diferencia es evidente, lo más probable es que no sea el mismo modelo
  3. Si la diferencia no es evidente, solo significa que no hay una sustitución grande
  4. En escenarios con altos requisitos de calidad, priorizar el canal oficial, o pedir al proveedor que indique la versión desplegada (original o cuantizada) y si puede ofrecer una certificación

El código del artículo está publicado en github.com/sunblaze-ucb/llm-api-audit; quienes tengan capacidad técnica pueden consultarlo.

Antes de concluir que es «el mismo modelo», haz primero estos pasos ​

El artículo de 2026 «When Is the Same Model Not the Same Service?» (arXiv 2605.02821) incluye en su apéndice un procedimiento de auditoría. Antes de afirmar que dos proveedores ofrecen el mismo modelo, haz primero lo siguiente:

  1. Fijar el conjunto de prompts, los parámetros de decodificación, el modo de streaming, el tokenizador, el formato de las solicitudes y la región desde la que se envían
  2. Muestrear repetidamente de cada endpoint; si se pueden obtener los pesos oficiales, muestrear también de la implementación de referencia
  3. Usar una prueba de dos muestras (el método cuatro) para comparar las distribuciones
  4. Informar por separado: versión específica idéntica, versión declarada por el proveedor idéntica, o solo de la misma familia; estas tres conclusiones no son lo mismo

Puntos de control ​

  • Preguntar la identidad no sirve; la tasa de acierto en preguntas de especificaciones es inferior al 5%
  • Los benchmarks solo detectan sustituciones grandes
  • La comparación de salida greedy es propensa a falsos positivos
  • La prueba de dos muestras es la más eficaz, con una potencia mediana del 77.4%
  • Solo el entorno de ejecución confiable puede ofrecer una garantía fiable

Malentendidos comunes ​

«Existe una herramienta que detecta con un clic si una API es auténtica.» La conclusión de la investigación es que los métodos puramente de software tienen limitaciones de principio. Cualquier detección solo puede decir «no se encontraron problemas», no «se garantiza que no hay problemas».

«Si las puntuaciones coinciden, puedo estar tranquilo.» Las puntuaciones de benchmark de una versión cuantizada son casi idénticas a las de la original.

Siguiente sección ​

Una vez confirmada la autenticidad, todavía hay que ver si el servicio es bueno: el mismo modelo, en qué se diferencian los distintos proveedores.

gaodong.aiAboutPrivacyContact

Independent tutorials, not affiliated with any product mentioned. Product names and trademarks belong to their owners. Check official pages for prices and policies.