Benchmark saturado: qué oculta un 99 % en IA

Imagina que dos modelos obtienen un 99 % en una prueba de inteligencia artificial. La cifra sugiere un empate. Sin embargo, puede ocultar que uno necesitó más intentos, otro utilizó herramientas adicionales o que la evaluación apenas contiene tareas capaces de separarlos. Una puntuación alta responde a una pregunta concreta: cómo rindió un sistema en esa prueba y bajo ese procedimiento. No demuestra, por sí sola, que sea igual de útil para programar, investigar, revisar contratos o atender clientes.

Ilustración conceptual generada para Gaia; las barras no son resultados de ningún modelo. Crédito: Gaia Genis Hub.

Qué significa que una prueba se acerque al techo

Una evaluación se satura cuando los sistemas más capaces se agrupan cerca de su máximo y la puntuación deja poco margen para distinguirlos. Eso no vuelve inútil al conjunto de tareas: puede seguir revelando errores de modelos menos capaces y permitir comprobar regresiones. El problema aparece cuando se usa una diferencia minúscula en la parte alta como si midiera todas las capacidades de un producto.

El límite depende del diseño. Una prueba con respuestas cerradas permite contar aciertos; una tarea abierta exige decidir qué cuenta como resultado válido. También importan la selección de ejemplos, la posibilidad de repetir intentos, el tiempo concedido y el acceso a herramientas. Si cambian esas condiciones, la misma cifra deja de ser comparable. La documentación técnica de ARC-AGI-3 describe una evaluación interactiva de entornos nuevos y explica que su puntuación considera la eficiencia de las acciones respecto a referencias humanas. Es una medición delimitada, no una escala universal de inteligencia.

Un caso real: 54,8 % y 99,9 % para el mismo modelo

El resultado publicado de GPT-6 Astra en ARC-AGI-3 muestra por qué conviene leer la letra pequeña. Según la ficha de resultados de ARC Prize, la variante con razonamiento alto obtuvo 54,8 % con el procedimiento Standard y 99,9 % con Provider Adapter en el conjunto semiprivado. No son dos versiones contradictorias de una única medición. El primero utiliza una interfaz común entre proveedores; el segundo conserva estado de razonamiento opaco y aplica un mecanismo de compactación diseñado para el proveedor. ARC Prize explica por qué publica ambos procedimientos.

Diagrama elaborado por Gaia con las cifras de ARC Prize para GPT-6 Astra, razonamiento alto, ARC-AGI-3 semiprivado. Son procedimientos distintos; no deben leerse como una mejora medida de uso cotidiano. Crédito: Gaia Genis Hub.

En el procedimiento Standard, el modelo debe decidir qué conservar en sus notas visibles. El adaptador del proveedor mantiene parte del estado entre llamadas. ARC Prize informa de que, al comparar las partidas que ambos resolvieron, el segundo procedimiento utilizó menos tokens agregados y terminó antes en tiempo agregado; esto no permite extrapolar un ahorro idéntico a cualquier tarea doméstica o empresarial. La diferencia principal que interesa aquí es metodológica: el sistema evaluado incluye el modelo y la forma de usarlo.

OpenAI resume Astra con el 99,9 % en su presentación. Esa cifra existe en la evaluación publicada, pero una lectura responsable debe añadir el procedimiento y el conjunto al que corresponde. ARC Prize añade otra cautela: saturar ARC-AGI-3 no equivale a demostrar inteligencia artificial general, porque los entornos del benchmark son cerrados y no representan toda la complejidad del mundo.

Cómo leer una clasificación sin confundirla con tu trabajo

Antes de poner dos porcentajes en una tabla, apunta cinco datos. Primero, el nombre y versión del conjunto: ARC-AGI-1, ARC-AGI-2 y ARC-AGI-3 no son la misma prueba. Segundo, si los resultados corresponden al mismo subconjunto público o semiprivado. Tercero, el procedimiento: instrucciones, memoria, herramientas, número de intentos y límites de tiempo. Cuarto, el coste y la latencia de la configuración, con la misma unidad. Quinto, si otra entidad reprodujo el resultado o si se trata de una declaración del proveedor.

Esas preguntas evitan una falsa precisión. Un 99,9 % comunicado con adaptador y un 54,8 % con procedimiento Standard no justifican decir que «el modelo falla casi la mitad de las veces» en el uso real, ni que «resuelve siempre» cualquier problema. Ambos resultados describen condiciones particulares. Para entender cómo se construyen pruebas útiles en un proyecto propio, nuestra guía sobre tests generados por IA y cobertura aplica una cautela parecida: más casos contados no significan mejor detección de fallos.

Un ejercicio pequeño para decidir mejor

Define tres tareas que realizarías de verdad: por ejemplo, resumir un expediente con citas, corregir un programa de muestra y redactar una explicación con límites explícitos. Prepara para todos los sistemas los mismos documentos, instrucciones y criterios de aprobación. Guarda la versión, fecha, configuración, tiempo y coste. Revisa errores importantes por tarea, en lugar de sumar solo puntos globales. Este diseño tampoco es una evaluación científica generalizable, pero responde mejor a una decisión concreta que una clasificación ajena.

Si la prueba pública ya está muy cerca del techo, busca tareas discriminantes adicionales y verifica que no sean una variante de las mismas preguntas conocidas. Mira también seguridad, privacidad, calidad de citas y facilidad de corregir errores, según el uso previsto. Un benchmark sigue siendo una pista valiosa; su porcentaje deja de ser una conclusión suficiente cuando la decisión depende de condiciones que no midió.

Fuentes y agradecimientos

• ARC Prize, resultados de GPT-6 Astra: cifras y separación de procedimientos.
• ARC Prize, análisis de Astra: explicación de Standard y Provider Adapter, límites de interpretación.
• ARC-AGI-3, informe técnico: diseño y alcance del benchmark.
• OpenAI, presentación de GPT-6 Astra: afirmación del proveedor contrastada con ARC Prize.

Agradecemos a los autores y organizaciones la publicación de métodos y resultados que permiten leer las cifras con su contexto; ninguna de estas fuentes avala este artículo.