Calibración de IA: acierto y confianza no son lo mismo

Un modelo que anuncia «80 % de probabilidad» parece preciso. La pregunta importante es: entre muchos casos comparables a los que asignó alrededor de 80 %, ¿ocurrió el resultado aproximadamente ocho de cada diez veces? Esa comparación se llama calibración de probabilidades. No mide lo mismo que el porcentaje de predicciones correctas. La documentación oficial de scikit-learn sobre calibración presenta el método para clasificadores probabilísticos y explica cómo contrastar probabilidades previstas con frecuencias observadas.

Esquema original de Gaia Genius Hub, basado en la documentación de scikit-learn. No representa una evaluación de un modelo real.

Un ejemplo pequeño que deja ver la idea

Imagina diez predicciones hipotéticas de una clase positiva. Un clasificador asigna a cada una una probabilidad cercana al 80 %. Si al comprobar el resultado resulta que ocho de los diez casos eran positivos, la frecuencia observada en ese grupo es 8 ÷ 10 = 0,8, es decir, 80 %. La confianza media y la frecuencia coinciden en este pequeño ejemplo. Si solo fueran positivos cinco, la frecuencia sería 50 % y el grupo habría sobreestimado el resultado.

Este cálculo es ilustrativo, no una prueba suficiente de que el modelo esté calibrado. Diez casos producen una estimación muy inestable; hace falta una muestra adecuada al uso, partición de evaluación y atención a grupos donde el rendimiento puede cambiar. Tampoco se debe evaluar el mismo modelo en los datos con los que ajustó sus probabilidades y presentar la coincidencia como resultado independiente. Scikit-learn describe técnicas para calibrar y evaluar clasificadores con datos separados; la herramienta no convierte automáticamente un ejemplo de diez filas en evidencia general.

Cálculo hipotético y reproducible: 8/10 = 80 %. Gráfico original de Gaia Genius Hub; ningún sistema comercial fue probado.

Cómo se lee una curva de calibración

En la curva de calibración de scikit-learn, el eje horizontal representa el promedio de probabilidad prevista dentro de un grupo o bin; el vertical, la fracción de resultados positivos observados en ese grupo. Una línea ideal se aproxima a la diagonal: 0,6 previsto con aproximadamente 0,6 observado, por ejemplo. Los grupos se forman a partir de una muestra de evaluación; su tamaño, cantidad y distribución importan. Una curva con pocos datos puede parecer irregular por azar y una curva agregada puede ocultar fallos en subgrupos relevantes.

Dos modelos pueden tener una exactitud parecida y ofrecer probabilidades de distinta calidad. También puede ocurrir que una transformación mejore la calibración sin mejorar la capacidad de ordenar casos. Por eso la decisión de uso no debería descansar en un solo gráfico: hay que definir qué coste tienen los falsos positivos y negativos, a qué población se aplicará el sistema y cuándo se volverá a comprobar.

Lo que esta idea no demuestra sobre los chatbots

La explicación de scikit-learn trata principalmente de clasificadores con predict_proba y resultados positivos o negativos verificables. Que un asistente generativo escriba «estoy seguro al 90 %» en una respuesta no significa que ese texto haya sido calibrado mediante el procedimiento anterior. Puede ser una formulación verbal sin correspondencia estadística comprobada. Antes de tomarla como dato, habría que definir evento, conjunto de evaluación, procedimiento para obtener la probabilidad y forma de verificar el resultado. No extrapoles una curva de clasificación binaria a todo tipo de IA por compartir la palabra «confianza».

Lo mismo vale para situaciones de alto impacto: un valor bien calibrado en promedio no garantiza que una predicción individual sea correcta ni que el sistema sea seguro o justo para todos los grupos. Si el contexto cambia desde los datos de evaluación, la calibración puede cambiar también. La utilidad de un porcentaje depende del sistema, de su evaluación y de la decisión que se pretende apoyar.

Una lista breve para leer mejor una afirmación

Cuando un proveedor diga que su IA está «bien calibrada», pide qué evento predice, qué conjunto de datos usó para evaluarla, cómo agrupó las probabilidades, cuántos casos había por grupo y si comprobó subpoblaciones y cambios posteriores. Una respuesta reproducible da más información que un porcentaje aislado. Si los resultados son sensibles, busca además evaluación independiente y supervisión humana apropiada al uso. La calibración ayuda a interpretar incertidumbre; no sustituye el juicio sobre consecuencias ni fuentes de error.

Fuentes y agradecimientos

• scikit-learn, guía oficial de calibración de probabilidades: definición, evaluación y límites de los clasificadores calibrados. Agradecemos la documentación de sus mantenedores.
• scikit-learn, documentación de CalibrationDisplay: ejes y agrupación de una curva de calibración. Agradecemos el recurso; sus autores no han revisado ni avalado este ejemplo hipotético.