CalibraciónCalibration
Hacer que la probabilidad declarada coincida con el acierto real
- La calibración es hacer que la probabilidad que dice el modelo coincida con la proporción real de aciertos.
- Tiene una forma fija de medirse: se agrupan los casos que dijeron el mismo número y se cuenta cuántos de esos acertaron de verdad.
- Acertar mucho y decir bien la probabilidad son cosas distintas. Hay modelos que aciertan mucho pero siempre exageran al hablar.
- Los modelos actuales tienden a inclinarse hacia la confianza. El número que dicen suele salir más alto que la realidad.
- La forma de corregirlo no es rehacer el modelo, sino mover la escala desde fuera.
Contenido
1La analogía
El termómetro de casa dice que hoy hace 25 grados. ¿Se puede confiar en ese número? La forma de comprobarlo no es mirar un solo día. Hay que juntar varios meses de días en que el termómetro dijo 25 grados, y medir aparte cuál fue la temperatura real esos días.
Si al juntarlos la temperatura real promedió 30 grados, este termómetro tiene la costumbre de decir menos de lo real. Si en cambio se acercó a 25, es un termómetro que informa lo que de verdad marca. Si un termómetro es fiable o no, no se sabe con un solo día: hay que juntar los días en que dijo el mismo número.
La calibración es encontrar esa costumbre y correr la escala para corregirla. Con la probabilidad que entrega una IA se hace lo mismo: se juntan todos los casos en que dijo 80, y se cuenta cuántos de esos realmente acertaron ochenta de cada cien.
2En detalle
Agrupar los casos que dijeron el mismo número
Un solo caso no dice nada. Que una respuesta a la que el modelo le dio un 80 haya salido mal no vuelve incorrecto ese 80: es un número que ya avisa que fallará dos de cada diez veces.
Por eso se juntan muchos casos. Se agrupan las probabilidades del modelo en valores parecidos, y en cada grupo se cuenta la proporción que acertó de verdad. En el grupo que dijo 60, deberían acertar seis de cada diez; en el que dijo 90, nueve de cada diez, para que la escala esté bien ajustada.
Al comparar así, grupo por grupo, el número dicho contra la proporción acertada, se ve en qué tramo se desajusta. Hay modelos que aciertan bien en los tramos bajos y solo exageran en los altos, y otros que exageran de forma pareja en todos los tramos. Medir el desajuste en cada grupo y promediarlo da también un único número.
La costumbre de inclinarse hacia la confianza
Los modelos grandes que se usan hoy suelen decir números más altos de lo real. Al juntar los casos en que dijeron 90, a menudo solo acertaron setenta u ochenta. Como el entrenamiento tiende a favorecer que se acierte la respuesta con la mayor seguridad posible, el tono termina sonando cada vez más firme.
Los modelos que responden con palabras muestran esta inclinación aún más. Dicen lo incorrecto con el mismo tono que lo correcto. Si un tono seguro no está ligado a la probabilidad real de acertar, quien escucha no sabe dónde detenerse a comprobar.
También existe la inclinación contraria. Si un modelo es demasiado cauto y siempre dice menos, hasta las respuestas correctas parecen poco fiables y se terminan dejando pasar. En cualquiera de los dos casos, el número no se puede tomar al pie de la letra.
Correr la escala desde fuera
La forma de corregirlo suele hacerse fuera del modelo. No se compra un termómetro nuevo: se corre la escala que ya tiene pegada. Con datos que no se tocaron durante el entrenamiento, se compara el número dicho con la proporción real y se añade una transformación que revierte ese desajuste.
La forma más simple es suavizar o endurecer de un solo golpe todos los valores que entrega el modelo, dividiendo el valor justo antes de convertirse en probabilidad entre un único número ajustable, para que en general hable con menos firmeza. También se usa recalibrar tramo por tramo cuando el desajuste no es parejo.
Lo importante es con qué datos se hace este ajuste. Si se usan los mismos datos del entrenamiento, la escala sale bien ajustada solo porque el modelo ya se sabía esas respuestas. Ajustar la escala también necesita datos aparte, que el modelo no haya visto antes.
Acertar mucho y hablar bien no son lo mismo
Supongamos dos modelos que aciertan igual, nueve de cada diez veces. Uno siempre dice 99 y el otro dice algo cercano a 90. La capacidad de acertar es la misma, pero solo el segundo tiene la escala bien ajustada. Si se confía en el número del primero y se salta la revisión humana, algo se pasará por alto.
También puede pasar al revés: una escala bien ajustada con una capacidad pobre. Un modelo que a cualquier pregunta responde "cincuenta y cincuenta" también acertará más o menos la mitad de las veces, así que su escala está bien ajustada, pero no sirve de nada. Por eso la capacidad de acertar y la escala siempre se miran juntas.
Hay lugares donde la escala importa de verdad: donde la probabilidad decide si interviene una persona, donde se combinan los juicios de varios modelos como probabilidades, o donde una probabilidad se multiplica por un valor para calcular una ganancia o una pérdida. En esos lugares, un número apenas inflado tuerce toda la decisión.
3Con más precisión
La calibración hace que las probabilidades que entrega un modelo coincidan con la frecuencia real de acierto. Es habitual dividir la probabilidad en tramos, medir en cada tramo la diferencia entre el valor promedio dicho y la proporción realmente acertada, y promediar esas diferencias ponderando por el tamaño de cada tramo para obtener el tamaño del desajuste. Cuanto más pequeño sea ese valor, mejor ajustada está la escala. Dividir el valor final entre un único número para suavizar todo el conjunto es el método más simple, y también existe reordenar con una tabla de correspondencia por tramos.
También hay un punto donde la comparación cojea. El termómetro siempre tiene una temperatura real con la que compararse, pero la probabilidad de un modelo no tiene, para un solo caso, nada con qué compararse: decir "80 de probabilidad de que esta respuesta sea correcta" no se puede verificar en ese caso único, y solo cobra sentido al juntar muchos. Por eso la calibración es siempre una propiedad de grupo, nunca de un caso solo.
Que la escala general esté bien ajustada tampoco significa que lo esté en todas partes. Al dividir los datos por grupos, algunos exageran y otros dicen menos, y ambos efectos pueden cancelarse dejando el total con buena apariencia. Por eso también hace falta medir cada grupo por separado.
4Pruébalo
5Malentendidos comunes
Es fácil pensar que una probabilidad alta es igual de confiable, pero en realidad, si la escala no está ajustada, un noventa no significa nueve de cada diez.
Es fácil pensar que un modelo que acierta mucho también tiene la escala bien ajustada, pero en realidad la capacidad de acertar y la escala andan por separado, así que hay que medir las dos.
Es fácil pensar que calibrar exige volver a entrenar el modelo, pero en realidad, con datos que no se tocaron, casi siempre basta con correr la escala desde fuera.
7Resumen en una línea
En resumenLa calibración es juntar los casos en que se dijo 80 y comprobar si de verdad acertaron ochenta de cada cien, y correr la escala cuando no coincide.
¿Has visto un error o tienes una analogía mejor? Sugerir una corrección · Última actualización2026-09-02