Puntos clave
- La explicabilidad es el grado en que la IA puede mostrar por qué llegó a un juicio. Es un problema distinto de si el juicio es correcto.
- El método más usado es marcar qué parte de la entrada pesó más. En una foto, la zona que más influyó; en un texto, las palabras que más pesaron.
- También existe cambiar una sola condición. Si al cambiar un dato el resultado se invierte, ese dato está cerca de ser la razón real.
- La explicación que se muestra no tiene garantía de coincidir con el cálculo real que hizo el modelo. Puede ser una historia convincente construida después.
- Es más confiable construir el modelo para que se pueda leer desde el principio que pegarle una explicación después, aunque hay quien sostiene que en problemas complejos se pierde algo de rendimiento. Otros estudios encuentran casi ninguna diferencia con datos organizados en tablas, así que las opiniones se dividen.
La analogía
Dejas tu auto en el taller y la única respuesta que recibes es "son 300 dólares". Puedes pagarlo, pero te quedas incómodo. En el taller de al lado te entregan además una hoja. Ahí aparece, línea por línea, qué pieza cambiaron y cuánto costó, cuántas horas tomó el trabajo, y por qué había que cambiarla justo ahora.
Es el mismo monto, pero en este segundo caso puedes revisarlo. Si algo te parece raro, puedes señalar exactamente qué línea es, y también puedes ver qué conviene revisar la próxima vez. Con la hoja de detalle, el cliente termina viendo la misma pantalla que el mecánico.
Pedirle esa hoja de detalle a la IA es lo que se llama explicabilidad. En vez de soltar solo un resultado final, se le pide que despliegue, línea por línea, qué miró y cuánto pesó cada cosa para llegar a ese juicio.
En detalle
Con un solo resultado no se puede reclamar nada
Lo que entrega la IA suele ser corto. Esta foto se parece más a tal cosa, este texto parece riesgoso, esta solicitud no cumple el criterio: una sola línea. Si ese juicio afecta a una persona, esa única línea no alcanza para nada. Ni siquiera se puede decir que está mal, porque no hay dónde señalar el error.
Cuando existe una razón detrás, se abren tres posibilidades. Se puede corregir un juicio equivocado, se puede revisar si el juicio se apoyó en una pista fuera de lugar, y se le puede decir a la persona afectada qué tendría que cambiar.
Muchas veces el problema solo sale a la luz cuando se abre esa razón. Por ejemplo, un modelo que detectaba cáncer de piel en realidad se apoyaba en la regla que aparecía con frecuencia junto a las lesiones sospechosas de ser malignas en las fotos. En experimentos que los investigadores armaron a propósito, una herramienta de explicación llegó a detectar un modelo que distinguía lobos de perros solo por el fondo nevado. Con la tasa de acierto sola, eso es difícil de notar.
Marcar en qué se fijó para decidir
El método más común de explicación es marcar qué parte de la entrada pesó más en la decisión. En una foto, la zona que más se usó para decidir aparece resaltada; en una frase, cada palabra recibe un tamaño según cuánto influyó.
Hay varias maneras de calcularlo. Una mide algo como "si tapo esta parte, ¿cuánto se mueve el resultado?", y otra, también muy usada, mide qué tan sensible es el resultado cuando se cambia la entrada apenas un poco. En el método de tapar, si al taparla el resultado cambia mucho, es que se le prestó mucha atención; si sigue igual, es que casi no importaba. Es un lugar parecido al de cada línea con su monto en la hoja del taller.
Esta marca dice dónde se fijó la IA, pero no dice del todo por qué interpretó eso de esa manera. La zona resaltada se ve, pero por qué se consideró riesgosa sigue siendo algo que la persona tiene que inferir.
Cambiar una sola condición
Otro método es preguntar qué pasaría si cambiara algo. Se deja todo igual menos un dato, y se vuelve a preguntar. Si al alargar solo el tiempo de antigüedad el resultado se invierte, entonces la antigüedad fue el dato que decidió el caso.
Este tipo de explicación es especialmente útil para quien recibe el juicio, porque responde menos a "¿por qué no?" y más a "¿qué tendría que haber sido distinto?". Una condición concreta se entiende mucho mejor que una lista vaga de razones.
Eso sí, la condición que se cambia tiene que ser algo que en la realidad se pueda cambiar. Decir "si esto hubiera sido distinto, habría pasado" sobre algo que la persona no puede modificar no consuela ni orienta a nadie.
La explicación puede no ser la razón real
Aquí aparece el punto donde hay que tener más cuidado. La mayoría de las explicaciones se calculan aparte, después de que el juicio ya se tomó. No son una copia exacta del cálculo que ocurrió dentro del modelo.
Por eso puede aparecer una explicación convincente pero falsa. Si le preguntas a una IA conversacional por qué respondió así, te da una razón que suena bien, pero esa frase también es el resultado de encadenar palabras plausibles. No es un reporte de lo que de verdad pasó por dentro.
Como hay varios métodos para generar explicaciones, un mismo juicio puede terminar con explicaciones distintas según el método. Lo más seguro es tratar la explicación como una pista, no como una prueba.
El camino de hacerlo legible desde el principio
En vez de pegar una explicación después, existe también el camino de construir el modelo para que se pueda leer directamente. Si las condiciones se ramifican como un árbol, o si cada elemento suma o resta un valor simple, el propio proceso de decisión ya funciona como hoja de detalle.
Se dice que en problemas complejos el rendimiento baja un poco, pero otros estudios encuentran casi ninguna diferencia con datos organizados en tablas, así que las opiniones se dividen. Por eso, en la práctica, a veces se agrega una explicación a un modelo complejo y a veces se elige desde el inicio un modelo legible. La decisión depende del problema y de los datos.
Elijas lo que elijas, la última capa de seguridad sigue siendo una persona. La explicación solo sirve si hay alguien que pueda leerla, notar que la razón no cuadra y detener el juicio a tiempo.
Con más precisión
Conviene separar la explicabilidad en dos ramas. Una es cuando la propia estructura del modelo se puede seguir a simple vista. La otra es cuando se examina desde afuera el juicio de un modelo ya construido; a esta segunda se le llama explicación posterior. Ahí entran métodos como tapar partes de la entrada y medir el cambio en el resultado, repartir un puntaje de contribución entre cada elemento, o construir un modelo simple que imite el comportamiento solo cerca de ese juicio puntual.
La analogía también tiene sus límites. La hoja del taller registra lo que el mecánico hizo de verdad, pero la explicación posterior es una reconstrucción hecha desde afuera. Si le preguntas de nuevo al mecánico, te da la misma respuesta; si cambias el método de explicación, el orden de las razones puede cambiar. Además, los ítems de la hoja son independientes entre sí, mientras que las pistas que mira un modelo suelen estar entrelazadas, así que es difícil recortar el peso exacto de una sola.
Que exista una explicación tampoco vuelve correcto el juicio. La explicación no garantiza la calidad del juicio; solo entrega algo que se puede examinar.
Pruébalo
Malentendidos comunes
Es fácil pensar que, si hay una explicación, se puede confiar en el juicio, pero en realidad un juicio equivocado con una explicación convincente puede ser incluso más peligroso.
Es fácil pensar que si le preguntas a la IA la razón, te dará la razón verdadera, pero en realidad esa respuesta también es el resultado de armar una frase que suena plausible.
Es fácil pensar que un modelo explicable por fuerza es menos preciso, pero en realidad depende del problema. Hay quien sostiene que en problemas complejos de imágenes y texto se nota una diferencia, mientras que otros estudios encuentran casi ninguna con datos organizados en tablas.
Resumen en una línea
La explicabilidad es exigirle a la IA una hoja de detalle sobre su juicio, y esa hoja solo entrega algo que examinar, no una garantía de que el juicio sea correcto.
¿Has visto un error o tienes una analogía mejor? Sugerir una corrección · Última actualización 2026-10-18