Puntos clave
- Caja negra describe un estado: se ve lo que entra y lo que sale, pero no lo que pasa en el medio. Se usa mucho para hablar de la IA.
- Hay varias miradas sobre por qué no se ve el interior. Algunos lo dicen porque la empresa no lo publica y no se puede acceder; otros, porque aun publicándolo todo, hay demasiados números en juego para que una persona pueda leer la razón.
- Publicar el diseño no aclara por sí solo por qué salió esta respuesta: eso hay que averiguarlo aparte. Conocer la estructura y saber la razón son cosas distintas.
- Por eso se golpea desde afuera: la base es cambiar un poco la entrada y medir cómo se mueve el resultado.
- La caja negra se vuelve un problema de verdad donde el juicio afecta a una persona y, si sale mal, es difícil de deshacer.
La analogía
Metes las sobras en un triturador de residuos, cierras la tapa y aprietas el botón. Un rato después sale un polvo seco. Qué tanto se movió por dentro y cómo, no se puede ver: la tapa no tiene ventana, y si la abres para mirar, la máquina se detiene.
Aun así, usarlo no da ningún problema. Comparando lo que entra con lo que sale, te haces una idea aproximada de cómo funciona la máquina: que tarda más los días que metes algo húmedo, que la cáscara casi no se muele bien, y así vas conociendo sus mañas.
El problema aparece el día raro. Cuando el polvo sale distinto de lo normal, no hay forma de abrir la tapa y señalar en qué paso se torció. Solo queda ir sacando lo que metiste, uno por uno, y adivinar. La frustración de llamar caja negra a la IA es exactamente esta.
En detalle
No solo es que lo escondan: también es que no se puede leer
La palabra caja negra tiende a leerse solo como si la empresa lo guardara en secreto. A veces el interior sí está oculto, pero quien la construyó muchas veces está en la misma situación. Adentro de un modelo como una red neuronal profunda hay desde unos pocos millones hasta cientos de miles de millones de números o más, fijados por el entrenamiento, y a cada uno de esos números no se le puede poner un nombre que diga "esto significa tal cosa".
El orden de los cálculos sí está publicado. Cuántas capas tiene, en qué orden se multiplica y se suma, todo eso figura en el diseño. Pero leer todo ese diseño no responde a "¿por qué clasificó esta foto de esta manera?". El juicio no sale de un solo número, sino de la combinación de muchísimos de ellos a la vez.
Las personas también tienen algo parecido. Es difícil explicar punto por punto por qué reconociste una cara conocida. La diferencia es que una persona puede ponerle palabras a la razón después, aunque sea a posteriori, y esa razón se puede volver a preguntar. Un modelo que responde con palabras también puede añadir razones, pero no hay garantía de que esa explicación coincida con lo que realmente ocurre en su cálculo interno.
Golpear desde afuera
Si no se puede ver por dentro, no queda otra que medir desde afuera. La base es cambiar un poco la entrada y ver cómo cambia el resultado. Tapar una esquina de la foto, quitar una palabra de la frase, meter un valor distinto en un solo dato: ese tipo de pruebas.
Si al taparla el juicio se da vuelta, es probable que esa parte pesara mucho. Si tapada el juicio sigue igual, es que sin esa parte podía decidir con otras pistas. Juntando muchos resultados así, se dibuja un mapa aproximado.
Con este método también se pueden pescar mañas. Si al cambiar solo el fondo el juicio se tambalea, es señal de que no estaba mirando lo que de verdad importaba. Confiar solo en que la exactitud sea alta puede llevar, más adelante, a un desvío grande, y este método lo filtra a tiempo.
Dónde se vuelve un problema
No toda caja negra es un problema. Si el lugar es ordenar fotos solas o recomendar música, que no se vea el interior no molesta demasiado: si se equivoca, es una molestia pasajera y ya.
El problema aparece donde el juicio toca la vida diaria de una persona: cuando un documento queda descartado, cuando alguien queda marcado como riesgoso, cuando un resultado de examen se invierte. Sin saber el "por qué", reclamar el juicio se vuelve mucho más difícil. Quien recibió el juicio no sabe qué corregir, y quien opera el sistema no sabe qué arreglar.
Ahí también nace el problema de la responsabilidad. Si no se puede explicar la razón, es difícil decidir de quién es la falla. Por eso, en los juicios importantes, se deja siempre un punto donde una persona revisa el resultado.
Formas de entreabrir la tapa
Hoy en día también hay investigación que trata de abrir la tapa de verdad. Se busca a qué patrón reacciona con fuerza el valor de una capa interna, se aíslan los puntos que reaccionan a un concepto específico y se comprueba si al presionar ese punto cambia la respuesta.
Ya se acumulan hallazgos pequeños. Se comprobó, con imágenes, que las capas de adelante reaccionan a patrones simples como líneas o colores, y las de más atrás, a estructuras mucho más complejas. Aun así, estas observaciones no alcanzan a explicar el juicio completo del modelo.
Que no se vea el interior no significa que no se pueda examinar. Medir con qué frecuencia acierta, en qué situaciones falla, cómo se tambalea al cambiar las condiciones, ya deja saber bastante.
Con más precisión
La expresión caja negra se usa en dos sentidos. A veces describe una propiedad del modelo que a las personas les cuesta leer; otras, cuánto acceso tiene al interior quien observa. El mismo modelo puede ser una caja medio abierta para alguien que puede sacar todos los valores internos, y una caja completamente cerrada para quien solo lo usa desde la pantalla. Incluso un modelo con los pesos publicados no revela por qué llegó a una respuesta, así que estar abierto y ser opaco son dos cosas distintas.
La analogía también tiene sus límites. Quien diseñó el triturador conoce todo lo que pasa adentro, y al abrir la tapa se ven las piezas. En el modelo, aunque se abra la tapa, solo se ve una tabla de números, y hasta quien lo construyó tiene que reconstruir la razón de un juicio en particular. Además, el triturador da siempre el mismo polvo con la misma entrada, pero un modelo generativo puede dar respuestas un poco distintas ante la misma pregunta.
Hay varias miradas sobre cómo tratar una caja negra. Unos proponen partir de que el interior no se ve y apilar revisión, registro y la mirada de una persona; otros proponen que, para los juicios importantes, se use desde el principio un modelo más simple cuyas razones se puedan leer.
Pruébalo
Malentendidos comunes
Es fácil pensar que la caja negra es solo algo que la empresa esconde, pero en la práctica a veces está oculta a la vista, y otras veces, aun publicándolo todo, ni siquiera quien la construyó puede leer de inmediato la razón de un juicio en particular.
Es fácil creer que, si se publica el diseño, ya se sabe por qué salió cada respuesta, pero en la práctica, aun conociendo la estructura y pudiendo ver los valores internos (a veces se le llama caja blanca), la razón de un juicio en particular sigue habiendo que averiguarla aparte.
Es fácil pensar que, si no se ve el interior, tampoco se puede examinar, pero en la práctica con solo variar la entrada y medir se pueden descubrir bastantes mañas y puntos débiles.
Resumen en una línea
Caja negra describe un estado donde solo se ve lo que entra y lo que sale, y aun sin ver el interior, se puede golpear desde afuera, dejar registro y sumar la revisión de una persona.
¿Has visto un error o tienes una analogía mejor? Sugerir una corrección · Última actualización 2026-10-18