AlucinaciónHallucination

1En la plantilla de corrección no hay casilla de hechos

Un modelo de lenguaje no consulta ningún sitio mientras escribe. Calcula qué trozo tiene más probabilidad de venir detrás de lo ya escrito, escoge uno, lo pega y repite. Después de "la capital de Francia es", la palabra "París" sale con muchísima ventaja, así que la respuesta es correcta. No porque conozca el dato, sino porque ha visto esas dos cosas juntas en cantidades enormes de texto.

El problema llega cuando en lo que aprendió casi no aparece esa respuesta. Quedan candidatas mediocres, y el modelo no tiene de serie una opción que diga "parar aquí". Coge la más verosímil de las que quedan y termina la frase. La frase falsa sale del mismo cálculo que la verdadera. Por eso no hay manera de separarlas mirando el tono.

2Los huecos aparecen siempre en los mismos sitios

Hay tres. El primero es la información escasa: personas poco conocidas, empresas pequeñas, el programa de una fiesta de barrio, cosas de las que existen cuatro líneas escritas en el mundo. El segundo es la información que cambió después del entrenamiento: el conocimiento del modelo está congelado en un momento, y no puede saber qué cambió después, así que a menudo presenta información vieja como si fuera actual. El tercero es la pregunta capciosa. Si preguntas "¿en qué año ocurrió aquello?" sobre algo que nunca ocurrió, el modelo no duda del supuesto: rellena una respuesta que encaje con él.

3Inventar tiene varias formas

La más común es el dato torcido: un año corrido, dos personas intercambiadas. Suele ser relativamente fácil de pillar. La incómoda es la fuente fabricada de arriba abajo: aparece un artículo con título creíble, autores creíbles y hasta nombre de revista, y al buscarlo no existe. La tercera es salirse del material entregado: le pegas un documento, le pides un resumen y en el resumen se cuelan frases que no estaban dentro. Las dos primeras chocan con los hechos del mundo; la última choca con el papel que tienes delante.

4Los frenos ya vienen en varias capas

El más extendido es el RAG (Retrieval-Augmented Generation, generación aumentada por recuperación). Antes de responder se buscan documentos relacionados y se entregan junto con la pregunta, de modo que la respuesta salga de un material a la vista y no de la memoria. El entrenamiento de alineación, si se ajusta para premiar también las respuestas del tipo "no lo sé", va limando la costumbre de rellenar a la fuerza. Pedir en la instrucción que cada frase venga con su apoyo hace que las frases sin apoyo canten. Y bajar la temperatura, que es un ajuste del sistema, deja fuera a las candidatas raras; pero si no sabe la respuesta, la candidata más verosímil ya es falsa, y aun con temperatura baja puede dar la misma respuesta errónea cada vez. Ninguna de estas piezas cambia el principio de fondo: la siguiente palabra se sigue eligiendo por probabilidad.

5El último filtro es el hábito de quien lee

No hace falta desconfiar de cada frase. Basta con gastar esfuerzo en lo que duele si sale mal: nombres, cifras, fechas, citas textuales, artículos de ley y enlaces. Si la respuesta trae alguna de esas seis cosas, comprueba solo esa parte en el original. Si hay enlace, ábrelo y mira si la frase citada está de verdad ahí. También ayuda repetir la misma pregunta formulada de otra manera. Lo que cambia entre las dos respuestas probablemente es inventado. Pero también puede equivocarse igual las dos veces, así que que coincidan no significa que sean ciertas.