Fidelidad al promptPrompt Adherence

Estar bien hecho y seguir lo pedido son varas distintas

Al ver un resultado generado, la gente mira dos cosas a la vez. Una es el acabado: si las líneas no se rompen, si el color es natural, si no hay dedos raros. La otra es la fidelidad: si lo que se escribió está ahí.

Estas dos cosas van por caminos separados. Puede salir un paisaje precioso al que le falte justo el faro pedido, o un dibujo tosco que no deje fuera ni un elemento. Elegir una herramienta solo por el acabado explica por qué después hay que reescribir el pedido una y otra vez.

Por eso, cuando se comparan varias herramientas, se puntúan las dos varas por separado. Con un solo número mezclado no se sabe cuál de las dos falla.

Cómo cuenta una persona

El método más confiable es que una persona cuente directamente. Se divide el pedido en elementos comprobables —paraguas rojo, tres personas, calle bajo la lluvia— y se marca en el resultado si cada uno entró o no. La proporción de aciertos es la puntuación.

También se usa poner dos resultados uno al lado del otro y elegir cuál está más cerca del pedido: entre personas, elegir suele ser más estable que poner una nota.

El problema es que es lento y caro, y el criterio varía de una persona a otra, así que conviene que varias personas miren el mismo resultado y anotar cuánto coincidieron.

Cómo califica automáticamente

También se puede dejar la calificación a otro modelo. Una forma habitual es mostrarle el resultado a un modelo que describe imágenes con palabras y comparar cuánto coincide con el pedido original, o preguntar a un modelo que mide imagen y texto con la misma vara cuán cerca están.

Últimamente se usa mucho el método de partir el pedido en preguntas pequeñas y hacerlas una por una. Se convierte cada elemento en una pregunta de sí o no, como si el paraguas es rojo o si hay tres personas, y la proporción de respuestas correctas se toma como puntuación. Es trasladar directamente a la máquina lo que antes hacía una persona contando elementos.

La calificación automática es barata y puede revisar miles de imágenes en un día. A cambio, lo que el modelo calificador no logra ver, nunca lo ve. Puede pasar por alto un cartel con letras deshechas o una sombra rara. Por eso se suele mezclar: filtrar en grande con la puntuación automática y que una persona revise solo una parte.

Los puntos que fallan más a menudo

Los lugares donde la fidelidad se rompe suelen ser los mismos. El primero es la cantidad: si se pidió tres, es común que salgan dos o cuatro. El segundo es la relación de posición: palabras como izquierda, arriba o detrás, que fijan dónde va cada cosa respecto a otra, no siempre se respetan.

El tercero es que las propiedades se mezclan: un sombrero rojo y una bolsa azul pueden intercambiar el color. El cuarto son las letras: el texto de un cartel suele salir como un patrón sin sentido, parecido a letras pero sin serlo. El quinto es lo que se pide excluir, que a veces aparece igual.

Lo que se pierde al subir la fidelidad

Hay una perilla que empuja al resultado a seguir el pedido con más fuerza. Subir ese valor hace que los elementos escritos entren bien, pero el color se satura y el resultado queda rígido. Bajarlo da naturalidad y variedad, pero el pedido se sigue con menos cuidado.

En vez de forzar la perilla al máximo para acertar de una vez, suele salir mejor dejarla en un punto razonable, generar varias imágenes y elegir la que más se acerca al pedido. La fidelidad no es la nota de una sola imagen; es un valor que hay que ver como el promedio de varias.