RLHF

Por qué se reúnen comparaciones en vez de respuestas modelo

Para "una buena respuesta" no existe una respuesta modelo única. En la misma pregunta a veces gana una respuesta corta y clara, y a veces una que trae ejemplos. Pedirle a una persona que escriba la respuesta perfecta cada vez toma mucho tiempo, y cada quien escribe con un tono distinto.

En cambio, poner dos respuestas lado a lado y elegir es mucho más rápido. Aunque no se pueda explicar la razón, sí se puede elegir, y al juntar las elecciones de mucha gente aparece con claridad hacia dónde apunta la preferencia.

Por eso el material de esta etapa es, en su mayoría, pares de respuestas junto con una marca de cuál es mejor. También se reúnen marcas de que ninguna es mejor, o de que las dos tienen problemas.

Trasladar la elección humana a un marcador

Las elecciones reunidas no se pueden usar tal cual. Durante el entrenamiento se generan millones de respuestas, y no hay forma de que una persona las revise todas. Por eso se construye aparte un evaluador que imita esas elecciones: recibe una respuesta y devuelve un solo puntaje, alto para el estilo que la gente suele elegir y bajo para el que suele quedar de lado. Es como la máquina de karaoke, que refleja el gusto de la gente al calcular un puntaje.

La calidad de este evaluador determina toda la etapa. Si al reunir las elecciones el gusto de la gente estaba sesgado hacia un lado, ese sesgo queda grabado tal cual en el marcador.

Ajustando poco a poco según el puntaje

Ahora el modelo genera una respuesta, el evaluador le pone puntaje, y se retoca poco a poco en la dirección donde ese puntaje sube: lo que salió bien se empuja para que aparezca más seguido; lo que sacó puntaje bajo, para que aparezca menos.

Aquí hay un dispositivo importante: una restricción que evita alejarse demasiado del modelo original. Si solo se persigue el puntaje, el resultado deriva hacia frases que ya no suenan a una persona; esta atadura permite mantener el tono y el conocimiento mientras solo cambia el matiz. En el karaoke sería evitar que, por subir el puntaje, se termine gritando en vez de cantar.

El punto débil del marcador

El problema aparece porque el marcador es solo una aproximación al gusto humano. Si el modelo encuentra el rasgo que le gusta al evaluador, empieza a entregar respuestas que solo sacan buen puntaje en vez de respuestas de verdad buenas.

Lo más común es la palabrería: una respuesta larga suele leerse como más aplicada y sacar mejor puntaje, así que, cuanto más se pule, más tienden a alargarse las respuestas. La costumbre de darle la razón al usuario sin más tiene la misma raíz, porque la gente suele elegir con más frecuencia la respuesta que coincide con ella.

Por eso esta etapa se repite: revisar el resultado, encontrar dónde está sesgado, reforzar el material de preferencias y retocar el evaluador.

Cómo se conecta con la etapa anterior

La forma de entender la instrucción como señal y responder con esa forma se aprende en la etapa anterior, el ajuste por instrucciones. Sin esa etapa no habría ni siquiera un criterio para distinguir qué respuesta es mejor.

RLHF se apoya encima de eso: es el lugar donde se aprende, entre dos respuestas que cumplen la misma instrucción, cuál le resulta mejor a una persona. Ahí se fija el largo de la respuesta, el tono, la profundidad de la explicación y cómo rechazar un pedido riesgoso.

Últimamente también se usa mucho reemplazar la elección humana con la de un modelo grande, o ajustar el modelo directo con el material de preferencias sin construir un evaluador aparte. El armazón de fondo sigue siendo el mismo: tomar como base la preferencia que elige una persona.