Evaluación humanaHuman Evaluation

Primero hay que decidir qué se va a mirar

El error más común es entregar el trabajo diciendo apenas "revisen si está bien escrito", sin ninguna pauta. Alguien mira si las frases suenan fluidas, otro si los datos son correctos, otro se fija en el largo. Al juntar los resultados, quedan mezclados números que en realidad midieron cosas distintas.

Por eso se divide en puntos concretos. Se califica por separado si respondió lo que se preguntó, si los datos son correctos, si se lee con comodidad, si no tiene expresiones desagradables. Si a cada punto se le agregan dos o tres ejemplos de "esto vale tantos puntos", el criterio de las distintas personas se alinea mucho mejor.

Armar esa pauta es, en sí, la mitad de la evaluación. Si no se puede escribir con palabras qué hace que una respuesta sea buena, eso también quiere decir que todavía no se decidió del todo qué se quiere construir.

¿Poner un puntaje o elegir entre dos?

Asignar un puntaje a una sola respuesta es fácil de organizar, pero la escala se tambalea. Ante la misma respuesta, una persona pone 3 y otra pone 5. El puntaje también cambia según si la respuesta anterior que vio era buena o mala.

Por eso se usa mucho poner dos respuestas una al lado de la otra y pedir que se elija cuál es mejor. No hace falta una escala absoluta, así que las diferencias entre personas se reducen, y la misma persona da resultados más parejos aunque lo repita varias veces. Al acumular estas elecciones, las victorias y derrotas se convierten en un puntaje de clasificación.

A cambio, elegir entre pares exige más trabajo. A medida que aumentan los candidatos, los pares que hay que comparar crecen muy rápido. Por eso también se usa el método de revisar solo algunos pares elegidos, en lugar de todos.

Cuando las personas no coinciden

Conviene medir cuánto coinciden dos personas al ver la misma respuesta. Si ese número es bajo, no es que las personas lo hayan hecho mal: es que la pauta es ambigua. Al juntar los casos donde hubo desacuerdo se ve con claridad qué parte de la pauta hay que corregir.

También es común que varias personas miren un mismo caso y gane la mayoría. Como los gustos personales de cada uno tienden a compensarse entre sí, el resultado queda más estable. Hay que ocultar quién generó cada respuesta y mezclar el orden en que aparecen, porque cosas como preferir la respuesta que aparece a la izquierda pesan más de lo que parece.

El verdadero problema es que es lenta y cara

El punto débil de la evaluación humana no es la precisión, sino la velocidad y el costo. No se puede convocar personas cada vez que se retoca un poco el modelo. Por eso, durante el desarrollo se usan métricas automáticas, y la evaluación humana se reserva para los puntos que de verdad importan.

También se usa cada vez más pedirle a un modelo de lenguaje que haga de calificador. Es rápido y barato, pero tiene manías de juicio distintas a las de una persona, así que su confiabilidad se termina confirmando comparándolo con los resultados de la evaluación humana. Por más que crezca la calificación automática, esa es la razón por la que la evaluación humana no desaparece.