EtiquetadoLabeling

Etiquetar es, al mismo tiempo, construir el criterio

Es fácil ver el etiquetado como una simple tarea de preparación, pero en realidad es el lugar donde se decide qué se va a considerar la respuesta correcta. Hacia qué lado se etiquetó se convierte, tal cual, en lo que el modelo va a aprender, y también en la vara con la que se va a calificar más adelante.

Por eso hay cosas que decidir antes de empezar: en qué categorías se va a dividir, qué hacer con lo que no entra en ninguna, y si un mismo dato puede llevar varias respuestas a la vez. Si se empieza sin resolver esto, a mitad de camino hay que volver a empezar desde cero.

La guía es la mitad del trabajo

Una buena guía no trae solo los nombres de las categorías. Trae también ejemplos que caen justo en el límite: en este caso va en esta categoría, en este otro va en aquella, mostrando datos reales.

La guía nunca queda terminada desde el principio: crece cada vez que aparece un caso difícil, anotando ahí mismo el criterio que se decidió. Por eso conviene empezar etiquetando poco a poco mientras se afina la guía, y recién después, cuando las reglas se estabilizan, avanzar con el volumen grande.

Si la guía cambia sobre la marcha, hay que volver atrás y corregir lo que ya se etiquetó antes. Un lote de datos donde la primera parte y la última siguen criterios distintos es difícil tanto para aprender de él como para calificar con él.

Cada persona etiqueta distinto

Al darle el mismo dato a dos personas, siempre aparece una parte donde el juicio se divide. Medir con un número cuánto se divide da una idea del estado del conjunto de datos. Si la coincidencia es baja, no es que quien etiquetó fue descuidado: es que la guía es ambigua o el dato mismo es confuso.

Ese número también sirve para fijar expectativas. Si ni siquiera las personas coinciden más de cinco veces de cada siete, pedirle al modelo un puntaje más alto que ese ya es pedir de más.

Lo ambiguo no se descarta: se junta aparte

Meter a la fuerza en cualquier categoría un dato que cae justo en el límite es cómodo por ahora, pero se paga después. El modelo falla más seguido justo en esa zona ambigua, y como la respuesta correcta misma se tambalea, tampoco queda claro hacia dónde corregir.

Por eso lo ambiguo se junta aparte, en una caja de pendientes, y se discute todo junto. El criterio que sale de esa discusión termina siendo la parte más valiosa de la guía. Y esos datos que quedaron pendientes sirven después como material de prueba para ver justo dónde se confunde el modelo.

Aunque se aligere la carga, la revisión sigue haciendo falta

Cuando los datos crecen, ya no alcanza con la mano humana sola. Se usan reglas que etiquetan de forma automática, o un modelo ya entrenado que escribe un borrador y una persona lo corrige. También es común mandarle a una persona solo los casos donde la confianza salió baja.

Sea cual sea el método, el lugar de la revisión humana no desaparece. En las respuestas puestas de forma automática se cuelan errores que se repiten siempre en la misma dirección, y ese tipo de error hace mucho más daño que uno al azar. Conviene dejar planeado, desde el principio, un paso donde una persona revise una muestra de lo ya etiquetado.