Sesgo de la IAAI Bias

La inclinación entra desde el momento de reunir los datos

Al reunir datos, ya queda decidido cuánto entra del registro de cada quién. La forma de hablar y los intereses de quien deja más rastro se acumulan gruesos, y quien deja poco rastro queda apenas presente. Aunque se copie el mundo tal cual es, si el mundo mismo está inclinado, los datos quedan igual de inclinados.

La forma de reunir también crea inclinaciones nuevas. Los datos recogidos solo en cierto horario y por cierto canal reflejan únicamente los rasgos de quienes pasaron por ese canal. Es lo mismo que la huella que dejaron unos pocos apurados y que se convirtió en el sendero del parque.

Por eso, con solo aumentar la cantidad de datos, la inclinación no se endereza. Multiplicar por diez unos datos inclinados solo produce diez veces más datos inclinados. Hace falta ver qué falta y llenar justo esa parte para que la inclinación disminuya.

El criterio de quien etiqueta también se aprende

Buena parte de los datos de entrenamiento se arma con personas que ponen una etiqueta correcta, una por una. Qué se considera una expresión adecuada o hasta dónde se cuenta como una petición peligrosa depende del criterio de quien etiqueta. Si ese criterio solo refleja la sensibilidad de un grupo, esa sensibilidad se vuelve la respuesta correcta, y el modelo la aprende sin cuestionarla.

Por muy detalladas que sean las instrucciones, siempre quedan límites confusos. Por eso se reparten los mismos datos entre varias personas y se mide cuánto coinciden en su respuesta. Cuando las respuestas se abren mucho en un ítem, es señal de que hay que redefinir el criterio antes de entregárselo al modelo.

También se cuela una inclinación al decidir qué cuenta como un buen resultado. Si la vara de éxito es "qué tan parecido es al registro pasado", el modelo gana puntos cuanto más repite el estilo del pasado. La vara misma queda trazada sobre la huella.

Un solo puntaje general no lo muestra

Una exactitud general alta parece indicar que todo está bien hecho. Pero ese puntaje sale, en su mayor parte, del lado donde los datos son abundantes. Aunque el modelo se equivoque seguido en el lado con pocos datos, si ese grupo pesa poco, el puntaje general apenas se mueve. Un solo promedio no revela dónde está la inclinación.

Por eso, al revisar, conviene partir el puntaje. Medir por separado según edad, región o forma de hablar deja ver diferencias que el promedio escondía. Si no se define de antemano por qué eje separar, la inclinación queda sin verse.

Una retroalimentación que se afianza cuanto más se pisa

Cuando el juicio de la IA influye en el mundo y ese resultado vuelve a ser dato de entrenamiento, la inclinación inicial se vuelve más pronunciada con el tiempo. Lo que se recomienda menos, la gente lo ve menos; al verse menos, se acumula menos registro sobre eso, y con un registro más delgado, el siguiente modelo lo conoce todavía peor.

Es igual que una huella que, cuanto más se afirma, menos gente se anima a pisar el pasto y abrir otro camino. Donde hay retroalimentación en marcha, medir la inclinación a tiempo es especialmente importante: una vez que se endurece, cuesta mucho más revertirla.

Se puede reducir, no eliminar

Se reduce la inclinación llenando aparte los datos que faltan, cruzando la etiqueta correcta entre varias personas, midiendo el puntaje por grupo una vez terminado el entrenamiento, y dejando que una persona revise una vez más los casos donde el resultado se abre mucho.

Aun así, no existen datos completamente planos. Los registros que deja la gente llevan pegada la forma en que esa gente vivió, y si se quita esa parte, también desaparecen los datos de los que aprender. Ocuparse del sesgo no es llevarlo a cero, sino medir cuánto está inclinado cada lugar y dejarlo dicho con claridad.

Hasta qué grado de inclinación se puede aceptar y cuál hay que corregir sin falta no queda decidido solo con medir. Esa decisión le toca a la equidad.