EquidadFairness

El sesgo es un hecho; la equidad es un juicio

El sesgo es la observación de que "el resultado de este modelo se inclina hacia un lado". Al medirlo, sale un número. La equidad es preguntarse, mirando ese número, "¿esta inclinación es aceptable?" y, si no lo es, "¿hacia dónde habría que corregirla?". Medir y decidir están conectados, pero no son la misma tarea.

Confundir esta diferencia genera pedidos extraños. No se le puede pedir a una herramienta que mide la inclinación que "haga las cosas equitativas". La herramienta puede decir en qué eje y cuánto se está desviando algo; si corregir esa desviación es lo correcto, eso lo tiene que decidir una persona.

Poner un termómetro frente al ventilador dice cuántos grados hay en cada asiento. El termómetro no dice hacia qué asiento debería apuntar el aire.

La equidad no tiene una sola definición

Una primera respuesta es igualar la proporción de resultados: que la tasa de aprobación sea parecida en todos los grupos. Una segunda respuesta mira a quienes recibieron el mismo veredicto: que, entre quienes fueron aprobados, la proporción que en verdad rindió bien sea igual entre grupos, algo cercano a lo que se llama calibración.

Una tercera respuesta mira la dirección del error: igualar entre grupos la frecuencia con que se rechaza a alguien que sí calificaba. Una cuarta respuesta mira directamente al individuo: que personas parecidas reciban un trato parecido.

Las cuatro suenan razonables, y las cuatro tienen quien las defienda. El problema es que, sobre los mismos datos, estas respuestas terminan tomando decisiones distintas entre sí.

Casos donde no se pueden cumplir todas a la vez

Si la proporción real ya es distinta entre los grupos desde el inicio, en el momento en que se iguala la tasa de aprobación se descuadra la proporción real dentro de cada veredicto. Y si se iguala esa proporción real, entonces se desequilibra la tasa del error en una dirección. Ajustar una de estas cosas con exactitud desplaza a la otra, y está demostrado que, salvo en casos muy particulares, no existe una forma de cumplir las tres a la vez.

Por eso el trabajo real no es "hacer las cosas equitativas", sino "elegir qué se prioriza primero". Donde el costo de rechazar por error a alguien que calificaba es alto, se prioriza reducir ese error; donde se está repartiendo un recurso, se prioriza igualar la proporción.

Es como el ventilador que no puede girar y quedarse fijo al mismo tiempo. No es que falte un método; es que hay que decidir qué importa más antes de poder dar el siguiente paso.

Ocultar un dato no vuelve las cosas equitativas

Lo primero que se le ocurre a cualquiera es quitar directamente los datos sensibles. Pero es muy común que los datos que quedan terminen delatando esa misma información de otra forma. La zona donde alguien vive, los lugares por los que pasó, la forma de hablar, la hora en que se conecta: todo eso va dejando pistas. Aunque se borre el dato, el modelo puede llegar a una conclusión parecida.

Además, al quitar el dato desaparece también la forma de medir la inclinación. Para saber en qué grupo el resultado sale peor, hace falta poder distinguir a ese grupo. De ahí viene también la idea de que, para poder revisar, conviene guardar esa información con cuidado y limitar estrictamente para qué se usa.

Dejar constancia del criterio elegido también es parte del trabajo

El trabajo de equidad tiene tres pasos: decidir en qué eje se va a mirar, medir cuánto se desvía en ese eje, y elegir qué criterio se prioriza y dejar anotado por escrito ese criterio y la razón. Si se salta el último paso, los dos primeros se quedan como números guardados en un cajón.

Dejarlo por escrito hace posibles dos cosas: que otra persona con un juicio distinto pueda señalar en qué se diferencia, y que, cuando la situación cambie con el tiempo, esa elección se pueda volver a revisar. La equidad no es un ajuste que se hace una vez y queda listo; es una decisión que hay que volver a abrir una y otra vez.