Dilema ético de la IAAI Ethics Dilemma

Por qué se dividen las opiniones

Las tres personas hablan desde criterios distintos. El primer criterio mira el tamaño del resultado: elegir la opción que, en conjunto, produce más bien que mal. Es fácil de contar y convence, pero tiene el punto débil de que el perjuicio concentrado en unos pocos puede quedar disuelto en la suma total.

El segundo criterio mira la línea que no se debe cruzar. Sea cual sea el resultado, hay cosas que no se hacen: no tratar a las personas solo como medio, no usar información sin su consentimiento. Este criterio no se tambalea, pero cuando dos líneas chocan entre sí, la respuesta se traba.

El tercer criterio mira el reparto justo. Quién gana y quién carga con el costo, si siempre es el mismo lado el que queda relegado. No se nota bien en una sola decisión; se revela después de muchas decisiones acumuladas. La mayoría de los desacuerdos nacen de cuál criterio se pone primero, y muy pocas veces de que la otra parte tenga mala intención.

Decidir en el momento y dejarlo escrito de antemano

Los dilemas que enfrenta una persona suelen resolverse ahí mismo. Se mira la situación, se duda, se elige, y a veces después se arrepiente. Que el juicio cambie un poco cada vez no se ve como un defecto.

La IA no puede funcionar así. Hay que decidir de antemano qué se prioriza, y si no se decide, el sistema sigue la tendencia que quedó impresa en los datos de entrenamiento. No decidir también es, en el fondo, una forma de decidir.

Un criterio escrito de antemano tiene algo a favor: se puede ver desde afuera qué se eligió, se puede cuestionar y se puede corregir. Una decisión tomada en el momento es difícil de reconstruir después, pero un criterio escrito queda ahí. Pasar el dilema al papel puede parecer incómodo, pero es lo que abre la puerta a discutirlo.

Una sola decisión, repetida millones de veces

Si cien personas juzgan la misma situación, las respuestas se dispersan. Unos se inclinan hacia un lado, otros hacia el otro, y esa dispersión evita que todo se incline hacia un único extremo.

Una máquina funciona distinto. Un criterio fijado una vez se aplica igual en todos los casos. Si ese criterio está un poco torcido, esa torcedura se repite millones de veces sin cambiar. El sesgo de una sola persona termina siendo un caso aislado; el sesgo de un sistema adquiere escala.

Por eso el problema ético de la IA no es solo "¿es correcta esta elección?", sino también "¿está bien repetir esta elección a esta escala?". Una decisión aceptable una sola vez puede convertirse en otra cosa cuando se repite un millón de veces.

Lo que sí se puede decidir, aunque no haya una única respuesta

Es difícil que todos estén de acuerdo en qué es lo correcto. Aun así, hay cosas que sí se pueden decidir: quién fija este criterio, si las personas afectadas tienen un lugar donde alzar la voz al fijarlo, y si se hace público lo que se eligió.

A esto se suman dos cosas más: qué procedimiento se sigue cuando se descubre que un criterio estaba equivocado, y a dónde van las excepciones que el criterio no logra cubrir bien. El dilema no desaparece del todo, pero sí se puede dejar preparado un camino de vuelta para cuando la elección resulte equivocada.