Aprendizaje federadoFederated Learning

El orden de una vuelta

El primer paso es bajar el modelo. El modelo actual, que está en un lugar central, se copia tal cual y se envía a los equipos que participan. En este momento, todos tienen en sus manos el mismo modelo.

El segundo paso es que cada quien aprenda. Cada equipo entrena un poco con los datos que tiene guardados dentro. Se hacen solo unas cuantas vueltas, lo justo para que el modelo cambie un poco. El tercer paso es subir. No se envía al centro el modelo entrenado completo, sino solo la parte que cambió respecto a lo que se recibió al principio.

El cuarto paso es combinar. El centro promedia los cambios que llegaron de los distintos equipos y arma un modelo nuevo. A veces se le da más peso a la parte que viene de un equipo con más datos. Ese modelo nuevo se vuelve a repartir y ahí arranca la siguiente vuelta. Es normal que esto se repita decenas o cientos de veces.

Qué va y viene, y qué se queda

El centro de este método está en que cambia el tipo de cosa que va y viene. En el método que junta los datos, lo que sube al servidor son fotos, mensajes, registros de ubicación. En el aprendizaje federado, en ese lugar sube en su lugar un paquete de números. El original se queda dentro del equipo.

Gracias a eso, la naturaleza del riesgo cambia. Aunque el servidor sea vulnerado, el original de una persona no se filtra entero, y como los registros no se amontonan en un solo sitio, también baja la preocupación por cuánto tiempo se guardan o hasta dónde llega una filtración. Por la misma razón, se abre un camino para que lugares como los hospitales, que no pueden sacar sus datos hacia afuera, se ayuden entre sí.

Aunque solo se suba un resumen, algo puede filtrarse

La parte que cambió del modelo es, al final, un valor calculado a partir de los datos de ese equipo. Por eso, si se escarba en ese número, se puede rastrear parte del original. Se sabe de casos donde se llega a averiguar si cierta frase se usó en el entrenamiento, o donde, si se dan las condiciones, se logra reconstruir aproximadamente una imagen.

Por eso se combinan varias medidas de protección. La primera es subir solo lo estrictamente necesario: se recorta el tamaño de los valores y se descarta lo mínimo. La segunda es añadir ruido: se suma a propósito una variación pequeña, lo bastante como para que no se pueda identificar a una persona en concreto. La tercera es agregar de forma cifrada: se usa una técnica criptográfica para que el centro no pueda ver el valor de cada equipo por separado, solo la suma de varios. El aprendizaje federado en sí mismo es el punto de partida; la protección de los datos personales se completa cuando se le suman estas medidas.

Puntos más difíciles que juntar los datos

La dificultad más grande es que los datos son distintos en cada equipo. Si se juntan en un solo lugar, quedan bien mezclados; pero en el sitio de cada quien, algún equipo puede tener casi solo datos de un mismo tipo. Si se promedian cambios aprendidos en ese estado, las direcciones tienden a cancelarse entre sí y cuesta avanzar.

La situación de cada equipo también varía mucho. Unos calculan lento, a otros se les corta la conexión. Por eso, en servicios reales, se elige participar solo a los equipos que están cargando batería y conectados a wifi, y no se espera a los resultados que llegan tarde: se sigue adelante sin ellos. Decidir cuántos equipos participan en cada vuelta, cuántas veces entrena cada uno y con qué frecuencia se combina es el diseño central de este método.