Dropout

1El problema de depender de pocas neuronas

Dentro de un modelo hay muchísimas neuronas que se pasan valores entre sí. Cuando el entrenamiento se alarga, unas pocas suelen formar una combinación que carga con casi toda la respuesta, mientras el resto queda relegado a un papel de apoyo.

Ese modelo acierta muy bien con los datos que usó para entrenar. Pero si esa combinación no funciona con datos nuevos, no tiene a qué recurrir y falla mucho. Una estructura tan concentrada se derrumba en cuanto los datos cambian un poco.

El dropout rompe esa concentración durante el entrenamiento. Como en cada paso desaparece un grupo distinto de neuronas, ninguna combinación tiene tiempo de volverse indispensable. El aprendizaje se inclina entonces hacia que cada neurona produzca, por su cuenta, una señal que sirva de algo.

2Se vuelve a sortear en cada paso

Las neuronas que descansan no se deciden de antemano. Cada vez que se procesa un solo dato se sortean de nuevo. La que resulta elegida para descansar queda en cero durante ese paso, y también queda fuera cuando se reparte la corrección hacia atrás.

Así, cada paso entrena en realidad un modelo un poco distinto. Si hay miles de neuronas, las combinaciones posibles son prácticamente infinitas. El modelo terminado se parece bastante al promedio de todos esos modelos ligeramente distintos: es una manera de imitar, dentro de uno solo, el viejo truco de que promediar varios modelos da resultados más estables.

3Cuánto hacer descansar

La proporción que descansa la fija una persona. Apagar cerca de la mitad es una configuración habitual, y en las capas con pocas neuronas se usa mucho menos. Si la proporción es demasiado alta, las neuronas que quedan no dan abasto y el aprendizaje no avanza; si es demasiado baja, no llega a romper la concentración y no sirve de mucho.

También se puede variar por capa: fuerte donde las neuronas están muy amontonadas, suave cerca de donde entran los datos. En entrenamientos con muchísimos datos a veces ni se usa, porque no hay tantas repeticiones como para memorizar.

Conviene saber además que el dropout hace el entrenamiento bastante más lento: como en cada paso falta una parte, hace falta dar más vueltas para llegar al mismo resultado. Si solo se mira el rendimiento sobre los datos de entrenamiento, la versión sin dropout suele parecer mejor; pero si el modelo sobreajusta mucho, al medir con datos aparte el orden suele invertirse.

4Al usarlo, se encienden todas

Cuando el entrenamiento termina y llega el momento de dar respuestas de verdad, no se apaga nada: no conviene que la misma pregunta dé respuestas distintas cada vez. Pero encender todo sin más trae un problema. Durante el entrenamiento los valores siempre fluían con una parte apagada, y ahora que está todo encendido los valores resultan más grandes de lo esperado.

Por eso se aplica un ajuste de escala. Lo habitual es agrandar de antemano el valor de las neuronas que sobrevivieron durante el entrenamiento. Hecho así, al usar el modelo de verdad no hace falta ninguna corrección adicional: la magnitud de los valores ya coincide con la del entrenamiento.