Aprendizaje por transferenciaTransfer Learning

Las capas de entrada aprenden lo que sirve para todo

Si se recorre un modelo de entrada a salida, cada parte hace algo distinto. Las capas de entrada ven lo más general: en una foto, dónde cambia el brillo, hacia dónde va una línea, la textura de un patrón. Eso hace falta igual sea una foto de perro o de una pieza industrial.

Hacia la salida, se ve lo que sirve solo para la tarea que se estaba haciendo. El último tramo es directamente el que decide "en qué categoría entra esta foto". Esa parte solo sirve para la tarea original.

Llevado al herrero, la parte de entrada es el ojo que lee el hierro, y la parte de salida es el movimiento de mano que traza la curva de la hoz. El aprendizaje por transferencia conserva la parte de entrada y solo cambia la de salida.

Solo se vuelve a aprender lo de salida

El método más simple es este: se toma un modelo ya entrenado, se le quita la parte final de decisión y se le pega una parte nueva hecha a medida de la tarea. Y se deja fija la parte de entrada, sin tocarla, mientras se entrena solo lo recién pegado.

Así el entrenamiento es muy rápido, porque solo hay que corregir una parte mínima del total. A veces basta con unos minutos en una computadora portátil. La experiencia de enseñarle unos gestos a la webcam para mover un juego usa justo este método.

Si se afloja un poco la parte fija y se ajusta también, a veces el rendimiento sube más. Cuánto aflojar es una decisión de criterio.

La tarea nueva necesita menos datos

Esta es la razón principal por la que el aprendizaje por transferencia se usa tanto. Como la base ya está puesta, hay menos que enseñar de nuevo, y al enseñar menos, hacen falta menos datos.

Enseñar desde cero a detectar piezas defectuosas necesitaría cientos de miles de fotos. Sumando esa tarea a un modelo que ya sabe ver, con unos cientos de fotos de la pieza ya sale un resultado usable. En terrenos donde reunir datos es difícil, esa diferencia decide si el proyecto es viable o no.

Si están demasiado alejadas, no pasa

La base del herrero se transfiere bien a un cuchillo o a una azada, pero no pasa a trabajar el vidrio: el material es distinto, y el ojo entrenado en el hierro no sirve de nada. Puede incluso estorbar el hábito de la mano acostumbrado al hierro.

Con los modelos pasa igual. El ojo entrenado con fotos cotidianas se transfiere más o menos bien a fotos de piezas o satelitales, pero casi no pasa a datos con una forma muy distinta, como una ecografía. Cuando la mirada transferida termina hundiendo el rendimiento en lugar de ayudar, se le llama transferencia negativa. Lo primero es calibrar cuánto se parecen las dos tareas.

Hay varios grados de transferir

Fijar toda la parte de entrada y solo tomar prestada la mirada es la forma más ligera. Va bien cuando hay muy pocos datos.

Retocar el modelo entero con los datos nuevos es el ajuste fino: cuesta más trabajo, pero encaja mejor con la tarea nueva. También existe entrenar solo un pequeño añadido dejando el cuerpo intacto, un método muy usado hoy cuando un modelo grande se reparte entre varios usos. Los tres son ramas bajo un mismo paraguas: el aprendizaje por transferencia.