Punto de controlCheckpoint

Por qué guardar los puntos a mitad de camino

Entrenar un modelo grande puede llevar de varios días a varias semanas. En ese tiempo se corta la luz, se acaba el tiempo del equipo de cómputo alquilado, o el programa se detiene por un error menor. Sin una copia guardada, todo el tiempo y el dinero gastados hasta ese instante desaparecen como los puntos que se sueltan.

Poder volver atrás es otra razón de peso. Al entrenar durante mucho tiempo, es común que, pasado cierto punto, el resultado empiece a empeorar en vez de mejorar. Si se fueron guardando los puntos vuelta a vuelta, alcanza con sacar la de mejor resultado. Sin esas copias, no queda otra que aceptar el resultado ya empeorado o volver a entrenar desde el principio.

También sirve cuando se quiere probar varios caminos cambiando la configuración. Se copia una misma copia intermedia varias veces y se sigue entrenando cada una con una configuración distinta, así se pueden comparar varios caminos sin repetir la parte de antes.

Qué tiene que estar junto para poder seguir tejiendo

Lo más importante son los valores del modelo: el conjunto de números que el entrenamiento ajustó hasta ese momento. Con eso solo ya se puede usar el modelo de ese punto para dar respuestas.

Pero para seguir entrenando, eso no alcanza. Hace falta que estén juntos, además, en qué vuelta va, cuánto vale ahora el tamaño del paso según el plan, y qué tanto impulso lleva acumulado la herramienta que mueve los valores. Sin esta información, aunque se lleven los valores, el paso vuelve a arrancar grande o el impulso se corta, y el entrenamiento se sacude durante un buen tramo. Es como pasar los puntos a la aguja de repuesto sin anotar en qué fila iba: el dibujo termina desalineado. Una copia para dar respuestas y una copia para seguir entrenando no guardan lo mismo.

Las agujas de repuesto se quedan cortas enseguida

Las copias pesan más de lo que parece. Como el modelo tiene cientos de millones de valores, una sola copia puede llegar a varios gigabytes, y si se le suma la información para continuar, el peso se duplica o triplica. Si se guarda una por vuelta, el espacio se acaba enseguida.

Por eso se fija una regla: conservar solo las más recientes y borrar las viejas, pero marcar aparte la de mejor puntaje sin borrarla nunca. Escribir la vuelta y el puntaje en el nombre de la copia responde a lo mismo: si después quedan varias guardadas, sin ese dato no hay forma de saber cuál corresponde a qué momento ni de usarla.

Lo que se comparte con otras personas

Lo que se comparte al terminar de entrenar también es, al final, esta misma copia. En ese caso se saca la información para continuar y se guardan solo los valores, para que pese menos: quien la recibe casi siempre solo la va a usar para dar respuestas.

También es común lo contrario: tomar una copia que subió otra persona y seguir entrenándola con datos propios. En vez de arrancar de cero, se parte de un punto que ya aprendió mucho, así que se ahorra tiempo y dinero. Cuando se descarga un modelo de uso extendido para ajustarlo, lo que realmente se tiene en la mano es un punto de control de ese modelo.