Conjunto de validaciónValidation Set

Separar desde el principio los datos de estudio y de revisión

Si se mete todo el conjunto de datos en el entrenamiento y luego se califica con esos mismos datos, el puntaje siempre sale bien: es corregir algo que ya se ajustó para que quedara bien. Por eso, en cuanto se reúnen los datos y antes de empezar a entrenar, se aparta un bloque a un lado. La proporción suele rondar uno de cada diez, y si hay muchísimos datos, a veces se aparta incluso menos.

Los datos apartados nunca se usan para corregir los valores del modelo. Solo sirven para calificar. Así el puntaje refleja de verdad la habilidad frente a algo nunca visto. En cuanto se deja pasar aunque sea una vez el conjunto de revisión hacia el entrenamiento, desde ese momento el puntaje deja de medir habilidad y pasa a medir memoria.

Las decisiones que toma el puntaje de validación en tu lugar

El entrenamiento mejora un poco en cada vuelta. Si al terminar cada vuelta se califica con el conjunto de validación y se anota el puntaje, esa serie de números toma varias decisiones por sí sola. La más común es cuándo parar: si el puntaje de validación lleva varias vueltas igual o vuelve a empeorar, ahí se corta el entrenamiento.

Cuántas capas apilar, qué tasa de aprendizaje usar, cuánto dropout aplicar, también se eligen con el puntaje de validación. Estos valores no los aprende el modelo por sí solo, los fija una persona de antemano; se prueban varios candidatos y se conserva el que da mejor puntaje de validación.

También puede acabar ajustándose al conjunto de validación

Si en el cajón se saca cien veces la misma foto para afinar el color, el resultado puede terminar encajando solo con esas fotos concretas. Con el conjunto de validación pasa igual: si se ajusta la configuración decenas o cientos de veces mirando siempre el mismo puntaje, quien termina acomodándose a esos datos no es el modelo, es la persona que lo ajusta. El puntaje de validación sigue subiendo, pero con datos nuevos ya no rinde tanto.

Por eso se impuso la costumbre de dividir los datos en tres: la parte para aprender, la parte para revisar durante el entrenamiento, y la parte que se abre una sola vez, cuando todas las decisiones ya están tomadas. Solo el puntaje de esa última parte es un puntaje que nadie ajustó de antemano.

Cómo se separa también cambia el puntaje

Cortar en orden, desde el principio, es arriesgado. Si los datos están ordenados por fecha o por tipo, la parte de revisión puede quedar cargada de un periodo o un tipo concreto. Por eso lo habitual es mezclar bien y apartar al azar, y a veces incluso mantener la proporción de cada tipo al hacerlo.

También es frecuente que el mismo contenido aparezca repetido en ambas partes: el mismo documento llegado por dos vías, o una foto retocada varias veces para multiplicarla. Cuando eso ocurre, algo casi idéntico a lo usado en el entrenamiento se cuela en la revisión, y el puntaje sale mucho más alto de lo real. Con datos que avanzan en el tiempo, conviene apartar la parte de revisión del período más reciente, para acercarse más a una situación real.

Cuando hay pocos datos

Si solo se tienen unos cientos de casos, apartar uno de cada diez ya duele, y el puntaje que da esa parte tan pequeña se mueve mucho según qué datos hayan caído ahí. En ese caso, en lugar de fijar una parte, se divide en varias y se revisa por turnos, promediando los puntajes. Se llama validación cruzada, y aprovecha todos los datos sin descartar ninguno mientras reduce ese vaivén.