Puntos clave
- El preentrenamiento es la etapa donde, antes de decidir para qué se va a usar, se aprende lo básico con una cantidad enorme de texto.
- Nadie pone las respuestas correctas a mano. El propio texto ya trae la respuesta, así que la pregunta y la respuesta se generan solas.
- En esta etapa se incorporan de una sola vez la ortografía, la estructura de la frase y hasta el conocimiento general del mundo.
- Toma mucho tiempo y cuesta caro. Por eso se hace una sola vez y se reparte para muchos usos.
- Hasta qué punto llega el material aprendido se convierte, directamente, en el límite de lo que el modelo conoce del mundo.
La analogía
Al sacar la licencia de conducir no se aprende "el camino de mi casa al trabajo". Lo que se enseña en el examen sirve en cualquier lugar: manejar el volante y los pedales, qué significan los carriles y las señales, qué hacer cuando cambia el semáforo.
Mientras se enseña eso, nadie sabe todavía si esta persona va a manejar para ir al trabajo, para repartir carga o por caminos rurales. Como no se conoce el destino, tampoco tiene sentido hacerla memorizar una ruta concreta. Por eso se enseña, de forma pareja, lo básico que sirve para cualquier camino.
Una vez sacada la licencia, cada uno se va por su lado. Se puede manejar incluso en un barrio nunca antes visto, y solo hace falta aprender aparte lo específico de trabajos con mañas propias, como repartir paquetes. El preentrenamiento es ese examen.
En detalle
Se aprende antes de fijar el objetivo
El método antiguo era al revés. Para hacer un clasificador de emociones, se juntaban reseñas con su etiqueta correcta y se entrenaba solo con eso. Para hacer un traductor, había que empezar todo de nuevo. Era fijar primero el destino y hacer memorizar solo ese camino.
El preentrenamiento deja el destino sin fijar. Hace leer, sin etiquetas de respuesta, documentos de internet, libros, enciclopedias y todo tipo de texto, solo para que se aprenda cómo se usa el lenguaje. Para qué se va a usar se decide después.
Invertir este orden es la razón por la que los modelos de lenguaje se extendieron tan rápido a tantos campos. Ya no hace falta construir desde cero cada vez que se quiere una tarea nueva.
El cuadernillo de ejercicios se arma solo
El entrenamiento con respuestas puestas a mano salía caro. Marcar a mano si cada una de cien mil reseñas es buena o mala exige una cantidad enorme de trabajo humano.
En el preentrenamiento no hace falta ese paso. Se tapa una parte del texto y se pide adivinar qué iba ahí; la respuesta ya está escrita en el original tapado. La corrección sale gratis. Por eso sirve para entrenar hasta un texto al que nadie le puso respuestas. Eso sí, antes se filtran los textos repetidos o de baja calidad.
Gracias a esto, la cantidad de material que se maneja creció a una escala que no se puede comparar con antes. Se volvió posible recorrer, de un tirón, más texto del que una persona leería en toda su vida.
Se apilan varias capas a la vez
Aunque el ejercicio parece simple, solo llenar huecos, adentro se acomodan varias cosas al mismo tiempo. En la base se asienta la letra y la ortografía: primero se incorpora qué letra suele venir después de cuál.
Encima se asienta la estructura de la frase: cómo se conjugan los verbos, cómo concuerdan sujeto y predicado. Es el punto donde, sin haber abierto ningún libro de gramática, una frase torpe empieza a sonar torpe.
Arriba de todo se apoya el conocimiento del mundo. Para acertar el hueco en "El pan es un alimento hecho de ___", hace falta saber qué es el pan. De tanto entrenarse para llenar huecos, el conocimiento terminó viniendo de arrastre.
Toma mucho tiempo y cuesta caro
El preentrenamiento tarda de semanas a meses en completar una sola corrida, y exige una cantidad enorme de equipo de cálculo. Cambiar de rumbo a mitad de camino también es difícil. Aunque se descubra, con el entrenamiento ya muy avanzado, que había un problema en los datos, revertirlo no es sencillo.
Por eso esta etapa no la hace cualquiera. En su lugar, se asentó la costumbre de tomar un modelo que ya pasó por el preentrenamiento y usarlo tal cual. Es como no sacar una licencia nueva, sino contratar a alguien que ya la tiene.
Lo que viene después de sacar la licencia
Un modelo que solo pasó por el preentrenamiento sigue el texto muy bien, pero es torpe siguiendo instrucciones. Si le haces una pregunta, puede encadenar preguntas parecidas en vez de responder. Es un resultado esperable: solo practicó seguir escribiendo lo que viene después.
Por eso se le agrega una etapa de ajuste. Se le muestran ejemplos donde una instrucción va emparejada con una buena respuesta, para enseñarle a conversar, y se ajusta el tono y la actitud con la elección humana de qué respuesta es mejor. Recién completando esto llega a la forma que usamos.
Con más precisión
El preentrenamiento es entrenar con problemas que salen de los propios datos, sin una hoja de respuestas hecha para una tarea concreta. A este método se le llama aprendizaje autosupervisado. Los modelos que siguen escribiendo usan sobre todo la tarea de adivinar el fragmento siguiente; los modelos orientados a entender usan la de reconstruir el fragmento tapado. En ambos casos no hace falta una hoja de respuestas hecha por una persona.
La analogía también tiene sus límites. En el examen de conducir hay aprobado y reprobado, pero el preentrenamiento no tiene una línea de corte así: se acerca más a reducir poco a poco el error y detenerse cuando se agota la cantidad fijada de antemano. Al detenerse, muchas veces aún queda margen para mejorar. Además, quien saca la licencia sigue aprendiendo con cada situación nueva de tráfico, pero un modelo que ya terminó todo su entrenamiento y se puso en servicio no sigue aprendiendo por su cuenta. No sabe nada de lo que pasó después del momento en que se juntó el material, y para que lo sepa hay que volver a entrenarlo o entregarle el material necesario en el momento.
Pruébalo
Malentendidos comunes
Es fácil pensar que el preentrenamiento se hace con material que alguien etiquetó a mano, pero en realidad el propio texto hace de respuesta correcta, así que casi no interviene una mano humana.
Es fácil pensar que apenas termina el preentrenamiento ya se puede conversar, pero en realidad hace falta pasar además por una etapa de ajuste para seguir instrucciones antes de llegar a la forma que conocemos.
Es fácil pensar que el modelo sigue aprendiendo mientras conversa, pero en realidad, una vez terminado todo el entrenamiento y puesto el modelo en servicio, el contenido queda fijo y lo hablado en la conversación no se acumula dentro del modelo en el momento.
Resumen en una línea
El preentrenamiento es la etapa donde, antes de decidir para qué se va a usar, se llena de antemano lo básico del idioma y del conocimiento general con una cantidad enorme de texto.
¿Has visto un error o tienes una analogía mejor? Sugerir una corrección · Última actualización 2026-10-17