Puntos clave
- El codificador-decodificador es una estructura que separa el lado que lee del lado que escribe. El primero convierte la entrada en un bloque de números con sentido y contexto; el segundo lo mira y arma la frase nueva.
- El codificador ve la frase entera sin importar el orden, de principio a fin. El decodificador sigue escribiendo un fragmento a la vez, desde el principio.
- Lo que une a los dos lados no es el texto original: es un bloque de números que lleva el sentido y el contexto. La letra tal cual no cruza.
- Es una estructura que encaja bien en tareas donde la entrada y la salida tienen forma distinta, como traducir o resumir.
- Los modelos de hoy a veces usan solo el codificador o solo el decodificador, según qué necesita cada tarea.
La analogía
El día de la mudanza nadie empuja el cuarto entero adentro del camión. La ropa del ropero y los libros del estante se guardan en cajas, y en el costado de cada caja se anota qué hay adentro. En ese momento las cosas dejan de estar en cajones y pasan a estar dentro de cajas. Aun así, de qué cuarto y de qué lugar salió cada una queda anotado en el costado de la caja.
Al llegar a la casa nueva, se abren las cajas una por una y se acomoda todo según ese lugar. El tamaño de los cuartos y la posición de las ventanas son distintos, así que la distribución de antes no se puede copiar tal cual: se mira lo que dice cada caja y se decide un lugar nuevo que encaje en esta casa.
El lado que guarda las cajas es el codificador; el lado que las abre en la casa nueva es el decodificador. Y lo que cruza de un lado al otro son esas cajas, que llevan el sentido en forma de números.
En detalle
El lado que guarda recorre la frase entera
El codificador ya tiene toda la entrada a mano, así que puede consultar la frase en ambos sentidos. Un codificador transformer la mira, literalmente, toda de una vez. No hay problema en que, al procesar la tercera palabra, ya tenga a la vista la décima: todo el texto ya está adentro.
Esta libertad importa por algo concreto. Para saber si "banco" significa la entidad financiera o el asiento del parque hace falta mirar lo que viene después. El codificador puede mirar hacia adelante, así que resuelve esa ambigüedad de entrada.
Después de recorrerla, cada fragmento de la frase queda convertido en un bloque de números. En ese bloque también entra el papel que cumplió ese fragmento dentro de la frase. Es como guardar la caja: no solo se mete el objeto, también se anota en el costado qué contiene.
El lado que escribe pega un fragmento a la vez
Con el decodificador la cosa cambia. No puede adelantarse a mirar una parte que todavía no escribió. Solo con lo que ya escribió y las cajas que le pasó el codificador, elige el fragmento que sigue. Lo pega, vuelve a leer desde el principio y elige el siguiente.
Por eso el decodificador lleva puesta una venda que le tapa lo que viene después. Si en el entrenamiento se le mostrara entera la frase correcta, estaría copiando el fragmento siguiente, así que se tapa a propósito lo que todavía no llegó.
También fabrica solo la señal de que terminó. Cuando decide que no hay nada más que agregar, entrega el fragmento que equivale a "hasta aquí" y se detiene.
El dispositivo que permitió volver a revisar las cajas
La estructura inicial tenía un punto incómodo: por larga que fuera la frase, había que meterla entera en una sola caja. Si la casa tenía mucho para mudar y se usaba una sola caja, lo que se guardó primero se aplastaba. De ahí venía que, con frases largas, se olvidara la parte de más adelante.
La solución fue no juntar todo en una caja. Se dejaron guardados, por separado, los bloques de números que el codificador armó para cada fragmento, y cada vez que el decodificador escribe un fragmento, elige y revisa el que le hace falta en ese momento. Ese dispositivo es la atención.
Al traducir "ayer un amigo me dio el libro que leí hoy", al escribir la palabra que corresponde a "ayer" se revisa la caja de "ayer", y al escribir el objeto se revisa la caja de "libro". Como se miran más a fondo las cajas necesarias, la frase se desdibuja mucho menos aunque sea larga.
Hoy también se usa un solo lado
Según la tarea, hace falta un lado distinto. Para captar el sentido de una frase no hace falta el lado que escribe: en clasificar o buscar, donde la respuesta es corta y cerrada, alcanza con un modelo que solo tiene codificador.
Al revés, para conversar o redactar, donde se sigue escribiendo sin parar, se usa un modelo que solo tiene decodificador. La pregunta que llega como entrada se trata como si ya estuviera escrita, y solo hace falta seguir desde ahí. La mayoría de los modelos conversadores de hoy son de este tipo.
La estructura con los dos lados sigue encajando bien donde el idioma o el largo del texto que entra y el que sale se separan mucho, como al traducir o resumir. Hoy, sin embargo, los modelos grandes con solo decodificador también resuelven a menudo ese tipo de tareas.
Con más precisión
El codificador convierte los fragmentos de entrada en bloques de números que ya reflejan el contexto; el decodificador toma esos bloques junto con lo que lleva escrito y entrega la probabilidad del fragmento siguiente. Dentro del decodificador hay un canal para mirar su propia salida y otro para mirar al codificador, por separado, y a ese proceso de tapar lo que viene después se le llama enmascarado.
La analogía también tiene sus límites. Una caja de mudanza se puede abrir y cerrar sin que cambie nada, pero el bloque de números que arma el codificador no es una copia guardada del texto original, y tampoco existe una función aparte que lo devuelva tal cual. Además, las cajas se terminan de empacar y recién ahí sale el camión, pero en una estructura con atención el decodificador vuelve a mirar al codificador cada vez que fabrica un fragmento nuevo: a diferencia de las estructuras iniciales, no es una entrega única que termina ahí.
El codificador-decodificador no es el nombre de un modelo concreto, sino una manera de acomodar las piezas. Se puede armar tanto con redes recurrentes como con un transformer.
Pruébalo
- Transformer Explainer (cómo funciona un transformer) ailearn.space Sigue cómo un modelo con solo decodificador mira únicamente los fragmentos anteriores y elige el siguiente, uno a la vez
- Fill in the Blank (qué aprendió el modelo de lenguaje) ailearn.space Un modelo que usa solo codificador (BERT) rellena el hueco mirando también las palabras que vienen después. Cambia las palabras posteriores y mira si cambian los candidatos, y se entiende qué significa "mirar a ambos lados"
Malentendidos comunes
Es fácil pensar que el codificador guarda la frase como un archivo comprimido, pero en realidad cambia las palabras por un bloque de números donde se mezclan el sentido y el contexto. No hay una "descompresión" que devuelva el original con exactitud, aunque algunas investigaciones muestran que queda tanta información que se puede recuperar buena parte.
Es fácil pensar que el decodificador recibe una sola vez el resultado del codificador, pero en realidad, en las estructuras actuales con atención, vuelve a consultarlo cada vez que fabrica un fragmento nuevo.
Es fácil pensar que todo modelo de lenguaje tiene codificador y decodificador, pero en realidad buena parte de los modelos conversadores de hoy están hechos solo con decodificador.
Resumen en una línea
El codificador-decodificador separa el lado que convierte la entrada en sentido y contexto, del lado que mira ese sentido y escribe la frase nueva un fragmento a la vez.
¿Has visto un error o tienes una analogía mejor? Sugerir una corrección · Última actualización 2026-10-18