Puntos clave
- Multimodal es la propiedad de un modelo que recibe texto, imagen, sonido y video a la vez y los maneja juntos.
- Aunque el formato cambie, por dentro todo se convierte en el mismo tipo de números y queda en un solo lugar.
- Por eso se puede saltar de un formato a otro: ver una foto y responder con palabras, o buscar una imagen a partir de una descripción hablada.
- No solo lo que recibe puede ser de varios formatos: lo que entrega también puede serlo.
- Eso sí, cada formato tiene un nivel de destreza distinto. Las letras pequeñas en una imagen o una ubicación exacta todavía son un punto débil.
La analogía
Imagina que vas a buscar un bolso a una oficina de objetos perdidos. Una persona muestra una foto guardada en el teléfono, otra lo describe con palabras —marrón, con una manija rota— y otra escribe el día, la hora y la línea de metro en la que lo perdió.
Las tres formas de mostrarlo son distintas. Pero en la cabeza de quien recibe, las tres apuntan a lo mismo. Ya sea mirando la foto, escuchando la descripción o leyendo la hora, todo lleva al tercer estante de esa fila. El formato cambia, pero lo que señalan es lo mismo.
Por eso se puede preguntar con una foto y recibir la respuesta en palabras.
Multimodal es esa oficina de objetos perdidos.
En detalle
Formatos distintos que llegan al mismo lugar
El texto, la imagen y el sonido son completamente distintos por fuera. El texto es una fila de letras, la imagen es una grilla de puntos, el sonido es una onda que sube y baja en el tiempo. Así como están, no hay forma de compararlos.
Un modelo multimodal convierte cada uno de los tres en un bloque de números. Lo importante es que, una vez convertidos, los tres quedan en el mismo espacio. Se entrena para que el bloque de números que sale de una foto de gato y el que sale de la palabra "gato" terminen ubicados cerca uno del otro.
Una vez que están en el mismo lugar, lo que sigue es igual sin importar de dónde vino cada uno. Se pueden comparar y combinar de la misma forma. Por eso el modelo puede juzgar si una foto encaja con una frase, o si un sonido coincide con sus subtítulos.
Qué se puede hacer con esto
Lo más común es que describa una foto. Se puede sacar una foto del interior de la heladera y preguntar qué cocinar, o fotografiar una tabla dibujada a mano y pedir que la organice. Como se muestra directamente lo que sería tedioso pasar a palabras, se ahorra trabajo.
También funciona al revés. Se puede describir algo con palabras para encontrar una imagen parecida, o meter una grabación larga y pedir que se extraiga solo lo que interesa. Además se pueden mezclar varios formatos a la vez: si se sube la foto de un manual junto con una pregunta escrita, el modelo mira ambas cosas juntas y responde.
Esta forma de trabajar resulta cómoda por una sola razón. Lo que le pasa a una persona casi nunca llega en un solo formato.
La respuesta también sale en varios formatos
No solo lo que recibe es de varios tipos. Lo que entrega también puede dividirse en texto, imagen o sonido. A la misma pregunta se le puede pedir que responda con palabras, que la lea en voz alta o que la dibuje.
Cada vez es más frecuente que un solo modelo entregue por sí mismo texto, imagen y sonido, aunque siguen siendo muy comunes los casos en que varias partes trabajan enlazadas como un equipo. A los ojos de quien lo usa se ve como un solo bloque, pero por dentro suele estar dividido entre la parte que mira la imagen, la que arma las palabras y la que produce el sonido.
Donde le cuesta más
Que reciba todos los formatos no significa que sea igual de bueno en todos. La destreza varía según el formato, y dentro de un mismo formato también según la tarea. El texto suele ser lo más sólido porque es de lo que más se aprendió, y la cantidad y la calidad del material de entrenamiento cambian de un formato a otro.
Le cuesta especialmente lo minucioso. Es frecuente que lea mal una letra pequeña dentro de una imagen, que confunda si un objeto está a la izquierda o a la derecha, o que cuente mal una cantidad. Capta bien el clima general, pero es torpe para los detalles finos.
Por eso conviene que una persona revise cuando la exactitud del número o de la ubicación importa de verdad. Si la foto se saca con buena luz, nítida y con la parte relevante bien grande, el resultado mejora notablemente. Es mucho mejor mostrar una sola cosa bien grande que meter varias cosas en una misma imagen.
Con más precisión
Modalidad es la palabra que designa el canal por el que entra la información. El texto es un canal, la imagen es otro, el sonido es otro. Multimodal significa que se maneja más de uno de esos canales, y a cada uno le corresponde una parte al frente que lo convierte en un bloque de números. Solo después de un entrenamiento que ubica esos resultados en un mismo espacio se puede mezclarlos de verdad.
La analogía de la oficina de objetos perdidos también tiene sus límites. Una persona a cargo, si la foto y la descripción no coinciden, vuelve a preguntar; el modelo, en cambio, a veces arma una respuesta plausible aunque haya un desajuste. A veces también afirma que algo está en la foto cuando no lo está, porque en vez de mirarla bien se deja llevar por un par conocido: “en una escena así suele haber esto también”. Una persona mira la imagen moviendo los ojos de una parte a otra con detenimiento, mientras que el modelo suele recibir la imagen reducida a un tamaño fijo o cortada en pedazos, así que al reducirla es fácil que un detalle pequeño se borre. Algunos modelos recientes ya pueden recortar la parte que necesitan y ampliarla para volver a mirar.
Tampoco es que todos los canales se manejen de la misma manera. La imagen se corta en pequeños bloques a los que se les asigna un orden, y el sonido se despliega como si fuera una imagen que representa cómo cambia en el tiempo, antes de procesarlo. Por fuera parece que se puede meter cualquier cosa en una sola ventana, pero por dentro cada canal pasa por su propio tratamiento.
Pruébalo
Malentendidos comunes
Es fácil pensar que, si es multimodal, es igual de bueno en todos los formatos, pero en realidad la destreza varía bastante de un canal a otro.
Es fácil pensar que, al recibir una imagen, lee las letras con exactitud, pero en realidad es frecuente que se equivoque con letra pequeña o una foto borrosa.
Es fácil pensar que recibir varios formatos es solo una función más que se agregó, pero en realidad hace falta un entrenamiento aparte que ubique los canales en el mismo lugar para que eso sea posible.
Resumen en una línea
Multimodal es la propiedad de trasladar texto, imagen y sonido a un mismo lugar para que un modelo los maneje juntos, y eso permite preguntar y responder saltando de un formato a otro.
¿Has visto un error o tienes una analogía mejor? Sugerir una corrección · Última actualización 2026-10-18