Token
El trozo con el que la IA maneja el texto al leer y al escribir
- El token es el trozo del tamaño de un bocado en que la IA corta el texto. No es una letra ni exactamente una palabra: está a medio camino.
- Los trozos no miden lo mismo. Lo que se usa mucho cabe entero en un trozo grande; lo raro se parte en varios pedacitos.
- El modelo no ve letras. Recibe el número que lleva pegado cada trozo, calcula con esos números y responde eligiendo números de uno en uno.
- Con el mismo significado, el español gasta más trozos que el inglés, y eso recorta cuánto texto cabe de una vez.
- Hay un tope de trozos por conversación, y la factura de un servicio de IA también se mide en trozos.
Contenido
1La analogía
Nadie se mete una barra de pan entera en la boca. Primero hay que cortarla en trozos del tamaño de un bocado. La IA hace lo mismo con el texto: no se traga una frase entera, así que la corta en pedazos y los va recibiendo uno detrás de otro. Cada pedazo es un token.
Los trozos no salen iguales. Lo que aparece a todas horas se corta grande, de un solo bocado: "hola" o "gracias" entran enteros. Lo que casi nunca aparece se parte en varios pedacitos, y el nombre de un pueblo lejano puede salir en tres o cuatro cachos.
El plato también tiene su límite: caben unos cuantos trozos y ni uno más. Cuando la conversación se alarga y llegan trozos nuevos, los primeros se caen del plato y la IA deja de verlos.
2En detalle
La regla de corte es lo que más se repite
Nadie se sentó a decidir los cortes uno por uno. A partir de cantidades enormes de texto se buscaron los grupos de letras que aparecen juntos una y otra vez, y esos grupos quedaron apuntados en una lista de trozos. Lo que está en la lista se corta entero; lo que falta baja a trozos más pequeños que sí estén.
La lista suele tener unas decenas de miles de entradas. Como la gente escribe muchísimo más de lo que cabe ahí, todo lo que no aparece se parte a la fuerza. Con letras poco frecuentes, una sola letra puede acabar convertida en dos o tres trozos.
Por eso un saludo común se resuelve en un trozo y un apellido poco visto o una palabra recién inventada se estira hasta cuatro. Dos textos igual de largos pueden gastar cantidades muy distintas según qué palabras lleven.
Cada trozo lleva un número
En la lista, cada trozo tiene su número. Cuando la frase se corta, cada pedazo se cambia por el suyo. Lo que entra en el modelo no son letras, sino esa fila de números.
El número es solo una etiqueta de orden. Dos números cercanos no significan cosas parecidas. El significado aparece en el paso siguiente, cuando cada número se convierte en un puñado de cifras. Que la IA entienda una frase con una falta de ortografía viene de ahí: no mira el dibujo de las letras, sino la relación entre trozos.
Al responder también va trozo a trozo
Escribir funciona igual. El modelo mira los trozos acumulados hasta ese punto, elige el trozo que viene después, lo pega y vuelve a empezar. Ese texto que aparece corriendo por la pantalla son trozos fabricados de uno en uno.
Parece que teclea letra a letra, pero la unidad real es el trozo, así que a veces salen dos o tres letras de golpe. Cuanto más larga sea la respuesta, más hay que esperar, y el límite de longitud tampoco se cuenta en letras: se cuenta en trozos.
El español gasta más trozos que el inglés
En inglés una palabra suele caber en un trozo o poco más. En español la cosa cambia: los acentos, la eñe y sobre todo las terminaciones que cambian con cada persona y cada tiempo verbal dejan fuera de la lista muchísimas formas, y esas formas bajan a pedacitos.
Con la misma idea y la misma frase, el español llega a gastar cerca del doble de trozos. Cabe menos texto de una vez, la respuesta tarda algo más y la cuenta sube en la misma proporción. Con idiomas de otro alfabeto la diferencia se dispara todavía más.
Los trozos marcan el tope y el precio
Hay un máximo de trozos que la IA puede tener a la vista a la vez. Cuando la conversación lo supera, los del principio se caen del plato. Esa sensación de que, tras un buen rato hablando, la IA olvida lo que se acordó al inicio viene de ahí: el trozo que salió del plato ya no se ve.
Cuando un programa llama a una IA, lo que se paga tampoco son letras, sino los trozos que van y vienen. Un ejemplo largo pegado delante de la pregunta o un documento entero se convierten en gasto al instante. Muchos servicios cuentan por separado los trozos enviados y los devueltos, así que una respuesta más larga engorda también la factura.
3Con más precisión
El token es el trozo de texto que produce un tokenizador siguiendo una regla fija. Como puede ser más pequeño que una palabra y más grande que una letra, se le llama subpalabra. La lista de trozos se construye juntando una y otra vez los pares de caracteres que más aparecen en los datos de entrenamiento, y ese método se llama codificación por pares de bytes (Byte Pair Encoding).
La analogía tiene sus costuras. El pan se corta por donde conviene comerlo, y ahí manda la vista. El tokenizador no corta por significado: solo mira si esas letras han aparecido juntas muchas veces. Por eso un corte puede caer en mitad de una palabra, o el espacio que va delante puede entrar dentro del mismo trozo. También es normal que un número largo se rompa en dos o tres pedazos, lo que explica que a la IA le cueste más de lo esperado operar con cifras.
Cada modelo construye su lista por su cuenta, así que la misma frase da un recuento distinto según dónde la metas. Los contadores de trozos que ofrecen las herramientas valen para hacerse una idea, no como medida exacta para todos.
4Pruébalo
5Malentendidos comunes
Es fácil pensar que un token es una palabra, pero en realidad una palabra puede partirse en varios trozos y varias letras sueltas pueden ir juntas en uno solo.
Es fácil pensar que contando letras se sabe el número de tokens, pero en realidad depende de qué palabras uses: dos textos con la misma cantidad de letras pueden separarse bastante en trozos.
Es fácil pensar que los espacios y los signos de puntuación salen gratis, pero en realidad tanto el espacio como el salto de línea se cuentan dentro de los trozos.
7Resumen en una línea
En resumenEl token es el trozo del tamaño de un bocado en que la IA corta el texto, y ese recuento decide cuánto puede leer y cuánto vas a pagar.
¿Has visto un error o tienes una analogía mejor? Sugerir una corrección · Última actualización2026-09-02