TokenizadorTokenizer

La lista de casilleros se hizo sola

El método para hacer la lista es sorprendentemente simple. Primero se pone cada letra como un casillero individual. Después se recorre todo el texto de entrenamiento buscando el par de letras que más aparece junto, se fusiona en uno solo, y ese bloque se registra como casillero nuevo. Repetir esto decenas de miles de veces completa la lista.

Cuanto más se repite una palabra, antes se fusiona y ocupa un casillero grande: así consiguen su propio casillero las terminaciones habituales y las palabras frecuentes. Lo que aparece rara vez, en cambio, no llega a fusionarse del todo y se queda como trozos pequeños.

El tamaño de la lista suele estar en decenas de miles. Si se agranda, hay menos trozos por frase y mejora la eficiencia, pero el modelo tiene que manejar esa misma cantidad extra de candidatos, así que se vuelve más pesado. Las decenas de miles actuales son el punto donde se equilibran ambas cosas.

Lo que no está en la lista se reparte

El tokenizador no se rinde ni siquiera ante una palabra desconocida: está diseñado para partirla siempre en una combinación de trozos más pequeños que sí están en la lista. Como hasta las letras sueltas están en la lista, en el peor de los casos siempre puede meterla letra por letra.

Por eso hasta una palabra nueva o un lugar extranjero desconocido se procesan sin error. A cambio, el número de trozos se dispara: una palabra corriente puede ser un solo trozo y un nombre poco conocido terminar en cinco, y eso se traduce directamente en cuánto texto cabe de una vez y en el costo.

El español sufre este problema más de lo esperado: como una misma palabra cambia de terminación con cada persona y cada tiempo verbal, muchas de esas formas quedan fuera de la lista y terminan partidas en trozos.

Se usa la misma lista para cortar y para reconstruir

Hay un proceso que corta el texto en trozos y los convierte en números, y otro que toma esos números y los vuelve a unir en letras. Ambos usan la misma lista, solo que al revés: sin ella, el número no significa nada.

Por eso el modelo y el tokenizador siempre se mueven en pareja: si le das números que cortó una lista distinta, el modelo termina leyendo un texto totalmente equivocado. Es como llevar el número de una llave a una piscina que no es la tuya.

Los espacios en blanco y los saltos de línea también se guardan como parte de los trozos, para que al reconstruir el texto original quede exactamente igual. Muchas veces hasta el espacio que va antes de un trozo entra en el mismo casillero.

Si la lista cambia, cambia el número de trozos

Cada creador de modelo usó un texto de entrenamiento distinto, así que la lista extraída también es distinta, y la misma frase produce un número diferente de trozos según el modelo. Algunas listas se hicieron mirando mucho texto en español y contienen bloques enteros de español; otras están centradas en inglés y parten el español en trozos pequeños.

Por eso no se puede responder a «¿cuántos trozos tiene esta frase?» sin especificar el modelo. Al comparar precios, tampoco basta con mirar el costo por trozo: hay que ver en cuántos trozos queda la misma frase en cada uno.

Lo que provoca el tokenizador

Hay una razón por la que el modelo se equivoca tan seguido en cálculos con números largos: estos no se cortan por posición de cifra, sino en bloques arbitrarios, y como el mismo número se puede cortar distinto cada vez, es difícil que agarre una regla fija.

La misma razón explica por qué es débil con preguntas como «¿cuántas consonantes tiene esta palabra?»: no ve las letras sueltas, solo el número del trozo ya fusionado. En cambio, entiende bastante bien un texto con erratas, porque los trozos en los que se parte quedan en una posición parecida a la de la palabra original.