Mezcla de expertosMixture of Experts

Un panel elige la rama encargada

Por cada fragmento que atraviesa el modelo, un panel pequeño de selección le pone puntaje primero. Manda este fragmento a la rama 3 y a la 7; el siguiente, a la 1 y a la 3. Por lo general se eligen solo dos ramas de entre varias decenas.

El resultado que atraviesa las ramas elegidas se vuelve a juntar en uno solo. En vez de sumarlo sin más, se mezcla según la proporción de puntaje que puso el panel, dándole más peso a la opinión de la rama en la que confió más.

El panel también se entrena. Al principio reparte más o menos al azar, y a medida que avanza el entrenamiento va afinando el criterio según qué destino dio mejores resultados para cada tipo de fragmento. Nadie le asigna a cada rama un tema de antemano.

Es grande, pero lo que se calcula en cada pasada es una parte

Un modelo normal usa todos sus valores internos cada vez que pasa un fragmento. Si se duplica el modelo, se duplica también el cálculo, y la respuesta se hace más lenta y más cara.

La mezcla de expertos corta ese vínculo. Aunque las ramas se lleven a ocho, si solo se encienden dos por vez, el conocimiento que guarda el modelo crece mientras el trabajo de cada cálculo se mantiene casi igual. Por eso, al presentar estos modelos, aparecen dos números: el tamaño total y el tamaño que realmente se usa en cada pasada. Fijarse solo en el primero lleva a calcular mal el rendimiento o el equipo necesario.

Parece un método barato para agrandar el modelo, pero tiene un límite claro. Por más que se multipliquen las ramas, la profundidad de cálculo que recibe un fragmento al pasar sigue siendo la misma, así que no se vuelve más inteligente en la misma proporción en que crece.

Las ramas no son un reparto de temas

Como se llaman "expertos", es fácil imaginar que una rama se encarga de matemática y otra de traducción. Al mirarlo de cerca no es tan prolijo. Alguna rama concentra signos de puntuación, otra reacciona a un rasgo gramatical de cierto idioma, y la mayoría se separa según un criterio difícil de explicar en palabras humanas.

Hasta dentro de una misma frase, cada fragmento va a un lugar distinto. No es que una rama procese la frase entera: se abre y se junta de nuevo fragmento por fragmento, cada vez. Por eso no se puede sacar una sola rama y usarla aparte.

Todas las ramas tienen que estar de guardia

Se calcula menos, pero no se usa menos memoria. Como no se sabe de antemano a qué rama va a ir cada fragmento, todas tienen que estar disponibles en todo momento. Un modelo grande de tamaño total sigue exigiendo un equipo grande, y esa es una de las razones por las que es difícil hacerlo correr en una computadora personal.

También hay un problema de acumulación. Si se deja sin control, los fragmentos se amontonan en las ramas populares: unas quedan siempre saturadas y otras casi sin uso. La rama poco usada casi no entrena y termina usándose todavía menos. Por eso, durante el entrenamiento, se agrega una penalización cuando se acumula demasiado en una rama, y a veces se pone un tope a cuántos fragmentos puede recibir cada una por turno. El fragmento que queda afuera de ese tope simplemente pasa esa capa de largo.