BERT

Repite miles de veces el ejercicio de tapar y adivinar

Entrenar BERT es sencillo. Se toma cualquier texto, se tapa más o menos una de cada diez palabras y se le pide adivinar qué había ahí. La respuesta ya está en el texto original tapado, así que nadie tiene que anotarla a mano.

Una sola frase da para varios ejercicios: tapar la primera palabra es un ejercicio, tapar la quinta es otro. Así, todo el texto disponible en internet se convierte en un cuadernillo de ejercicios, y eso permitió aprender una cantidad enorme sin que nadie lo tocara a mano.

Este entrenamiento no solo mejora la puntería para adivinar. Para llenar el hueco hace falta entender la estructura de la frase y cómo se relacionan las palabras, así que, repitiendo el ejercicio, el uso del lenguaje termina quedando incorporado por completo.

Ver los dos lados es lo que marca la diferencia

Un modelo que solo lee en una dirección apenas ve el texto que va antes del hueco. Si solo llega hasta "Fue al banco y sacó...", elegirá algo verosímil sin que importe lo que venga después.

BERT también ve lo que sigue. Con "Fue al banco y sacó... y salió con el saldo actualizado en la libreta", esa mención del saldo que viene después acota el hueco de antes. El mismo lugar en la frase se resuelve distinto según se pueda ver hacia adelante o no.

Esto pesa todavía más en frases donde el sentido de una palabra queda fijado por algo que aparece más tarde: un pronombre que recién se aclara después, o una concordancia que llega al final de la oración. En estructuras así, poder mirar ambos lados a la vez se vuelve una ventaja grande.

En vez de seguir escribiendo, entrega el sentido

BERT no es un interlocutor de conversación. Si le das una frase, no fabrica la frase que sigue: ordena qué significa esa frase y lo entrega como un bloque de números. Otra pieza, aparte, recibe ese bloque y hace el juicio real.

Este método encaja con tareas como distinguir si una reseña es un elogio o una queja, dirigir una consulta al área correcta, encontrar documentos de sentido parecido o señalar el tramo de un texto largo donde está la respuesta. Todas son tareas donde basta con entender bien, sin necesidad de inventar texto nuevo.

Se usa mucho en buscadores. Para encontrar documentos de sentido cercano aunque no compartan las mismas palabras, hace falta poder tratar el sentido de una frase como números, y ahí encaja bien BERT.

Sobre lo ya aprendido, solo se agrega un remate

La etapa de aprender tapando y adivinando toma tiempo y cuesta caro. Pero se hace una sola vez. Después, para cada tarea concreta, se agregan pocos ejemplos y se entrena un poco más, en corto.

Con unas diez mil reseñas se arma un clasificador de sentimiento; con unos pocos miles de consultas, un clasificador por área. Lo que habría exigido mucho más material y tiempo si se empezara de cero, se resuelve tomando un modelo que ya conoce el idioma y dándole solo el remate final.