Chatbot

La época en la que leía un guion

Los primeros chatbots eran una lista de reglas. Buscaban en la frase que entraba una palabra fijada de antemano y devolvían tal cual la respuesta pegada a esa palabra. Una versión un poco más avanzada primero clasificaba la frase en unas pocas categorías de intención, y luego sacaba la respuesta preparada para cada una.

La ventaja de este método es clara: la respuesta es una frase revisada de antemano, así que nunca sale algo que la empresa no dijo, y se puede explicar por qué salió esa respuesta. Todavía hoy sigue este método en los lugares donde se informan reglas o cifras exactas.

El problema era que la gente siempre pregunta distinto. Para que "¿se puede devolver?", "quiero que me devuelvan el dinero" y "¿esto se puede cambiar?" cayeran en la misma intención, había que llenar a mano miles de frases de ejemplo. Y cada vez que salía un producto nuevo, había que volver a hacer ese trabajo desde cero.

Hacia un mostrador que construye la frase

El chatbot de ahora no elige un guion. Va pegando, trozo a trozo, la palabra que sigue a lo que ya se dijo, y así construye la respuesta. Por eso sale una respuesta incluso ante una pregunta que nunca se preparó, y la misma pregunta puede recibir cada vez una frase un poco distinta.

Por la misma razón, también se puede cambiar el tono. Poner delante una instrucción como "sé amable", "sé breve" o "usa un trato formal" cambia por completo el aire de la respuesta. Con el método anterior, cambiar el tono obligaba a reescribir todo el guion.

Se hace leer también los documentos de la empresa

El modelo de lenguaje aprendió con textos del mundo entero, pero no conoce la política de reembolsos de esta empresa en particular. Si se le pregunta sin darle ese dato, mezcla alguna política de por ahí y construye una frase que suena convincente.

Por eso, los chatbots de atención de hoy, antes de construir la respuesta, buscan primero el fragmento del documento interno relacionado con la pregunta. Ese fragmento se le entrega al modelo junto con la pregunta, con la instrucción de responder apoyándose en ese contenido. A este método se le llama RAG (Retrieval-Augmented Generation, generación aumentada por recuperación).

Así, cuando cambia una política, basta con cambiar el documento sin volver a entrenar el modelo. Poder pegar a la respuesta qué página de qué documento se consultó también es una gran ventaja.

Por qué parece que recuerda

Por defecto, el chatbot se comporta como si conociera a la persona por primera vez cada vez. Que la conversación parezca continua se debe a que, al enviar cada pregunta nueva, se vuelve a pegar entera la conversación anterior y se envía junto con ella.

Por eso, cuando la conversación se alarga, pasan dos cosas: lo que se envía cada vez crece y la respuesta se vuelve más lenta, y si se supera el límite que cabe de una vez, se corta desde el principio. Que después de un rato largo de conversación parezca haber olvidado el nombre que le dieron al principio viene de ahí. Por eso, en las conversaciones largas se suele resumir lo hablado hasta entonces y volver a enviar solo ese resumen.

No solo responde, también hace tareas

El mostrador de atención de hoy no se queda solo en informar. Toma el número de pedido para consultar el envío, cambia una reserva, y si el trámite es difícil, lo pasa a una persona. El modelo no lo ejecuta directamente: decide qué función llamar y con qué valores, y el programa hace la ejecución real.

Por eso, en un chatbot bien construido está claro dónde se marca el límite de lo que puede responder. Si no está seguro, lo pasa a una persona, y si hay dinero de por medio, obliga a confirmar una vez más.