챗봇Chatbot

대본을 읽던 시절

초기 챗봇은 규칙 목록이었어요. 들어온 문장에서 미리 정해 둔 낱말을 찾고, 그 낱말에 붙여 둔 답을 그대로 내보내요. 조금 발전한 형태는 문장을 먼저 몇 갈래의 용건으로 분류한 다음, 갈래마다 준비된 답을 꺼냈어요.

이 방식의 장점은 분명해요. 답이 미리 검토된 문장이라 회사가 하지 않은 말이 나갈 일이 없고, 왜 그 답이 나왔는지 설명할 수 있어요. 지금도 규정이나 금액을 안내하는 자리에는 이 방식이 남아 있어요.

문제는 사람이 늘 다르게 묻는다는 점이었어요. "환불 되나요", "돈 돌려받고 싶은데요", "이거 물러도 돼요?"를 모두 같은 용건으로 잡으려면 예문을 수천 개씩 손으로 채워야 했어요. 새 상품이 나올 때마다 그 일을 처음부터 다시 했고요.

문장을 지어내는 창구로

지금의 챗봇은 대본을 고르지 않아요. 앞에 놓인 말 뒤에 이어질 말을 한 조각씩 골라 붙이면서 답을 만들어 나가요. 그래서 준비해 둔 적 없는 질문에도 답이 나오고, 같은 질문에 매번 조금씩 다른 문장이 돌아와요.

같은 이유로 말투도 바꿀 수 있어요. 친절하게, 짧게, 존댓말로 같은 지시를 앞에 얹어 두면 답의 결이 통째로 달라져요. 예전 방식에서는 말투를 바꾸려면 대본을 전부 다시 써야 했어요.

회사 자료를 함께 읽혀요

언어 모델은 세상의 글로 배웠지, 우리 회사의 환불 규정은 몰라요. 모르는 채로 물으면 세상 어딘가의 규정을 섞어 그럴듯한 문장을 만들어 버려요.

그래서 요즘 상담 챗봇은 답을 만들기 전에 사내 문서에서 질문과 관련된 대목을 먼저 찾아요. 찾아낸 대목을 질문과 함께 모델에게 건네주고, 이 내용을 근거로 답하라고 시키는 방식이에요. 이 방법을 RAG (Retrieval-Augmented Generation, 검색 증강 생성)라고 불러요.

이렇게 하면 규정이 바뀌었을 때 모델을 다시 학습시키지 않고 문서만 갈아 끼우면 돼요. 답에 어느 문서의 몇 쪽을 봤는지 붙일 수 있다는 것도 큰 이점이에요.

기억하는 것처럼 보이는 이유

챗봇은 기본적으로 매번 처음 만나는 상태예요. 대화가 이어지는 것처럼 보이는 건, 새 질문을 보낼 때마다 앞서 오간 대화를 통째로 다시 붙여서 함께 보내기 때문이에요.

그래서 대화가 길어지면 두 가지 일이 생겨요. 매번 보내는 양이 늘어 답이 느려지고, 한 번에 넣을 수 있는 한도를 넘으면 앞부분부터 잘려 나가요. 한참 이야기하다 처음에 알려 준 이름을 잊은 것처럼 구는 건 이 때문이에요. 그래서 긴 상담에서는 지난 대화를 짧게 요약해 두었다가 그 요약만 다시 넣는 방식을 써요.

답만 하지 않고 일도 해요

요즘 상담 창구는 안내에서 그치지 않아요. 주문 번호를 받아 배송 조회를 부르고, 예약을 바꾸고, 처리가 어려우면 사람 상담원에게 넘겨요. 모델이 직접 처리하는 게 아니라, 어떤 기능을 어떤 값으로 불러야 하는지를 정해 주고 실제 실행은 프로그램이 해요.

그래서 잘 만든 챗봇에는 답을 못 하는 자리가 분명하게 설계돼 있어요. 확실하지 않으면 사람에게 넘기고, 돈이 오가는 일은 반드시 한 번 더 확인하게 만드는 식이에요.