할루시네이션Hallucination

채점표에 '사실' 항목이 없어요

언어 모델은 글을 쓸 때 어딘가를 조회하지 않아요. 지금까지 나온 말 뒤에 어떤 조각이 올 확률이 높은지 계산해 하나를 고르고, 그 조각을 다시 앞말에 붙여 다음 조각을 고르는 일을 반복해요. "대한민국의 수도는" 뒤에는 "서울"이 압도적으로 높게 나오니 맞는 답이 나와요. 사실을 알아서가 아니라, 그 두 말이 나란히 놓인 글을 아주 많이 봤기 때문이에요.

문제는 배운 글에 그 답이 거의 없을 때예요. 고만고만한 후보만 남는데, 모델에게는 "여기서 멈춤"이라는 선택지가 기본으로 주어져 있지 않아요. 남은 후보 중 가장 그럴듯한 것을 골라 문장을 끝까지 완성해요. 틀린 문장도 맞는 문장과 똑같은 계산에서 나와요. 그래서 말투만 봐서는 둘을 가를 방법이 없어요.

빈칸이 생기는 자리는 정해져 있어요

세 곳에서 특히 자주 나와요. 첫째는 드문 정보예요. 잘 알려지지 않은 사람, 작은 회사, 동네 축제 일정처럼 세상에 몇 줄밖에 적혀 있지 않은 것들이요. 둘째는 학습이 끝난 뒤에 바뀐 정보예요. 모델의 지식은 어느 시점에서 멈춰 있는데, 모델은 자기 지식이 멈춰 있다는 사실을 감지하지 못해요. 셋째가 유도 질문이에요. "그 사건은 몇 년도에 있었죠?"처럼 질문이 없는 사건을 이미 있다고 전제하면, 모델은 전제를 의심하기보다 전제에 맞는 답을 채워 넣어요.

지어내는 방식에도 종류가 있어요

가장 흔한 건 사실이 어긋나는 경우예요. 연도가 한 해 밀리거나 인물이 뒤바뀌는 식이라 알아채기도 비교적 쉬워요. 곤란한 건 출처를 통째로 만들어 내는 경우예요. 있을 법한 제목과 저자와 학술지 이름까지 갖춘 논문이 나오는데, 찾아보면 그런 논문이 없어요. 세 번째는 준 자료를 벗어나는 경우예요. 문서를 붙여 주고 요약을 시켰는데 문서에 없는 문장이 요약에 섞여 들어오는 것이 여기에 해당해요. 앞의 둘은 세상의 사실과 어긋나고, 마지막은 눈앞의 자료와 어긋나요.

줄이는 장치는 이미 여러 겹이에요

가장 널리 쓰이는 건 RAG(Retrieval-Augmented Generation, 검색 증강 생성)이에요. 답을 쓰기 전에 관련 문서를 먼저 찾아 질문과 함께 건네주기 때문에, 기억이 아니라 눈앞의 자료를 보고 답하게 돼요. 정렬 훈련은 "모르겠어요"라고 답하는 쪽에 좋은 점수를 주어, 억지로 채우는 습관을 깎아 내요. 프롬프트에서 문장마다 근거를 붙이라고 요구하면 근거 없는 문장이 도드라져 보여요. 온도라는 설정값을 낮추면 확률이 높은 후보만 고르게 되어 튀는 문장이 줄어요. 다만 어느 것도 다음 말을 확률로 고른다는 원리 자체를 바꾸지는 못해요.

읽는 쪽의 습관이 마지막 장치예요

모든 문장을 의심할 필요는 없어요. 틀리면 곤란한 것에만 힘을 쓰면 돼요. 이름, 숫자, 날짜, 인용문, 법 조항, 링크 이 여섯 가지예요. 답에 이런 게 들어 있으면 그 부분만 원본에서 확인해요. 링크가 붙어 있으면 열어서 그 문장이 정말 거기 있는지 보고, 같은 질문을 조금 다르게 바꿔 다시 물어 보는 것도 좋아요. 두 번의 답에서 달라지는 부분이 대체로 지어낸 부분이에요.