자기회귀Autoregressive

한 번에 한 조각만 정해요

모델이 답을 만들 때 하는 일은 생각보다 단순해요. 지금까지 있는 글을 전부 읽고, 다음에 올 조각으로 무엇이 그럴듯한지 후보마다 점수를 매겨요. 그중 하나를 골라 뒤에 붙여요. 여기까지가 한 걸음이에요.

한 걸음이 끝나면 글이 조각 하나만큼 길어져요. 이제 그 길어진 글을 다시 처음부터 읽고 똑같은 일을 해요. 답이 백 조각이면 이 걸음을 백 번 밟아요.

문장 전체를 미리 계획해 두고 받아 적는 게 아니에요. 문장이 어디서 끝날지도 걸음을 밟아 가다가 마침표 조각이나 끝 표시 조각이 뽑히는 순간 정해져요.

자기가 쓴 것이 다시 입력이 돼요

이 방식의 이름이 자기회귀인 이유가 여기 있어요. 모델의 출력이 곧바로 모델의 다음 입력이 돼요. 사람이 새로 넣어 주는 것 없이, 자기가 만든 것을 자기가 다시 받아요.

그래서 첫 몇 조각이 답 전체의 방향을 크게 좌우해요. 시작을 "물론입니다"로 열면 뒤이어 설명하는 말투가 따라오고, "죄송하지만"으로 열면 거절하는 쪽으로 이어지기 쉬워요. 프롬프트에 답의 첫 부분을 미리 적어 주는 요령이 잘 통하는 것도 이 성질 때문이에요.

같은 성질이 문제도 만들어요. 앞부분에 사실과 다른 이름이 한 번 들어가면, 뒤 문장들은 그 이름을 이미 정해진 사실로 받아들이고 자연스럽게 이야기를 붙여 나가요. 틀린 내용이 점점 더 그럴듯해지는 모양새예요.

되돌릴 수 없다는 점

사람은 글을 쓰다가 앞 문장을 고쳐요. 자기회귀 방식에는 그 단계가 없어요. 한 번 붙인 조각은 그대로 남고, 모델은 그 위에서만 다음을 고민해요.

그래서 후보 여러 개를 동시에 이어 가며 마지막에 가장 나은 줄기를 고르는 방법을 쓰기도 해요. 답을 끝까지 만든 뒤 스스로 검토하고 다시 쓰게 시키는 방법도 있어요. 추론 모델이 답 앞에 긴 생각 과정을 먼저 쓰는 것도, 되돌릴 수 없다면 차라리 앞쪽에서 충분히 헤매 두자는 쪽에 가까워요.

쓸 때는 왜 느릴까요

질문을 읽는 일과 답을 쓰는 일은 속도가 아주 달라요. 질문은 이미 조각이 다 나와 있으니 한꺼번에 밀어 넣고 동시에 처리할 수 있어요. 반면 답은 앞 조각이 정해져야 다음 조각을 시작할 수 있어요.

그래서 조각 하나마다 모델 전체를 한 번씩 통과해야 해요. 층 수십 개, 가중치 수십억 개를 지나 겨우 조각 하나를 얻어요. 답이 두 배 길어지면 기다리는 시간도 두 배가 돼요. 화면에 글자가 주르륵 흘러나오는 스트리밍은 이 걸음을 숨기지 않고 그대로 보여 주는 것뿐이에요.

다른 방식도 있어요

모든 생성 방식이 이렇지는 않아요. 이미지 쪽에서 널리 쓰는 디퓨전은 그림 전체를 한꺼번에 조금씩 다듬어 가요. 처음부터 끝까지 화면 전체가 동시에 나아지니 순서가 없어요. 글에서도 비슷하게 전체를 동시에 다듬는 방식이 연구되고 있어요.

그래도 글 쪽에서는 자기회귀가 오래 자리를 지키고 있어요. 학습이 단순하고, 만들어진 글의 앞뒤가 잘 맞기 때문이에요.