스트리밍 응답Streaming

답은 원래 조각 단위로 만들어져요

언어 모델은 답 전체를 한 번에 떠올리지 않아요. 지금까지 쌓인 내용을 보고 다음에 올 조각 하나를 고르고, 그 조각을 붙인 다음 또 하나를 고르는 일을 반복해요. 답이 길면 이 과정이 수백 번, 수천 번 되풀이돼요.

그래서 답이 끝나기 전에도 앞부분은 이미 완성된 상태로 놓여 있어요. 스트리밍은 이 완성된 부분을 붙잡아 두지 않고 그때그때 내보내는 것뿐이에요. 없던 속도를 새로 만들어 내는 기술이 아니라, 이미 만들어진 것을 쥐고 있지 않는 방식이에요.

화면에 한 글자씩 나오는 것처럼 보여도 실제 단위는 조각이라, 두세 글자가 한꺼번에 튀어나오기도 해요. 짧은 단어 하나가 통째로 나타나는 순간이 그런 경우예요.

첫 글자까지 걸리는 시간이 줄어요

응답 속도를 이야기할 때는 두 가지 시간을 따로 봐요. 첫 조각이 도착할 때까지의 시간, 그리고 조각과 조각 사이의 간격이에요. 스트리밍을 켜면 앞의 시간이 크게 줄어요. 뒤의 간격은 그대로예요.

사람이 느끼는 답답함은 대부분 앞의 시간에서 나와요. 아무것도 없는 빈 화면을 몇 초 보는 일과, 곧바로 글이 흐르기 시작하는 일은 체감이 완전히 달라요. 실제로 읽는 속도보다 글자가 빨리 나오면, 다 나올 때까지 기다린 것과 거의 같은 느낌으로 읽게 돼요.

긴 답일수록 차이가 커요. 답이 길수록 완성까지 걸리는 시간도 길어지니까, 다 만들어질 때까지 붙들어 두면 빈 화면을 보는 시간도 같이 늘어나요.

중간에 끊을 수 있어요

흘러나오는 답을 보다가 방향이 어긋난 걸 알아채면 곧바로 멈출 수 있어요. 질문을 고쳐 다시 물어보는 편이 빠르니까요. 이때 아직 만들어지지 않은 부분은 아예 계산되지 않아서, 그만큼 시간도 비용도 쓰지 않아요.

프로그램에서도 같은 일을 해요. 필요한 부분까지만 받고 연결을 끊거나, 흘러오는 도중에 금지된 표현이 나오면 그 자리에서 중단시켜요. 답을 다 받은 뒤에야 검사하는 방식보다 반응이 빨라요.

어울리지 않는 자리도 있어요

답 전체가 있어야 판단이 되는 일에는 스트리밍이 별 도움이 안 돼요. 정해진 형식에 맞는지 검사한 뒤 넘겨야 하거나, 답 안의 값을 꺼내 다른 프로그램에 넣어야 하거나, 여러 답 중 하나를 골라야 하는 경우가 그래요. 어차피 끝까지 기다려야 하니 화면에 미리 흘려 봐야 의미가 없어요.

받는 쪽이 복잡해지는 문제도 있어요. 조각이 도착할 때마다 이어 붙이고, 도중에 연결이 끊기면 되살리고, 마지막에 끝났다는 신호를 받아 마무리해야 해요. 화면에 글자를 보여 주는 일이 아니라면 한 번에 받는 편이 오히려 단순해요.