모델 서빙Model Serving

차고지에 세워 두면 아무도 못 타요

모델을 만드는 일과 내놓는 일은 담당이 다를 만큼 성격이 달라요. 학습은 한 번 크게 치르는 공사에 가깝고, 서빙은 매일 같은 시각에 차를 내보내는 운영이에요. 학습이 끝나 파일이 나왔다는 건 차가 완성되었다는 뜻일 뿐이에요.

요청을 받으려면 모델을 계산 장치의 메모리에 통째로 올려 두어야 해요. 이 준비에 걸리는 시간이 짧지 않아서, 요청이 올 때마다 올렸다 내렸다 하면 답이 한참 늦어요. 그래서 대개는 켜 둔 채로 기다리게 해요. 오래 안 쓰던 자리에서 첫 요청이 유난히 느린 건 그때 시동을 걸고 있어서예요.

켜 두는 동안에는 아무도 쓰지 않아도 자리값이 나가요. 얼마나 켜 둘지, 밤에는 꺼 둘지 같은 결정이 곧바로 비용이 되는 이유예요.

몰리는 시간에는 차를 늘려요

한 자리가 한 번에 처리할 수 있는 요청 수에는 한계가 있어요. 그 한계를 넘어 요청이 들어오면 앞사람 계산이 끝날 때까지 뒷사람은 줄에서 기다려요. 이용자가 느끼는 "오늘따라 느리다"는 대부분 계산이 느려진 게 아니라 줄이 길어진 거예요.

그래서 서빙에는 몰리는 만큼 자리를 늘리고 한산해지면 줄이는 장치를 붙여요. 다만 자리를 새로 여는 데도 준비 시간이 걸려서, 갑자기 몰리면 늘어나는 속도가 줄이 자라는 속도를 못 따라가요. 미리 몇 자리를 데워 두는 이유예요.

한 대에 여럿을 태워요

요청을 하나씩 처리하는 것보다 여러 개를 묶어서 한 번에 계산하는 편이 훨씬 효율이 좋아요. 계산 장치가 한꺼번에 많은 일을 처리하도록 만들어져 있어서, 한 사람만 태우고 출발하면 자리가 비는 셈이 돼요.

대신 묶으려면 잠깐 기다려야 해요. 이 기다림이 길수록 한 사람이 느끼는 응답은 늦어져요. 전체를 많이 처리하는 쪽과 한 사람에게 빨리 답하는 쪽은 서로 맞바꾸는 관계라, 서비스 성격에 따라 어디에 무게를 둘지 정해요. 실시간으로 말이 오가는 대화라면 기다림을 줄이고, 밤새 문서를 훑는 일이라면 묶음을 키워요.

새 판은 한 대씩 끼워 넣어요

모델을 새 판으로 바꿀 때 모든 자리를 한꺼번에 갈아 치우면, 문제가 있어도 되돌릴 틈이 없어요. 그래서 자리 몇 개에만 새 판을 올려 일부 요청을 태워 보고, 답의 품질과 속도를 지켜본 뒤 넓혀요. 이상하면 그 자리만 옛 판으로 되돌리면 돼요.

옛 판을 한동안 함께 세워 두기도 해요. 답의 말투나 형식이 바뀌면 그 답을 받아 쓰던 프로그램이 함께 흔들리기 때문에, 옮겨 갈 시간을 주는 거예요.

차고지를 어디에 둘까요

가장 흔한 방식은 서비스 회사가 차고지를 맡고, 쓰는 쪽은 요청만 보내는 거예요. 자리를 늘리고 줄이는 일, 밤에 고장 난 차를 갈아 끼우는 일을 맡기는 대신 사용한 만큼 값을 내요.

자료를 밖으로 내보내면 안 되거나, 늘 같은 양을 꾸준히 쓰는 곳은 직접 차고지를 두기도 해요. 요즘은 작은 모델을 아예 사용자 기기나 브라우저에 올려 두고 돌리는 방식도 쓰여요. 이때는 차고지가 사람마다 하나씩 생기는 셈이라 대기줄 걱정은 사라지지만, 처음 내려받는 시간과 기기 성능이 새로운 벽이 돼요.