지연 시간Latency
요청을 보낸 뒤 답을 받기까지 걸리는 시간
- 지연 시간은 요청을 보낸 순간부터 답을 받기까지 기다리는 시간이에요.
- 이 시간은 두 토막이에요. 첫 글자가 뜰 때까지와 답이 다 나올 때까지는 따로 재요.
- 첫 토막은 주로 넣은 글의 길이와 줄 서기에서 생겨요. 질문 앞에 붙인 긴 문서가 그대로 기다림이 돼요.
- 둘째 토막은 답의 길이에 거의 그대로 비례해요. 조각을 하나씩 만들어 내보내기 때문이에요.
- 화면에 글자가 흘러나오게 하면 총 시간은 그대로여도 체감 기다림은 크게 줄어요.
목차
1비유로 이해하기
엘리베이터 버튼을 누르고 나면 두 번 기다려요. 한 번은 문이 열릴 때까지예요. 엘리베이터가 지금 몇 층에 있는지, 앞에 부른 사람이 있는지에 따라 이 시간이 길어지죠. 또 한 번은 타고 나서 목적 층에 닿을 때까지예요. 이쪽은 몇 층을 올라가느냐가 거의 전부예요.
두 기다림은 성격이 달라요. 문이 빨리 열렸다고 해서 목적 층에 빨리 닿는 건 아니고, 반대로 한참 기다려 탔어도 한 층만 올라가면 금방 내려요. AI에게 무언가를 물었을 때 흐르는 시간도 이렇게 두 토막으로 나뉘어요. 이 기다림 전체가 지연 시간이에요.
2자세히 알아보기
기다림은 두 토막으로 나눠 봐야 해요
첫 토막은 요청을 보낸 순간부터 첫 글자가 화면에 뜰 때까지예요. 이 구간에서는 아직 답이 한 글자도 만들어지지 않았어요. 요청이 서버까지 가고, 순서를 기다리고, 넣은 글을 처음부터 끝까지 읽는 일이 벌어지고 있어요.
둘째 토막은 첫 글자가 뜬 뒤부터 답이 끝날 때까지예요. 이 구간은 조각을 하나 만들고, 또 하나 만들고를 반복하는 시간이라 답이 길수록 그대로 길어져요.
같은 3초라도 속을 열어 보면 다를 수 있어요. 첫 글자가 2.5초 만에 뜨고 나머지가 순식간에 흐르는 경우와, 0.5초 만에 뜨기 시작해 천천히 흐르는 경우는 고쳐야 할 곳이 서로 달라요.
첫 토막이 길어지는 까닭
가장 큰 이유는 넣은 글이 길어서예요. 답을 만들기 전에 넣은 글을 통째로 읽는 과정이 필요한데, 문서를 몇 장씩 붙여 보내면 이 읽기에만 시간이 꽤 들어가요.
두 번째 이유는 줄 서기예요. 같은 시간에 요청이 몰리면 내 차례가 올 때까지 기다려야 해요. 사람이 많이 몰리는 시간대에 답이 유난히 늦게 시작되는 건 이 때문이에요.
세 번째 이유는 오가는 거리예요. 요청이 지구 반대편 기계까지 갔다 오면 그 왕복만큼이 더해져요. 계산 시간에 비하면 작은 편이지만, 짧은 질문을 아주 많이 주고받는 프로그램에서는 이 몫이 꽤 커져요.
둘째 토막은 길이가 정해요
답이 만들어지는 방식은 한 번에 한 조각씩이에요. 조각 하나를 만드는 데 걸리는 시간이 거의 일정하니, 답 조각이 두 배로 늘면 이 구간도 두 배가 돼요. "짧게 답해 주세요"라는 한 줄이 기다림을 눈에 띄게 줄이는 이유예요.
한국어는 같은 뜻이라도 조각을 더 많이 쓰는 편이라 답이 그만큼 더 천천히 흘러요. 표를 만들어 달라거나 목록을 길게 뽑아 달라는 요청은 조각 수가 크게 늘어나서, 체감으로도 확실히 느려져요.
생각을 길게 풀어 놓고 답하는 방식도 마찬가지예요. 화면에 보이지 않는 부분까지 조각을 만들고 있으니 그만큼 기다림이 붙어요. 답이 정확해지는 대신 시간을 내주는 맞바꿈이라, 간단한 일에는 짧게 답하도록 정해 두는 편이 나아요.
기다림을 줄이는 손잡이
넣는 글에서 필요 없는 부분을 덜어 내면 첫 토막이 짧아져요. 매번 붙이는 긴 안내문을 줄이고, 문서는 관련된 대목만 골라 넣는 것이 가장 확실한 방법이에요.
자주 오는 똑같은 질문은 답을 저장해 두었다가 그대로 돌려주면 기다림이 거의 사라져요. 작고 가벼운 모델로 처리해도 되는 일에 큰 모델을 쓰지 않는 것도 방법이고요.
마지막으로 글자를 흘려보내는 방식이 있어요. 답 전체를 다 만든 뒤 한꺼번에 보여 주는 대신 만들어지는 대로 내보내면, 전체 시간은 같아도 사람은 훨씬 빨라졌다고 느껴요. 기다리는 동안 읽을 것이 생기기 때문이에요.
3조금 더 정확하게
지연 시간은 한 번의 요청이 끝나기까지 걸리는 시간이고, 이와 짝을 이루는 말로 같은 시간 동안 몇 건을 처리했는지를 재는 처리량이 있어요. 둘은 자주 반대로 움직여요. 여러 요청을 한 묶음으로 모아 한꺼번에 계산하면 시간당 처리 건수는 크게 늘지만, 묶음이 찰 때까지 기다린 요청 하나하나는 더 오래 걸려요.
비유가 어긋나는 지점도 있어요. 엘리베이터는 몇 층까지 가는지 타는 순간 알지만, AI는 답이 얼마나 길어질지 시작할 때 알 수 없어요. 그래서 끝나는 시각을 미리 알려 주지 못해요. 또 층수는 늘 같지만 이쪽은 같은 질문을 두 번 넣어도 걸리는 시간이 달라져요. 그 순간 서버가 얼마나 붐비는지, 앞선 대화가 얼마나 쌓였는지에 따라 매번 달라지기 때문이에요. 그래서 지연 시간을 잴 때는 한 번 재고 끝내지 않고 여러 번 재서 가운데쯤 되는 값과 유난히 느렸던 값을 함께 봐요. 평균만 보면 열 번에 한 번씩 크게 느려지는 문제를 놓치기 쉬워요.
4직접 해보기
5흔한 오해
인터넷이 빠르면 답도 빠르다고 생각하기 쉽지만, 실제로는 기다림의 대부분이 계산과 줄 서기에서 생겨서 회선 속도로는 크게 달라지지 않아요.
첫 글자가 빨리 뜨면 전체도 빠르다고 여기기 쉽지만, 실제로는 두 토막이 따로 놀아서 시작만 빠르고 끝까지는 더 오래 걸리는 경우가 흔해요.
같은 질문이면 늘 같은 시간이 걸린다고 생각하기 쉽지만, 실제로는 그 시각에 얼마나 붐비느냐에 따라 몇 배씩 벌어져요.
7한 줄 요약
그러니까지연 시간은 첫 글자가 뜰 때까지와 답이 끝날 때까지의 두 토막으로 나뉘고, 어느 토막이 긴지를 알아야 줄일 곳이 보여요.
잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정2026-09-02