사용량 제한Rate Limit

칸은 한 종류가 아니에요

가장 흔한 칸은 분당 요청 수예요. 한 사람이 1분 동안 몇 번이나 부를 수 있는지 정해 놓은 칸이에요. 짧은 질문을 쉴 새 없이 던지는 프로그램이 여기에 가장 먼저 걸려요.

두 번째 칸은 분당 조각 수예요. 부른 횟수가 적어도 한 번에 아주 긴 문서를 통째로 넣으면 이 칸이 먼저 차요. 긴 글 하나를 넣는 것이 짧은 질문 수십 번보다 무겁게 세어지기도 해요.

세 번째 칸은 동시에 처리 중인 요청 수예요. 앞 요청의 답을 기다리는 동안 새 요청을 계속 밀어 넣으면 이 칸이 차요. 하루 단위로 걸리는 칸까지 더해서, 여러 칸이 동시에 걸려 있고 그중 하나라도 차면 막혀요.

칸을 다 쓰면 벌어지는 일

칸이 찬 상태에서 요청을 보내면 답 대신 거절 표시가 돌아와요. 잘못 만든 요청이라서가 아니라 지금은 자리가 없다는 뜻이라, 같은 요청을 조금 뒤에 그대로 보내면 잘 처리돼요.

거절과 함께 얼마쯤 뒤에 다시 오라는 안내가 붙는 경우가 많아요. 잘 만든 프로그램은 이 안내를 읽고 그만큼 쉬었다가 다시 보내요. 안내를 무시하고 곧바로 다시 던지면 거절만 늘어나고, 그 거절도 칸을 차지해서 막힌 시간이 오히려 길어져요.

그래서 실패했을 때 기다리는 시간을 조금씩 늘려 가며 다시 시도하는 방식을 많이 써요. 처음엔 짧게, 또 막히면 두 배쯤 더 길게 쉬는 식이에요.

왜 칸을 그어 둘까요

AI가 답을 만들려면 계산 장치가 그 시간 동안 통째로 매달려야 해요. 놀이기구 하나가 한 번에 태울 수 있는 사람 수가 정해져 있는 것과 같아요. 칸이 없으면 요청을 많이 보내는 쪽이 자리를 다 차지하고, 다른 사람들은 하염없이 기다리게 돼요.

사고를 막는 뜻도 있어요. 프로그램이 잘못 만들어져 같은 요청을 끝없이 반복하는 일은 흔해요. 칸이 없다면 그 실수가 며칠 치 요금으로 그대로 돌아와요. 제한은 서비스를 지키는 울타리이면서 쓰는 사람의 지갑을 지키는 울타리이기도 해요.

칸 안에서 넉넉하게 쓰는 법

첫째, 모아서 보내요. 비슷한 요청 열 개를 따로 부르는 대신 한 번에 묶어 보낼 수 있으면 횟수 칸을 크게 아껴요.

둘째, 같은 답을 두 번 묻지 않아요. 한 번 받은 답을 잠시 저장해 두고 같은 질문이 또 오면 저장해 둔 답을 쓰면, 칸도 아끼고 기다리는 시간도 줄어요.

셋째, 넣는 글을 줄여요. 매번 붙이는 긴 안내문이나 필요 없는 문서를 덜어 내면 조각 칸이 훨씬 여유로워져요.

넷째, 급하지 않은 일은 뒤로 미뤄요. 사람이 기다리는 화면과 밤사이 돌려도 되는 정리 작업이 같은 칸을 나눠 쓰고 있다면, 뒷일을 한산한 시간대로 옮기는 것만으로 낮 동안의 막힘이 사라지기도 해요. 제한은 없애는 것이 아니라 그 안에서 살림하듯 쓰는 것이 기본이에요.