캐싱Caching

빨라지는 건 두 번째부터예요

캐싱은 계산을 빠르게 만드는 기술이 아니에요. 계산을 건너뛰는 기술이에요. 그래서 아무도 물어본 적 없는 질문에는 아무 도움이 안 돼요. 처음 요청은 평소대로 계산해 답을 만들고, 그 답을 한 벌 복사해 두는 일만 더 해요.

두 번째 요청부터 차이가 벌어져요. 몇 초 걸리던 답이 눈 깜짝할 사이에 나오고, 서비스에 요청을 보내지 않았으니 사용량도 늘지 않아요. 같은 질문이 자주 들어오는 서비스일수록 이 차이가 크게 쌓여요.

그래서 캐싱의 성적표는 "얼마나 자주 맞아떨어졌는가"로 매겨요. 열 번 중 아홉 번이 꽂이에서 나갔다면 잘 고른 것이고, 열 번 중 한 번뿐이라면 꽂이를 관리하는 수고만 늘어난 셈이에요.

무엇을 꽂아 둘 수 있을까요

같은 요청이라야 같은 답을 줄 수 있어요. 여기서 "같다"의 기준이 꽤 빡빡해요. 글자 하나만 달라도, 대화의 앞부분이 조금만 달라도 다른 요청으로 봐요. 그래서 자주 묻는 질문에 대한 안내, 자주 쓰는 문서의 요약, 목록에 늘 함께 나가는 소개 문구처럼 여럿에게 똑같이 나가는 답이 꽂이에 잘 어울려요.

반대로 사람마다 달라지는 답은 두어도 쓸모가 없어요. 내 주문 내역을 놓고 하는 대화, 방금 올린 파일에 대한 질문 같은 것들이에요. 개인 정보가 섞인 답을 두었다가 다른 사람에게 건네지는 사고도 조심해야 해요. 누구에게나 같은 답인지부터 따져 보는 습관이 필요해요.

한 가지 예외가 있어요. 답 전체가 아니라 요청 앞부분만 다시 쓰는 방법이에요. 긴 규칙이나 문서를 매번 앞에 붙여 보내는 서비스라면, 그 앞부분을 읽어 둔 상태를 두었다가 다음 요청에서 이어 쓸 수 있어요. 뒤에 붙는 질문은 사람마다 달라도 앞부분은 늘 같으니, 그만큼 시간과 사용량이 줄어요.

언제 버릴지가 절반이에요

두었던 답은 시간이 지나면 낡아요. 안내 문구가 바뀌었는데 꽂이에 옛 답이 남아 있으면, 서비스는 아주 빠르게 틀린 답을 내놓게 돼요. 캐싱에서 가장 흔한 사고가 바로 이거예요.

그래서 유통기한을 정해 둬요. 자주 바뀌지 않는 내용은 길게, 수시로 바뀌는 내용은 짧게 잡아요. 원본을 고치는 순간 관련된 답을 곧바로 지우도록 연결해 두기도 해요. 무엇이 바뀌면 무엇을 버려야 하는지 미리 그려 두지 않으면, 나중에 어디에 옛 답이 남아 있는지 찾기가 아주 어려워져요.

꽂이 칸은 한정돼 있어요

두는 자리도 공짜가 아니에요. 칸이 다 차면 새 답을 넣기 위해 무언가를 빼야 하고, 보통은 오래 나가지 않은 것부터 빼요. 그래서 어쩌다 한 번 들어오는 질문은 꽂아 두어도 다음번엔 이미 빠져 있기 쉬워요.

두는 자리는 여러 곳에 겹쳐 있기도 해요. 이용자 기기 안, 서비스 앞단, 모델을 부르는 자리마다 각각 두면 빠르기는 하지만, 그만큼 옛 답이 숨어 있을 자리도 늘어나요. 이상한 답이 계속 나올 때 어느 층의 꽂이를 비워야 하는지 헷갈리는 이유예요.