추론 (Inference) 뜻 — 비유로 쉽게

1비유로 이해하기

중고 거래 앱을 몇 달째 들여다본 사람이 있어요. 어떤 물건이 얼마에 올라와서 실제로 얼마에 팔렸는지 수백 건을 훑다 보면 값이 몸에 배요. 그러다 새 매물 사진 하나가 올라오면 그동안 본 거래를 다시 뒤지지 않고 그 자리에서 "이건 대충 이 정도" 하고 값을 매겨요. 값을 매기는 이 짧은 순간이 추론이에요.

시세를 익히는 일과 값을 매기는 일은 완전히 다른 일이에요. 익히는 데는 몇 달이 걸렸지만 매물 하나에 값을 붙이는 데는 몇 초면 끝나요. 대신 값을 매기는 일은 새 매물이 올라올 때마다 처음부터 다시 해야 해요.

그리고 값을 매기는 동안에는 머릿속 기준이 바뀌지 않아요. 이 매물 하나를 봤다고 시세 감각이 갱신되지는 않거든요.

2자세히 알아보기

학습과 추론은 서로 다른 시간에 일어나요

모델을 쓰는 과정은 두 토막으로 갈라져 있어요. 앞 토막이 학습이에요. 자료를 잔뜩 보여 주면서 모델 안의 숫자를 조금씩 고쳐 나가요. 뒤 토막이 추론이에요. 다 고쳐 놓은 숫자는 그대로 둔 채, 새로 들어온 입력 하나를 그 숫자에 통과시켜 결과를 뽑아요.

두 토막은 보통 다른 날, 다른 컴퓨터에서 일어나요. 학습은 모델을 만드는 쪽에서 몇 주씩 걸려 끝내 두고, 추론은 쓰는 사람이 버튼을 누를 때마다 그때그때 일어나요. 우리가 AI 서비스를 쓰면서 마주하는 거의 모든 순간은 사실 추론 쪽이에요.

추론 중에는 아무것도 배우지 않아요

챗봇과 한참 이야기를 나누다 보면 이 대화로 AI가 나를 배워 간다는 느낌이 들어요. 하지만 추론이 도는 동안 모델 안의 숫자는 한 자리도 바뀌지 않아요. 대화가 이어지는 것처럼 보이는 건, 지금까지 오간 말을 매번 다시 입력에 붙여 넣어 주기 때문이에요.

그래서 대화창을 새로 열면 앞에서 알려 준 내용이 사라져요. 배운 적이 없으니 잊을 것도 없는 셈이에요. 사용자와 나눈 이야기가 실제로 모델에 반영되려면, 그 내용을 따로 모아 다시 학습을 돌리는 별도의 작업이 필요해요.

한 번 쓸 때마다 비용이 다시 들어요

학습은 한 번 크게 치르고 끝나지만 추론은 그렇지 않아요. 사용자 한 명이 질문 한 번을 던질 때마다 계산이 처음부터 다시 돌아요. 사용자가 백만 명이면 백만 번, 그 사람들이 하루에 열 번씩 쓰면 천만 번이에요.

한 번의 계산은 학습에 비하면 아주 가벼워요. 그런데 횟수가 워낙 많아서, 서비스를 오래 굴릴수록 전체 비용에서 추론이 차지하는 몫이 학습을 넘어서요. AI 서비스에 사용량 제한이나 요금제가 붙는 이유이기도 해요.

얼마나 빨리 답하느냐가 쓸모를 정해요

추론은 정확하기만 해서는 부족해요. 카메라 앱이 화면 속 물체를 알아보려면 한 장에 몇십 분의 일 초 안에 판단이 나와야 하고, 자동차의 보조 장치라면 그보다도 빨라야 해요. 답을 기다리는 시간이 길어지면 아무리 잘 맞혀도 그 자리에서는 쓸 수 없어요.

그래서 만드는 쪽에서는 정확도를 조금 양보하더라도 추론을 가볍게 만드는 손질을 해요. 숫자의 자릿수를 줄이거나, 잘 쓰이지 않는 부분을 덜어 내거나, 큰 모델의 판단을 흉내 내는 작은 모델을 따로 만들어 두는 식이에요.

어디서 계산하느냐도 골라야 해요

추론은 멀리 있는 서버에서 일어날 수도 있고, 손에 든 기기 안에서 일어날 수도 있어요. 서버에서 하면 큰 모델을 쓸 수 있는 대신 인터넷이 있어야 하고 자료가 밖으로 나가요. 기기 안에서 하면 인터넷 없이 즉시 답하고 자료도 밖으로 나가지 않지만, 넣을 수 있는 모델 크기가 훨씬 작아요.

요즘 휴대전화의 사진 정리나 자막 기능이 비행기 안에서도 도는 건 추론이 기기 안에서 일어나기 때문이에요. 반대로 긴 글을 써 주는 서비스는 아직 서버 쪽 추론에 기대고 있어요.

3조금 더 정확하게

추론은 학습이 끝나 고정된 파라미터에 입력을 한 번 통과시켜 출력을 얻는 계산이에요. 이 한 방향 계산을 순전파라고 불러요. 학습에는 결과가 얼마나 틀렸는지를 거꾸로 되짚어 숫자를 고치는 단계가 붙지만, 추론에는 그 단계가 없어서 훨씬 가볍고 빨라요. 그래서 학습에는 값비싼 장비가 여러 대 필요해도, 추론은 작은 장비 한 대나 휴대전화 안에서도 돌아가는 경우가 많아요. 여러 사람의 요청을 한꺼번에 묶어 한 번에 계산하는 식으로 처리량을 늘리기도 해요.

비유가 어긋나는 지점도 있어요. 사람은 새 매물을 볼 때마다 시세 감각이 조금씩이라도 갱신되지만, 모델은 추론 한 번으로 절대 변하지 않아요. 또 "추론"이라는 우리말은 곰곰이 따져 보는 사고를 떠올리게 하지만, 여기서 말하는 추론은 정해진 계산을 한 번 통과시키는 일에 가까워요. 요즘 나오는 일부 모델이 답하기 전에 생각을 길게 늘이는 것도 사고를 하는 게 아니라, 중간 글을 더 길게 만들어 내며 추론을 여러 번 반복하는 방식이에요.

4직접 해보기

티처블 머신 ailearn.space 사진 몇 장으로 학습을 끝낸 뒤 새 물건을 카메라에 비춰 보세요. 그때 바로 판단이 나오는 순간이 추론이에요

5흔한 오해

AI가 대화하면서 나를 배워 간다고 생각하기 쉽지만, 실제로는 추론 중에 모델 안의 숫자는 그대로예요. 이야기가 이어지는 건 지난 대화를 매번 다시 입력에 넣어 주기 때문이에요.
학습만 비싸고 쓰는 건 거의 공짜다라고 여기기 쉽지만, 실제로는 추론이 사용자 수만큼 반복돼서 오래 운영할수록 추론 쪽 몫이 더 커져요.
추론은 사람처럼 곰곰이 생각하는 일이라고 생각하기 쉽지만, 실제로는 고정된 숫자에 입력을 한 번 통과시키는 계산이에요.

7한 줄 요약

그러니까추론은 학습을 마친 모델이 새 입력 하나를 받아 그 자리에서 답을 내놓는 순간이고, 우리가 AI를 쓰는 거의 모든 시간이 여기에 해당해요.

이 비유가 이해에 도움이 됐나요?

잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정2026-09-02