연산량Compute
모델을 한 번 돌리는 데 드는 계산의 총량
- 연산량은 모델을 한 번 돌리는 데 필요한 곱셈과 덧셈의 총 횟수예요.
- 걸리는 시간이 아니라 해야 할 일의 양이에요. 같은 일도 장비를 늘려 나눠 하면 시간은 줄어요.
- 학습은 데이터를 수없이 되풀이해 훑기 때문에 답 한 번 받는 일보다 비교할 수 없이 큰 연산량이 들어요.
- 모델이 커지고 입력이 길어질수록 늘어나요. 특히 입력 길이는 늘어나는 속도가 가팔라요.
- 연산량은 전기 요금과 장비 대여료로 바로 이어져요. 자리가 모자란 문제와는 다른 벽이에요.
목차
1비유로 이해하기
택배 물류센터의 하루를 떠올려 보세요. 오늘 들어온 상자가 1만 개, 상자 하나가 나가기까지 스캔하고 분류하고 싣는 손길이 다섯 번씩 필요해요. 그러면 오늘 해야 할 일은 5만 번이에요. 이 5만 번이 연산량이에요.
이 숫자는 창고가 넓든 좁든, 일하는 사람이 많든 적든 변하지 않아요. 컨베이어를 두 배로 늘리면 같은 5만 번을 반나절에 끝낼 뿐이에요. 상자가 두 배로 들어오거나 손길이 한 단계 더 늘면 그때 비로소 일의 총량이 늘어나요.
그래서 물류센터 사장이 보는 숫자는 둘이에요. 오늘 해야 할 일이 몇 번인가, 그리고 그 일을 몇 시간 만에 끝낼 수 있는가. 앞의 숫자가 연산량이에요.
2자세히 알아보기
일의 양은 곱셈 횟수로 세요
모델 안에서 벌어지는 일은 대부분 숫자를 곱해서 더하는 작업이에요. 층 하나를 지날 때마다 들어온 숫자 묶음과 그 층이 가진 숫자 묶음을 짝지어 곱하고 더하는 일이 수백만 번씩 일어나요. 층을 다 지나면 그 횟수가 차곡차곡 쌓여 한 번 답하는 데 드는 총량이 나와요.
그래서 연산량은 초나 분 같은 시간 단위로 세지 않아요. 상자 개수처럼 일 자체의 크기로 세요. 시간은 이 크기를 장비의 처리 속도로 나눈 결과일 뿐이에요. 같은 모델이 어떤 컴퓨터에서는 1초, 어떤 컴퓨터에서는 30초가 걸리는데도 연산량은 똑같은 이유예요.
만들 때와 쓸 때는 자릿수가 달라요
모델을 쓰는 일은 창고에서 상자 하나를 꺼내 보내는 일에 가까워요. 질문 하나에 답 하나, 몇 초면 끝나요. 모델을 만드는 일은 창고 전체를 몇 번이고 다시 정리하는 대공사예요. 답을 내 보고, 얼마나 틀렸는지 재고, 되짚어 내려가며 고치는 과정을 데이터 전체에 대해 수없이 반복하니까요.
되짚어 고치는 과정은 답을 내는 과정보다 두 배쯤 손이 더 가요. 여기에 데이터를 여러 번 훑는 횟수까지 곱해지면 차이는 몇백만 배로 벌어져요. 큰 모델 한 번 학습에 컴퓨터 수천 대가 몇 주씩 매달린다는 이야기가 여기서 나와요.
무엇이 연산량을 늘리나
첫째는 모델 크기예요. 학습으로 조절되는 숫자가 두 배가 되면 곱셈 횟수도 대체로 두 배가 돼요. 둘째는 데이터 양이에요. 훑을 글이 두 배면 학습에 드는 일도 두 배가 되고요.
셋째는 입력 길이예요. 이건 조금 다르게 늘어나요. 문장 안의 모든 조각이 서로를 살펴보는 계산이 들어 있어서, 길이가 두 배가 되면 그 부분의 일은 네 배 가까이 뛰어요. 짧은 질문 열 개보다 아주 긴 문서 하나를 통째로 넣는 쪽이 훨씬 비싼 이유예요. 답을 길게 받는 것도 마찬가지로 조각 하나마다 계산이 한 번씩 더 도는 일이라 그만큼 늘어나요.
같은 일을 더 싸게 끝내는 법
일의 총량을 줄이는 길과 처리 속도를 올리는 길이 있어요. 총량을 줄이려면 작은 모델을 쓰거나, 큰 모델의 지식을 작은 모델에 옮겨 담거나, 숫자를 더 거친 단위로 바꿔 한 번의 곱셈을 가볍게 만들어요. 같은 질문이 반복된다면 앞서 계산한 결과를 저장해 두고 다시 쓰는 방법도 있고요.
속도를 올리는 길은 장비를 여러 대로 나누는 방향이에요. 다만 무한정 나뉘지는 않아요. 앞 층의 결과가 나와야 뒤 층을 계산할 수 있어서, 사람을 아무리 늘려도 순서를 건너뛸 수는 없거든요. 나눠 맡긴 결과를 주고받는 데도 시간이 들어서, 어느 지점을 넘으면 장비를 더 붙여도 크게 빨라지지 않아요.
3조금 더 정확하게
연산량은 보통 부동소수점 연산 횟수(FLOPs, Floating Point Operations)로 세요. 큰 언어 모델을 학습할 때 드는 총량은 대략 파라미터 수와 학습에 쓴 토큰 수를 곱한 값에 비례한다고 알려져 있어요. 답 한 번을 낼 때는 그보다 훨씬 작아서, 파라미터 수의 두 배 안팎으로 어림잡아요.
비유가 어긋나는 지점도 있어요. 택배 상자는 서로 상관없이 따로따로 처리할 수 있지만, 신경망 계산은 앞 결과가 뒤 계산의 재료라서 순서를 지켜야 해요. 그래서 장비를 두 배로 늘려도 시간이 정확히 절반이 되지는 않아요.
또 하나, 실제로 답이 늦게 나오는 이유가 곱셈 횟수가 아닌 경우가 많아요. 계산할 숫자를 메모리에서 꺼내 오는 시간이 더 오래 걸려서, 계산 장치가 숫자를 기다리며 노는 상황이 흔해요. 연산량은 비용을 가늠하는 좋은 잣대이지만 속도를 그대로 예측해 주지는 않아요.
4직접 해보기
5흔한 오해
연산량이 곧 걸리는 시간이라고 생각하기 쉽지만, 실제로는 장비 성능과 몇 대로 나눠 하는지에 따라 같은 연산량도 시간이 크게 달라져요.
좋은 그래픽 카드를 사면 큰 모델이 돌아간다고 생각하기 쉽지만, 실제로는 계산이 빨라도 숫자를 올려 둘 자리가 모자라면 아예 시작조차 못 해요.
답을 받는 쪽은 싸니까 신경 쓸 필요 없다고 여기기 쉽지만, 실제로는 한 번은 싸도 수억 번 쌓이면 학습에 든 비용을 훌쩍 넘어서요.
7한 줄 요약
그러니까연산량은 모델을 돌리는 데 필요한 계산의 총량이고, 이 양이 요금과 기다리는 시간을 정해요.
잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정2026-09-02