그래픽 메모리VRAM
그래픽 카드가 계산할 숫자를 펼쳐 두는 자리
- 그래픽 메모리(VRAM, Video RAM)는 그래픽 카드가 계산할 숫자를 펼쳐 놓는 작업대예요.
- 작업대에 다 못 올리면 느려지는 게 아니라 아예 시작을 못 해요. 오류를 내고 멈춰요.
- 올라가야 하는 것은 셋이에요. 모델의 숫자, 지금 다루는 입력과 대화 기록, 계산 중간값.
- 숫자를 더 거친 단위로 다듬으면 같은 작업대에 더 큰 모델이 올라가요.
- 연산량과는 다른 벽이에요. 하나는 자리 문제, 하나는 일의 양 문제예요.
목차
1비유로 이해하기
분식집 조리대를 떠올려 보세요. 떡볶이 하나를 만들려 해도 떡과 어묵, 파, 양념을 손 닿는 자리에 다 꺼내 놓아야 시작할 수 있어요. 조리대가 좁으면 손이 아무리 빨라도 소용없어요. 재료를 다 못 펼치면 조리를 아예 시작하지 못하거든요.
그래픽 카드에 붙어 있는 그래픽 메모리가 이 조리대예요. 넓이는 정해져 있고, 그 위에 올라간 것만 계산에 쓸 수 있어요. 손님이 몰려 냄비를 두 개 올려야 하면 그만큼 자리가 더 필요하고, 자리가 없으면 주문을 받는 순간 그대로 멈춰요.
주방 옆 창고에 재료가 아무리 많아도 소용없어요. 조리대에 올려놓은 것만 손이 닿거든요.
2자세히 알아보기
작업대 위에 무엇이 올라가나
가장 큰 덩어리는 모델이 가진 숫자 자체예요. 학습으로 정해진 이 숫자들은 계산 내내 필요해서 처음부터 끝까지 자리를 차지해요. 모델을 고르는 순간 작업대의 절반 이상이 이미 채워지는 셈이에요.
그다음은 지금 다루는 입력과 지금까지 오간 대화 기록이에요. 모델은 앞서 읽은 내용을 다시 계산하지 않으려고 중간 결과를 메모지처럼 적어 두는데, 대화가 길어질수록 이 메모지가 계속 쌓여요. 마지막으로 층을 지나며 생기는 계산 중간값이 잠깐씩 자리를 빌렸다 비워요.
모자라면 느려지는 게 아니라 멈춰요
이 점이 다른 부품과 가장 크게 다른 부분이에요. 처리 속도가 느린 카드는 답이 늦게 나올 뿐 어쨌든 나와요. 그런데 자리가 모자라면 계산을 시작할 수 없어서 그 자리에서 오류를 내고 끝나요.
그래서 모델을 내 컴퓨터에서 돌려 보려 할 때 가장 먼저 부딪히는 벽이 여기예요. 계산이 빠른지 느린지는 그다음 문제고, 우선 올라가느냐 마느냐가 갈려요. 자리가 아슬아슬하면 짧은 질문은 되는데 긴 문서를 넣는 순간 멈추는 일도 생겨요. 대화 기록이 쌓이면서 작업대를 마저 채워 버린 거예요.
자리를 아끼는 방법
가장 널리 쓰이는 방법은 숫자를 더 거친 단위로 바꾸는 거예요. 소수점 아래를 길게 적던 숫자를 짧게 줄이면 같은 개수라도 차지하는 자리가 절반, 4분의 1로 줄어요. 재료를 잘게 다듬어 부피를 줄이는 것과 비슷해요. 대신 아주 미세한 차이가 뭉개져서 답의 결이 조금 거칠어질 수 있어요.
한 번에 처리하는 묶음을 줄이는 방법도 있어요. 냄비를 두 개 대신 하나만 올리는 식이에요. 자리는 아끼지만 전체를 끝내는 데는 더 오래 걸려요. 그 밖에 애초에 작은 모델을 고르거나, 모델을 여러 조각으로 나눠 여러 카드에 나눠 싣거나, 당장 안 쓰는 부분을 본체 메모리에 잠시 내려 두는 방법도 써요.
학습에는 훨씬 넓은 자리가 필요해요
답만 받을 때는 모델의 숫자와 대화 기록 정도만 있으면 돼요. 그런데 학습할 때는 각 숫자를 어느 쪽으로 얼마나 고쳐야 하는지 적어 둔 신호와, 그동안의 흐름을 기억해 두는 값까지 함께 올려야 해요. 되짚어 내려가려면 오는 길에 나온 중간값도 지워 버리지 않고 붙들고 있어야 하고요.
그래서 같은 모델이라도 학습에는 답만 받을 때의 서너 배 넘는 자리가 들어요. 내 컴퓨터에서 큰 모델을 돌려 보는 것은 되는데 그 모델을 직접 학습시키기는 어려운 이유가 여기 있어요. 모델 전체 대신 작은 부품만 붙여 학습하는 방식이 널리 쓰이는 것도, 그 방식이 조리대를 훨씬 적게 차지하기 때문이에요.
3조금 더 정확하게
필요한 자리는 파라미터 수와 숫자 하나가 차지하는 크기를 곱해 어림잡아요. 숫자 하나를 16비트로 적으면 파라미터 한 개당 2바이트, 4비트로 줄이면 0.5바이트예요. 여기에 대화 길이에 비례해 늘어나는 중간 결과 저장분과 여유분을 더해요. 이 저장분은 층 수와 대화 길이에 함께 비례해서, 긴 대화에서는 무시할 수 없는 덩어리가 돼요.
비유가 어긋나는 지점이 있어요. 조리대 위 재료는 잠깐 치웠다가 필요할 때 다시 꺼내면 되지만, 그래픽 메모리에서 내려간 숫자를 본체 메모리에서 다시 가져오는 일은 계산보다 훨씬 느려요. 그래서 자리를 아끼려고 자꾸 내렸다 올리면 속도가 몇 배로 떨어져요.
또 남은 자리가 숫자상으로는 충분해 보여도 조각조각 흩어져 있으면 큰 덩어리를 올리지 못하는 일이 있어요. 표시된 여유와 실제로 쓸 수 있는 여유가 다를 수 있다는 뜻이에요.
4직접 해보기
5흔한 오해
컴퓨터 메모리가 넉넉하면 된다고 생각하기 쉽지만, 실제로는 그래픽 카드에 붙은 메모리는 따로여서 본체 메모리가 아무리 커도 대신 쓰지 못해요.
모델 파일 크기만큼만 있으면 된다고 여기기 쉽지만, 실제로는 대화 기록과 계산 중간값이 더 필요해서 여유를 넉넉히 잡아야 해요.
자리가 모자라면 조금 느려질 뿐이라고 생각하기 쉽지만, 실제로는 대부분 오류를 내며 그 자리에서 멈춰 버려요.
7한 줄 요약
그러니까그래픽 메모리는 계산할 숫자를 펼쳐 두는 작업대이고, 여기에 다 못 올라가면 모델은 느려지는 게 아니라 아예 돌지 않아요.
잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정2026-09-02