대규모 언어 모델Large Language Model
엄청난 양의 글로 아주 크게 키운 언어 모델
- 대규모 언어 모델은 아주 커진 언어 모델이에요. 종류가 다른 게 아니라 규모가 다른 거예요.
- 하는 일은 끝까지 단순해요. 앞의 글을 보고 다음에 올 조각 하나를 고르는 일만 계속 반복해요.
- 규모는 세 가지가 함께 커져요. 읽은 글의 양, 모델 안의 조절 손잡이 수, 그리고 학습에 들인 계산량이에요.
- 규모가 어느 선을 넘자 따로 가르치지 않은 일까지 해내기 시작했어요. 번역, 요약, 표 정리 같은 것들이에요.
- 커진 만큼 비용과 응답 시간도 커져요. 그래서 일부러 작게 만든 모델을 쓰는 자리도 많아요.
목차
1비유로 이해하기
동네에 마을버스 한 노선만 있으면 갈 수 있는 곳은 그 길 위의 정류장뿐이에요. 그런데 노선이 수십 개가 되고 서로 만나는 환승역이 촘촘해지면 이야기가 달라져요. 아무도 "여기서 저기 가는 법"을 따로 알려 주지 않았는데, 노선도 위에서 갈아타는 것만으로 한 번도 가 본 적 없는 동네까지 닿아요. 대규모 언어 모델은 이렇게 노선이 아주 촘촘해진 노선도예요.
노선 하나하나는 학습한 글에서 얻은 말과 말 사이의 연결이에요. 읽은 글이 늘어날수록 노선이 늘고, 노선이 만나는 자리도 함께 늘어요. 어느 지점을 넘어서면 배운 적 없는 목적지까지 환승만으로 도착하게 돼요.
노선도가 커진 대가도 있어요. 노선을 깔고 유지하는 데 드는 돈과 시간이 규모만큼 불어나요.
2자세히 알아보기
노선이 늘어난 만큼 갈 수 있는 곳이 늘어요
"대규모"라는 말은 세 가지가 한꺼번에 커졌다는 뜻이에요. 첫째는 읽은 글의 양이에요. 웹 문서, 책, 백과사전, 공개된 코드까지 사람이 평생 읽어도 못 끝낼 분량을 통째로 훑어요. 둘째는 모델 안에 있는 조절 손잡이의 개수예요. 이 손잡이 하나하나가 노선 한 구간의 연결 세기에 해당해요. 셋째는 그 손잡이를 맞추는 데 들인 계산량이에요.
이 셋 중 하나만 키우면 효과가 잘 나지 않아요. 노선만 많고 다닌 기록이 없으면 환승역이 어디인지 알 수 없는 것과 같아요. 세 가지를 함께 균형 있게 키울수록 성능이 꾸준히 좋아진다는 사실이 여러 실험에서 반복해서 확인됐고, 지금의 큰 모델들은 그 규칙을 따라 만들어졌어요.
하는 일 자체는 여전히 단순해요
노선도가 아무리 커져도 지하철이 하는 일은 한 정거장씩 가는 것뿐이에요. 대규모 언어 모델도 똑같아요. 지금까지의 글을 전부 보고 다음에 올 조각 하나를 확률로 고르고, 고른 조각을 뒤에 붙인 다음, 그 상태에서 다시 다음 조각을 골라요.
답이 길고 논리적으로 보여도 내부에서 벌어지는 일은 이 반복이에요. 화면에 글자가 주르륵 흘러나오는 것도 조각이 하나씩 만들어지는 중이라서예요. 미리 답 전체를 정해 놓고 뿌리는 게 아니에요.
크기를 키우자 없던 능력이 나타났어요
작은 모델은 문장을 그럴듯하게 잇는 정도까지만 해요. 그런데 규모가 어느 선을 넘자, 만든 사람도 따로 가르치지 않은 일을 해내기 시작했어요. 예시 두세 개만 보여 주면 규칙을 알아채고 이어서 처리하거나, 여러 단계를 나눠 생각하거나, 처음 보는 형식의 표를 정리하는 식이에요.
이렇게 규모가 커지면서 갑자기 나타나는 능력을 창발이라고 불러요. 노선이 하나 더 깔렸을 뿐인데 갑자기 도시 반대편까지 이어지는 것과 비슷해요. 다만 이런 능력은 켜지고 꺼지는 스위치처럼 딱 떨어지지 않고, 재는 방법에 따라 다르게 보이기도 해요.
다 읽은 다음에 한 번 더 다듬어요
글만 잔뜩 읽은 상태의 모델은 아직 쓰기 불편해요. 질문을 던지면 답을 하는 대신 비슷한 질문을 계속 만들어 내기도 해요. 노선은 다 깔렸지만 안내 방송이 없는 상태예요.
그래서 그다음에 "이렇게 물으면 이렇게 답한다"는 예시를 사람이 만들어 넣고, 어느 답이 더 나은지 사람이 골라 준 결과로 한 번 더 조정해요. 우리가 쓰는 대화형 서비스는 이 다듬는 단계까지 마친 모델이에요. 같은 크기라도 이 과정을 얼마나 잘 거쳤느냐에 따라 체감 품질이 크게 갈려요.
3조금 더 정확하게
대규모 언어 모델은 트랜스포머 구조를 아주 크게 쌓고, 방대한 글로 다음 조각 맞히기를 반복해 학습시킨 모델이에요. 조절 손잡이에 해당하는 파라미터는 수십억에서 수천억 개 규모예요. 학습은 보통 두 단계로 나뉘어요. 대량의 글을 훑는 사전 학습이 먼저고, 그다음이 지시를 따르도록 다듬는 단계예요. 규모와 성능 사이에 꽤 매끈한 관계가 있다는 것도 알려져 있어서, 데이터와 계산량을 어느 비율로 늘릴지 미리 계산해 두고 학습을 시작해요.
비유가 어긋나는 지점도 짚어 둘게요. 지하철 노선도는 사람이 설계해 그린 그림이라 어느 노선이 어디로 가는지 눈으로 확인할 수 있어요. 모델 안의 연결은 학습 중에 저절로 맞춰진 숫자 덩어리라서, 특정 능력이 어느 자리에 들어 있는지 아무도 정확히 짚지 못해요. 또 노선도는 없는 역으로 데려다주지 않지만, 모델은 존재하지 않는 목적지를 그럴듯하게 만들어 낼 수 있어요.
4직접 해보기
5흔한 오해
대규모 언어 모델이 답을 어딘가에서 찾아온다고 생각하기 쉽지만, 실제로는 저장된 문서를 뒤지는 게 아니라 학습으로 맞춰진 연결을 따라 다음 조각을 계속 고르는 것뿐이에요.
크기만 키우면 계속 똑똑해진다고 여기기 쉽지만, 실제로는 데이터의 양과 질, 계산량이 함께 따라와야 하고 다듬는 단계가 빠지면 크기만큼의 값을 못 해요.
모델이 대화 내용을 기억하고 배운다고 생각하기 쉽지만, 실제로는 한 번 학습이 끝난 모델은 그대로예요. 앞의 대화가 이어지는 건 그 내용을 매번 다시 넣어 주기 때문이에요.
7한 줄 요약
그러니까대규모 언어 모델은 다음 조각 하나 고르기라는 단순한 일을, 노선도가 도시를 덮을 만큼 커진 규모로 해내는 언어 모델이에요.
잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정2026-09-02