GPT
앞을 보고 다음 조각을 이어 쓰는 언어 모델 방식
- GPT는 앞에 있는 글만 보고 다음 한 조각을 이어 쓰는 방식으로 만든 언어 모델이에요.
- 이름 세 글자가 곧 구조예요. 이어 쓰고(Generative), 미리 익혀 두고(Pre-trained), 트랜스포머로 만들었다는 뜻이에요.
- 뒤쪽은 아예 보지 못해요. 아직 쓰지 않은 자리를 가려 놓은 채로 다음을 맞히는 연습을 했기 때문이에요.
- 조각을 하나 붙일 때마다 지금까지 쓴 글 전체를 처음부터 다시 읽어요. 그래서 글이 길어질수록 느려져요.
- 일마다 따로 만들지 않아요. 한 번 익혀 둔 모델 하나로 번역도 요약도 상담도 처리해요.
목차
1비유로 이해하기
도장 열 칸짜리 쿠폰을 받아 본 적 있을 거예요. 도장은 늘 왼쪽 첫 칸부터 하나씩 찍혀요. 여섯째 칸을 먼저 찍는 일도, 이미 찍힌 도장을 지우고 다시 찍는 일도 없어요.
다음 도장이 놓일 자리는 판을 보면 바로 알 수 있어요. 지금까지 몇 칸이 찍혔는지가 다음 한 칸을 정해 주니까요. 아직 오지 않은 뒤쪽 칸들은 판단에 아무 도움이 되지 않아요. 비어 있으니까요.
GPT가 글을 만드는 방식이 이 도장판과 같아요. 지금까지 찍힌 칸을 통째로 다시 보고 바로 다음 한 칸을 찍고, 새로 찍힌 판을 또 처음부터 보고 그다음 칸을 찍어요.
2자세히 알아보기
이름 세 글자가 구조를 말해요
맨 뒤의 트랜스포머는 뼈대예요. 문장 안 조각들이 서로를 얼마나 참고할지 정하는 방식이고, 요즘 언어 모델 대부분이 이 뼈대를 써요.
가운데의 사전 학습은 순서를 말해요. 누가 무엇을 물어볼지 정해지기 전에, 엄청난 양의 글로 기본기를 먼저 익혀 둔다는 뜻이에요. 쓰임새를 정하기 전에 만들어 두는 거예요.
맨 앞의 생성은 하는 일이에요. 주어진 보기 중 하나를 고르는 게 아니라 없던 글을 새로 만들어 내요. 세 글자를 이어 보면 "트랜스포머로 만들어 미리 익혀 둔, 글을 이어 쓰는 모델"이 돼요.
앞만 보고 오른쪽으로만 가요
GPT에게 지금 자리보다 뒤쪽은 존재하지 않는 것과 같아요. 학습할 때부터 뒷부분을 가려 두고 다음 조각을 맞히게 했기 때문이에요. 답이 옆에 놓여 있으면 맞히는 연습이 되지 않으니까요.
한번 내놓은 조각을 되돌려 고치지도 않아요. 사람은 글을 쓰다가 앞 문장을 지우고 다시 쓰지만, GPT는 이미 찍힌 도장을 그대로 둔 채 그 뒤에 이어 붙이기만 해요. 말이 어긋나기 시작하면 그 어긋난 부분까지 앞의 글로 삼아 계속 이어 가는 이유예요.
물론 "앞 문장을 이렇게 고쳐 줘"라고 부탁하면 고쳐 줘요. 그건 고쳐 쓴 문장을 새로 이어 쓰는 것이지, 이미 나온 글자를 되돌아가 수정하는 게 아니에요.
한 조각마다 판을 처음부터 다시 봐요
조각 하나를 붙일 때마다 GPT는 지금까지의 글 전체를 다시 읽어요. 열 번째 조각을 고를 때는 아홉 개를, 백 번째 조각을 고를 때는 아흔아홉 개를 함께 보는 셈이에요.
그래서 답이 길어질수록 뒤로 갈수록 한 조각을 만드는 데 드는 일이 늘어요. 화면에 글자가 주르륵 흘러나오다가 뒷부분에서 조금 느려지는 느낌이 드는 것도 이 때문이에요. 대화가 길어지면 앞선 대화까지 매번 다시 읽으니 부담은 더 커져요.
한 번에 읽어 들일 수 있는 분량에도 한도가 있어요. 대화가 그 한도를 넘어가면 오래된 앞부분부터 밀려나요. 한참 이야기하다 보면 처음에 일러 둔 조건을 잊은 것처럼 구는 일이 생기는데, 밀려난 부분은 판 위에 남아 있지 않기 때문이에요.
3조금 더 정확하게
GPT는 특정 제품 이름이기도 하지만, 여기서 다루는 건 그 뒤에 있는 구조예요. 트랜스포머의 디코더 부분만 쌓아 올리고, 앞쪽 문맥만 볼 수 있도록 뒤를 가린 채 다음 조각을 맞히도록 학습시킨 모델을 가리켜요. 학습이 끝난 뒤에는 사람 지시를 잘 따르도록 다듬는 단계가 더 붙는 경우가 많아요.
비유가 어긋나는 지점도 있어요. 도장판은 다음 칸이 하나로 정해져 있지만, GPT는 다음 조각으로 올 수 있는 후보 수만 개에 각각 가능성을 매기고 그중에서 골라요. 그래서 같은 글을 넣어도 매번 조금씩 다른 답이 나올 수 있어요. 또 도장은 한 번 찍으면 끝이지만, 모델 입장에서 지금까지의 글은 매번 새로 읽어 들이는 입력이에요. 어딘가에 눌러 놓은 흔적이 남는 게 아니에요.
이름이 널리 알려지다 보니 대화형 인공지능 전체를 가리키는 말처럼 쓰이기도 하지만, GPT는 그중 한 갈래를 부르는 이름이에요. 같은 방식으로 만든 모델은 여러 곳에서 서로 다른 이름을 달고 나와요.
4직접 해보기
5흔한 오해
GPT가 답을 미리 다 생각해 두고 뱉는다고 여기기 쉽지만, 실제로는 다음 한 조각을 정하는 일만 반복하기 때문에 문장이 어디서 끝날지도 쓰면서 정해져요.
GPT가 인터넷을 실시간으로 뒤져 답한다고 생각하기 쉽지만, 실제로는 미리 익혀 둔 내용을 바탕으로 이어 쓰는 것이고 검색은 따로 붙이는 기능이에요.
GPT가 대화 내용을 기억하고 있다고 여기기 쉽지만, 실제로는 매번 지금까지의 대화를 통째로 다시 읽는 방식이라 그 범위를 벗어난 앞부분은 사라져요.
7한 줄 요약
그러니까GPT는 미리 익혀 둔 트랜스포머로 앞의 글만 보고 다음 한 조각을 계속 이어 붙이는 방식의 언어 모델이에요.
잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정2026-09-02