핵심 정리
- 로컬 실행은 모델 파일을 받아 내 컴퓨터 안에서 돌리는 방식이에요.
- 주고받는 글이 바깥으로 나가지 않아요. 가장 자주 꼽히는 이유예요.
- 인터넷이 끊겨도 되고, 물어볼 때마다 값이 붙지 않아요.
- 대신 저장 공간과 그래픽 메모리를 내가 내줘야 하고, 큰 모델일수록 버거워요.
- 같은 질문이라도 바깥의 큰 모델보다 답이 무를 수 있어서, 맡길 일을 골라야 해요.
비유로 이해하기
차가 필요할 때 렌터카를 빌리면 편해요. 늘 새 차가 나오고 정비도 대여점이 알아서 해요. 대신 탈 때마다 돈을 내고, 영업 시간에 맞춰 가야 하고, 언제 어디를 다녀왔는지는 대여점 기록에 남아요. 어느 날 값이 오르거나 늘 타던 차종이 사라지기도 해요.
집 앞에 내 차를 세워 두면 사정이 달라져요. 새벽 세 시에도 그냥 타면 되고, 어디를 다녀왔는지 남의 기록에는 남지 않아요. 대신 세워 둘 자리가 필요하고, 처음에 목돈이 들고, 정비도 내 몫이에요. 대여점의 최신 차만큼 좋지 않을 수도 있고요.
로컬 실행은 집 앞에 세워 둔 내 차예요.
자세히 알아보기
내 자리에서 돈다는 것
평소에 쓰는 AI는 대개 남의 컴퓨터에서 돌아요. 내가 쓴 글이 인터넷을 건너가고, 저쪽에서 계산해 만든 답이 다시 넘어와요. 화면만 내 앞에 있고 힘쓰는 일은 전부 저쪽에서 벌어져요.
로컬 실행은 이 순서를 통째로 내 컴퓨터로 옮겨요. 모델 파일을 한 번 받아 두면 그 뒤로는 글이 밖으로 나가지 않아요. 계산도 내 컴퓨터의 부품이 해요. 요즘은 브라우저 안에서 바로 도는 것도 있어서 설치 없이 맛보기도 할 수 있어요.
이게 되려면 모델 파일이 손에 있어야 해요. 그래서 로컬 실행은 파일을 열어 둔 모델과 짝을 이뤄요. 파일을 내주지 않는 모델은 애초에 내 자리로 데려올 수 없어요.
글이 밖으로 나가지 않아요
가장 자주 꼽히는 이유는 사생활이에요. 진료 기록, 계약서, 아직 발표하지 않은 자료처럼 밖으로 내보내면 곤란한 글이 있어요. 창구를 빌려 쓰면 그 글이 남의 컴퓨터를 한 번은 거쳐요.
내 자리에서 돌리면 이 걱정이 사라져요. 글이 방을 나가지 않으니까요. 회사 규정상 바깥 서비스를 못 쓰는 경우, 학교나 병원처럼 다루는 자료가 민감한 경우에 이 방식이 자주 쓰여요.
무엇을 물어봤는지가 남의 서버에 쌓이지 않는다는 점도 함께 따라와요. 기록이 남더라도 내 컴퓨터 안에만 남아요.
인터넷과 비용
연결이 없어도 돈다는 것도 실용적인 이유예요. 비행기 안, 지하, 신호가 약한 현장에서도 그대로 써요. 창구가 잠시 멈추거나 붐벼도 내 쪽은 영향을 받지 않아요.
비용의 모양도 달라져요. 창구를 빌려 쓰면 물어볼 때마다 조금씩 값이 붙지만, 내 컴퓨터에서 돌리면 전기 말고는 더 나가는 게 없어요. 많이 쓸수록 이 차이가 벌어져요. 대신 쓸 만한 컴퓨터를 갖추는 값이 맨 앞에 놓여요.
바뀌지 않는다는 점도 있어요. 받아 둔 파일은 어제와 오늘이 같아요. 저쪽에서 조용히 손을 봐서 답이 달라지는 일이 없어요.
대신 내가 챙겨야 하는 것
차를 세워 둘 자리가 필요하듯 모델에도 자리가 필요해요. 파일 자체가 크고, 돌아가는 동안에는 메모리에 올라가 있어야 하고, 그래픽 메모리에 다 들어가야 가장 빨라요. 자리가 모자라면 일부를 일반 메모리로 넘겨 느리게 돌리거나, 아예 안 돌아요.
그래서 로컬에서는 작은 모델을 고르게 돼요. 작으면 빠르고 가볍지만 어려운 질문에서는 말이 무너지기도 해요. 짧게 줄이기, 말투 다듬기, 갈래 나누기처럼 정해진 일에는 충분하고, 길게 따져야 하는 일은 버거운 편이에요.
관리도 내 몫이에요. 새 판이 나와도 저절로 바뀌지 않고, 설정을 잘못 잡으면 느려져요. 편한 대신 남의 손을 타는 쪽과 번거로운 대신 내 손 안에 있는 쪽 가운데, 무엇이 더 중요한지 고르는 문제예요.
조금 더 정확하게
로컬 실행은 모델을 어디에 두느냐의 문제라서 모델의 성질 자체를 바꾸지는 않아요. 같은 파일이면 내 컴퓨터에서 돌리든 남의 서버에서 돌리든 답의 성격은 비슷해요. 다만 로컬에 넣을 때는 덩치를 줄이는 손질을 거치는 경우가 많아서, 같은 이름의 모델이라도 답이 조금 무뎌질 수 있어요.
자가용 비유가 어긋나는 지점도 있어요. 차는 한 대를 사면 그 차만 타지만, 모델 파일은 여러 개를 받아 두고 일에 따라 바꿔 쓸 수 있어요. 자리만 넉넉하다면요. 차는 세워 두기만 해도 값이 떨어지지만 파일은 그대로 남는다는 차이도 있어요. 대신 바깥에서는 더 나은 모델이 계속 나와서, 시간이 지나면 손에 든 파일이 상대적으로 뒤처져 보이게 돼요.
둘 중 하나만 고를 필요도 없어요. 밖으로 내보내면 안 되는 자료는 내 자리에서 다루고, 어려운 질문은 바깥 창구에 맡기는 식으로 섞어 쓰는 경우가 많아요. 무엇을 어디로 보낼지 미리 갈라 두는 것이 실제로는 가장 큰 결정이에요.
직접 해보기
흔한 오해
로컬에서 돌리면 인터넷이 아예 필요 없다고 생각하기 쉽지만, 실제로는 처음 모델 파일을 받아 올 때는 연결이 필요해요.
내 컴퓨터에서 도니까 더 빠르다고 여기기 쉽지만, 실제로는 장비에 따라 크게 갈리고 바깥 창구가 더 빠른 경우도 흔해요.
보통 컴퓨터에 들어가는 작은 모델도 큰 모델과 답이 비슷하다고 생각하기 쉽지만, 실제로는 길고 어려운 질문에서 차이가 뚜렷하게 벌어져요.
한 줄 요약
로컬 실행은 모델 파일을 내 컴퓨터로 데려와 돌리는 방식이라, 글이 밖으로 나가지 않는 대신 자리와 관리를 내가 떠맡는 선택이에요.
잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정 2026-10-17