로컬 실행Local LLM
AI 모델을 내 컴퓨터에서 직접 돌리기
- 로컬 실행은 모델 파일을 받아 내 컴퓨터 안에서 돌리는 방식이에요.
- 주고받는 글이 바깥으로 나가지 않아요. 가장 자주 꼽히는 이유예요.
- 인터넷이 끊겨도 되고, 물어볼 때마다 값이 붙지 않아요.
- 대신 저장 공간과 그래픽 메모리를 내가 내줘야 하고, 큰 모델일수록 버거워요.
- 같은 질문이라도 바깥의 큰 모델보다 답이 무를 수 있어서, 맡길 일을 골라야 해요.
목차
1비유로 이해하기
차가 필요할 때 렌터카를 빌리면 편해요. 늘 새 차가 나오고 정비도 대여점이 알아서 해요. 대신 탈 때마다 돈을 내고, 영업 시간에 맞춰 가야 하고, 언제 어디를 다녀왔는지는 대여점 기록에 남아요. 어느 날 값이 오르거나 늘 타던 차종이 사라지기도 해요.
집 앞에 내 차를 세워 두면 사정이 달라져요. 새벽 세 시에도 그냥 타면 되고, 어디를 다녀왔는지 아무 데도 남지 않아요. 대신 세워 둘 자리가 필요하고, 처음에 목돈이 들고, 정비도 내 몫이에요. 대여점의 최신 차만큼 좋지 않을 수도 있고요.
로컬 실행은 집 앞에 세워 둔 내 차예요.
2자세히 알아보기
내 자리에서 돈다는 것
평소에 쓰는 AI는 대개 남의 컴퓨터에서 돌아요. 내가 쓴 글이 인터넷을 건너가고, 저쪽에서 계산해 만든 답이 다시 넘어와요. 화면만 내 앞에 있고 힘쓰는 일은 전부 저쪽에서 벌어져요.
로컬 실행은 이 순서를 통째로 내 컴퓨터로 옮겨요. 모델 파일을 한 번 받아 두면 그 뒤로는 글이 밖으로 나가지 않아요. 계산도 내 컴퓨터의 부품이 해요. 요즘은 브라우저 안에서 바로 도는 것도 있어서 설치 없이 맛보기도 할 수 있어요.
이게 되려면 모델 파일이 손에 있어야 해요. 그래서 로컬 실행은 파일을 열어 둔 모델과 짝을 이뤄요. 파일을 내주지 않는 모델은 애초에 내 자리로 데려올 수 없어요.
글이 밖으로 나가지 않아요
가장 자주 꼽히는 이유는 사생활이에요. 진료 기록, 계약서, 아직 발표하지 않은 자료처럼 밖으로 내보내면 곤란한 글이 있어요. 창구를 빌려 쓰면 그 글이 남의 컴퓨터를 한 번은 거쳐요.
내 자리에서 돌리면 이 걱정이 사라져요. 글이 방을 나가지 않으니까요. 회사 규정상 바깥 서비스를 못 쓰는 경우, 학교나 병원처럼 다루는 자료가 민감한 경우에 이 방식이 자주 쓰여요.
무엇을 물어봤는지가 어딘가에 쌓이지 않는다는 점도 함께 따라와요.
인터넷과 비용
연결이 없어도 돈다는 것도 실용적인 이유예요. 비행기 안, 지하, 신호가 약한 현장에서도 그대로 써요. 창구가 잠시 멈추거나 붐벼도 내 쪽은 영향을 받지 않아요.
비용의 모양도 달라져요. 창구를 빌려 쓰면 물어볼 때마다 조금씩 값이 붙지만, 내 컴퓨터에서 돌리면 전기 말고는 더 나가는 게 없어요. 많이 쓸수록 이 차이가 벌어져요. 대신 쓸 만한 컴퓨터를 갖추는 값이 맨 앞에 놓여요.
바뀌지 않는다는 점도 있어요. 받아 둔 파일은 어제와 오늘이 같아요. 저쪽에서 조용히 손을 봐서 답이 달라지는 일이 없어요.
대신 내가 챙겨야 하는 것
차를 세워 둘 자리가 필요하듯 모델에도 자리가 필요해요. 파일 자체가 크고, 돌아가는 동안에는 그래픽 메모리에 통째로 올라가 있어야 해요. 자리가 모자라면 아예 안 돌거나 아주 느리게 돌아요.
그래서 로컬에서는 작은 모델을 고르게 돼요. 작으면 빠르고 가볍지만 어려운 질문에서는 말이 무너지기도 해요. 짧게 줄이기, 말투 다듬기, 갈래 나누기처럼 정해진 일에는 충분하고, 길게 따져야 하는 일은 버거운 편이에요.
관리도 내 몫이에요. 새 판이 나와도 저절로 바뀌지 않고, 설정을 잘못 잡으면 느려져요. 편한 대신 남의 손을 타는 쪽과 번거로운 대신 내 손 안에 있는 쪽 가운데, 무엇이 더 중요한지 고르는 문제예요.
3조금 더 정확하게
로컬 실행은 모델을 어디에 두느냐의 문제라서 모델의 성질 자체를 바꾸지는 않아요. 같은 파일이면 내 컴퓨터에서 돌리든 남의 서버에서 돌리든 답의 성격은 비슷해요. 다만 로컬에 넣을 때는 덩치를 줄이는 손질을 거치는 경우가 많아서, 같은 이름의 모델이라도 답이 조금 무뎌질 수 있어요.
자가용 비유가 어긋나는 지점도 있어요. 차는 한 대를 사면 그 차만 타지만, 모델 파일은 여러 개를 받아 두고 일에 따라 바꿔 쓸 수 있어요. 자리만 넉넉하다면요. 차는 세워 두기만 해도 값이 떨어지지만 파일은 그대로 남는다는 차이도 있어요. 대신 바깥에서는 더 나은 모델이 계속 나와서, 시간이 지나면 손에 든 파일이 상대적으로 뒤처져 보이게 돼요.
둘 중 하나만 고를 필요도 없어요. 밖으로 내보내면 안 되는 자료는 내 자리에서 다루고, 어려운 질문은 바깥 창구에 맡기는 식으로 섞어 쓰는 경우가 많아요. 무엇을 어디로 보낼지 미리 갈라 두는 것이 실제로는 가장 큰 결정이에요.
4직접 해보기
5흔한 오해
로컬에서 돌리면 인터넷이 아예 필요 없다고 생각하기 쉽지만, 실제로는 처음 모델 파일을 받아 올 때는 연결이 필요해요.
내 컴퓨터에서 도니까 더 빠르다고 여기기 쉽지만, 실제로는 장비에 따라 크게 갈리고 바깥 창구가 더 빠른 경우도 흔해요.
로컬 모델도 큰 모델과 답이 비슷하다고 생각하기 쉽지만, 실제로는 길고 어려운 질문에서 차이가 뚜렷하게 벌어져요.
7한 줄 요약
그러니까로컬 실행은 모델 파일을 내 컴퓨터로 데려와 돌리는 방식이라, 글이 밖으로 나가지 않는 대신 자리와 관리를 내가 떠맡는 선택이에요.
잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정2026-09-02