사고의 사슬Chain of Thought
답을 내기 전에 중간 과정을 하나씩 거치는 방식
- 사고의 사슬은 답을 곧장 내놓는 대신 중간 단계를 하나씩 거쳐 답에 닿는 방식이에요.
- 중간 단계를 머릿속이 아니라 글로 꺼내 놓는 것이 핵심이에요. 꺼내 놓은 만큼 계산할 여지가 생겨요.
- 여러 단계를 밟아야 하는 문제에서 정답률이 올라가요. 대신 답이 길어지고 느려지고 비용도 늘어요.
- 프롬프트에 한 줄만 덧붙여도 되고, 잘 푼 예시를 몇 개 보여 주어도 돼요.
- 요즘 추론 모델은 이 과정을 스스로 길게 밟고, 그 과정을 사용자에게는 접어 두거나 요약해서 보여 줘요.
목차
1비유로 이해하기
당구대에서 노리던 공이 다른 공 뒤에 딱 가려 있으면 곧장 칠 수가 없어요. 그럴 때는 쿠션을 한 번 맞히고 돌아 들어가는 길을 눈으로 그려요. 여기를 이 각도로 맞히면 저 벽으로 가고, 거기서 튀어나와 목표 공 옆구리에 닿는다는 식으로요. 한 번에 넣으려는 대신 길을 두세 도막으로 나누는 거예요.
어려운 문제를 AI에게 물을 때도 사정이 비슷해요. 답만 곧장 내놓으라고 하면 가려진 공을 억지로 치는 셈이라 엉뚱한 데로 튀어요. 중간 지점을 하나씩 밟게 하면 도막마다 거리가 짧아서 훨씬 잘 맞아요. 이렇게 답까지 가는 길을 여러 도막으로 나눠 하나씩 거쳐 가는 방식이 사고의 사슬이에요.
경로를 머릿속에만 두지 않고 큐로 벽을 짚어 가며 확인하는 사람이 더 잘 넣듯, 이 방식도 중간 도막을 눈에 보이게 꺼내 놓는 것까지 포함해요.
2자세히 알아보기
한 번에 못 치는 문제가 따로 있어요
공이 훤히 뚫려 있으면 쿠션을 계산할 이유가 없어요. 그냥 치면 들어가요. AI도 마찬가지라서, 흔한 인사말이나 사실 한 줄을 묻는 질문에는 중간 단계가 필요 없어요.
문제가 되는 건 조건이 여럿 얽힌 질문이에요. 값을 구한 뒤 그 값으로 다시 무언가를 정해야 하거나, 조건 서너 개를 모두 만족하는 경우를 찾아야 하거나, 앞뒤 문장의 관계를 따져야 하는 질문이 그래요. 이런 질문에 답만 툭 내놓으라고 하면 그럴듯한 모양의 답이 튀어나오는데, 중간을 확인하지 않았으니 맞을 때도 있고 크게 어긋날 때도 있어요.
단계를 나누면 각 단계는 훨씬 단순해져요. 앞 단계에서 정해진 값이 다음 단계의 출발점이 되니까, 모델이 매번 짧은 거리만 맞히면 돼요.
중간 과정을 밖으로 꺼내 놓는 게 핵심
AI는 지금까지 쌓인 글을 보고 다음에 올 조각을 하나 고르는 일을 반복해요. 답 하나만 쓰라고 하면 그 한 번의 선택으로 끝이에요. 반면 과정을 쓰게 하면 과정 자체가 다시 입력으로 들어가요. 앞에서 적어 둔 중간 결과가 다음 계산의 발판이 되는 거예요.
큐로 벽을 짚어 확인하는 동작과 같아요. 짚어 보는 그 순간이 있어서 각도가 잡히죠. 중간 문장을 적는 동안 모델도 자기가 방금 정한 값을 다시 읽고 이어가요.
그래서 "속으로만 생각하고 답만 말해"라고 하면 효과가 거의 사라져요. 겉으로 나온 글자가 곧 작업 공간이라서, 공간을 없애면 계산할 자리도 없어져요.
시키는 방법은 두 가지
가장 간단한 방법은 질문 끝에 한 줄을 붙이는 거예요. "단계를 나눠서 차근차근 풀어 줘"처럼요. 예시를 하나도 주지 않고 지시만 하는 방식이라 붙이는 비용이 거의 없어요.
조금 더 확실한 방법은 잘 푼 예시를 두세 개 먼저 보여 주는 거예요. 비슷한 문제를 어떤 순서로, 어느 정도 잘게 나눠 풀었는지 보여 주면 모델이 그 결을 따라와요. 원하는 형식이 정해져 있을 때 특히 잘 들어요.
풀이 순서를 아예 지정해 주는 방법도 있어요. "먼저 조건을 모두 적고, 그다음 하나씩 대입하고, 마지막에 답을 한 줄로 정리해 줘"처럼 도막을 직접 끊어 주는 거예요. 검토가 필요한 업무에서는 이 방식이 결과를 확인하기도 편해요.
길게 생각한다고 늘 좋진 않아요
단계를 밟으면 답이 길어져요. 길어진 만큼 시간이 걸리고, 프로그램에서 불러 쓴다면 요금도 늘어요. 짧게 답해도 되는 질문에까지 매번 과정을 붙이면 읽는 사람만 피곤해져요.
더 조심할 점은 틀린 중간 단계가 그대로 다음 단계의 발판이 된다는 거예요. 첫 도막에서 벽을 잘못 짚으면 그 뒤 계산은 아무리 매끄러워도 전부 어긋난 자리로 굴러가요. 과정이 조리 있어 보이는 탓에 오히려 틀린 답이 더 믿음직하게 보이기도 해요.
그래서 중요한 계산이라면 과정을 한 번 훑어보거나, 같은 문제를 몇 번 풀려 답이 갈리는지 확인하는 편이 좋아요.
요즘 모델은 스스로 밟아요
예전에는 사용자가 "단계별로 생각해 줘"라고 부탁해야 했지만, 요즘 추론 모델은 어려운 질문을 받으면 알아서 긴 과정을 밟아요. 여러 갈래로 풀어 본 뒤 스스로 견주어 보고 하나를 고르기도 해요.
이때 밟은 과정을 화면에 전부 보여 주지는 않아요. 접어 두거나 짧게 요약해서 보여 주는 서비스가 많아요. 답이 나오기 전에 "생각하는 중"이라는 표시가 잠시 뜨는 게 그 시간이에요.
그래서 요즘은 과정을 시키는 것보다 어디까지 자세히 볼지 정해 주는 일이 더 중요해졌어요. 간단한 질문에는 짧게, 복잡한 질문에는 충분히 시간을 쓰게 고르는 식이에요.
3조금 더 정확하게
사고의 사슬은 모델이 최종 답 앞에 중간 추론 문장을 생성하도록 유도하는 프롬프트 기법이에요. 모델 구조를 바꾸지 않고 입력만 바꿔서 성능을 끌어올리기 때문에, 같은 모델이라도 묻는 방식에 따라 정답률이 꽤 달라져요. 다만 이 효과는 어느 정도 큰 모델에서 뚜렷하게 나타나고, 작은 모델에서는 과정을 길게 쓰게 해도 이득이 크지 않은 경우가 많아요.
비유가 어긋나는 지점도 있어요. 당구는 공이 벽에 맞으면 물리 법칙대로 굴러가니 경로를 제대로 그렸다면 결과가 따라와요. 모델의 중간 단계는 그런 보장이 없어요. 적어 놓은 문장은 어디까지나 그럴듯한 다음 문장일 뿐이라서, 겉에 적힌 과정과 모델 안에서 실제로 일어난 계산이 늘 일치하지는 않아요. 답은 맞는데 과정이 엉뚱하거나, 과정은 그럴듯한데 답이 틀리는 일이 모두 일어나요. 과정을 확인 근거로 쓸 때는 이 점을 감안해야 해요.
4직접 해보기
5흔한 오해
화면에 적힌 과정이 모델의 진짜 속마음이라고 생각하기 쉽지만, 실제로는 그 문장도 생성된 결과물이라 내부 계산과 어긋날 수 있어요.
모든 질문에 단계별 사고를 시키면 좋다고 여기기 쉽지만, 실제로는 간단한 질문에서는 답만 길어지고 시간과 비용만 늘어요.
과정이 조리 있으면 답도 맞다고 믿기 쉽지만, 실제로는 첫 단계가 틀리면 그 위에 쌓인 매끄러운 설명이 통째로 틀린 답으로 이어져요.
7한 줄 요약
그러니까사고의 사슬은 가려진 공을 억지로 치는 대신 쿠션을 거쳐 돌아가듯, 답까지 가는 길을 중간 단계로 나눠 하나씩 밟게 하는 방식이에요.
잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정2026-09-02