정책Policy
상황마다 무엇을 할지 정해 둔 행동 방침
- 정책은 어떤 상황에서 무엇을 할지 정해 둔 방침이에요. 강화학습이 배워서 끝내 손에 쥐는 결과물이기도 해요.
- 상황마다 행동 하나를 딱 정해 두기도 하고, 여러 행동에 확률을 나눠 두기도 해요.
- 정책을 고치는 길은 둘이에요. 행동마다 기대 점수를 매겨 그중 좋은 쪽을 고르거나, 방침 자체를 조금씩 밀어서 고쳐요.
- 좋은 정책인지는 그 방침대로 여러 판을 돌려 받은 점수의 총합으로 재요.
- 정책은 목표가 아니라 방법이에요. 목표는 점수이고, 정책은 그 점수를 많이 받으려고 정한 행동 방침이에요.
목차
1비유로 이해하기
놀이공원에 들어서면 하루 종일 선택이 이어져요. 눈앞의 놀이기구 앞에 대기 60분이 떠 있으면 지나칠지 설지 정해야 하고, 20분이면 붙을지 말지 또 정해야 해요. 그때그때 기분으로 정하는 사람도 있지만, 여러 번 와 본 사람은 방침을 정해 두고 움직여요. 60분이 넘으면 지나가고, 20분 아래면 무조건 서고, 12시가 되면 줄에서 나와 밥부터 먹는다. 상황마다 무엇을 할지 미리 적어 둔 이 짧은 목록이 하루의 결과를 바꿔요. 같은 공원, 같은 시간인데도 몇 개를 타고 나오는지가 달라지죠. 강화학습에서 이런 방침을 정책이라고 불러요.
2자세히 알아보기
상황이 들어가면 행동이 나와요
정책은 상황을 넣으면 행동이 나오는 방침이에요. 놀이공원이라면 상황은 지금 서 있는 자리와 대기 시간과 시각이고, 행동은 서기·지나가기·밥 먹기 같은 것들이에요. 강화학습의 에이전트는 판을 볼 때마다 이 방침을 한 번 들춰 보고 다음 행동을 꺼내요.
방침의 모양은 문제 크기에 따라 달라요. 상황이 몇십 가지뿐이면 목록 하나로 적어 둘 수 있어요. 화면 픽셀처럼 상황이 사실상 무한하면 목록으로는 어림도 없어서, 상황을 넣으면 행동을 내주는 신경망이 방침 노릇을 해요. 배운다는 말은 이 방침을 조금씩 고쳐 나간다는 뜻이에요.
하나로 못 박기와 확률로 섞기
방침에는 두 가지 모양이 있어요. 하나는 상황마다 행동을 딱 하나로 못 박는 방식이에요. 60분이면 무조건 지나가요. 단순하고 흔들림이 없지만, 늘 같은 길만 가서 안 가 본 길에서 무엇이 기다리는지 영영 모르게 돼요.
다른 하나는 행동마다 확률을 나눠 두는 방식이에요. 60분이면 아홉 번은 지나가고 한 번쯤은 서 보는 식이죠. 이렇게 두면 방침이 늘 조금씩 새것을 시험하게 되고, 상대가 있는 문제에서는 읽히지 않는 장점도 생겨요. 학습 도중에는 확률로 섞어 두었다가 다 배운 뒤에는 가장 높은 쪽 하나로 못 박아 쓰는 방식도 흔해요.
방침을 고치는 두 가지 길
첫째 길은 값을 먼저 매기는 방식이에요. 상황마다 각 행동이 앞으로 얼마쯤 점수를 벌어 줄지 적어 두고, 방침은 그중 가장 큰 쪽을 고르기만 해요. 이때 방침은 따로 배우는 것이 아니라 점수표에서 자동으로 따라 나와요. 행동 가짓수가 적고 셀 수 있을 때 잘 통해요.
둘째 길은 방침을 직접 미는 방식이에요. 방침대로 여러 판을 돌려 보고, 점수가 좋았던 판에서 골랐던 행동의 확률을 조금 올리고 나빴던 판의 행동은 조금 내려요. 핸들을 꺾는 각도처럼 행동이 이어진 값일 때, 그리고 확률로 섞는 방침이 필요할 때 이 길을 써요. 두 길을 함께 쓰는 방식도 널리 쓰여요. 한쪽은 값을 매기고 다른 한쪽은 그 값을 보고 방침을 미는 식이에요.
좋은 방침인지 재는 법
방침 하나가 좋은지 나쁜지는 한 판만 보고 알 수 없어요. 운 좋게 대기 줄이 짧았던 날과 비 오는 날의 결과가 다르니까요. 그래서 같은 방침으로 여러 판을 돌려 받은 점수의 평균을 봐요. 그 평균을 그 방침의 값이라고 불러요.
방침을 고칠 때는 이 값이 올라가는 쪽으로만 밀어야 해요. 한 번의 좋은 결과에 크게 휘둘려 방침을 확 바꾸면 도리어 나빠지기 쉬워서, 한 번에 조금씩만 옮기는 장치를 함께 걸어 둬요. 학습이 잘 된 방침은 하루가 끝났을 때 탄 놀이기구 수가 눈에 띄게 늘어난 것처럼 총점이 올라가 있어요.
방침은 방법이지 목표가 아니에요
정책이 아무리 그럴듯해 보여도 그 자체가 목표는 아니에요. 목표는 언제나 점수예요. 점수를 어디에 걸었느냐가 바뀌면 가장 좋은 방침도 통째로 바뀌어요. 놀이기구 수에 점수를 걸면 짧은 줄만 골라 도는 방침이 최고가 되고, 인기 놀이기구 하나를 반드시 타는 데 점수를 걸면 한 시간을 기다리는 방침이 최고가 돼요.
같은 이유로 방침을 눈으로 훑어보고 좋다 나쁘다 말하기 어려워요. 사람 눈에 이상해 보이는 방침이 점수는 더 잘 받는 일이 자주 있어요. 판단은 결국 그 방침으로 받은 총점이 내려요.
3조금 더 정확하게
정책(Policy)은 상태를 행동에 대응시키는 함수예요. 행동을 하나로 결정하면 결정적 정책, 행동마다 확률을 주면 확률적 정책이라고 불러요. 가치 함수를 배운 뒤 그중 큰 쪽을 고르는 방식을 가치 기반, 정책의 값을 직접 밀어 올리는 방식을 정책 경사 방식이라고 하고, 둘을 함께 쓰는 구성을 액터-크리틱이라고 불러요. 강화학습이 찾으려는 것은 기대 누적 보상을 가장 크게 만드는 최적 정책이에요.
비유가 어긋나는 지점도 있어요. 놀이공원의 방침은 사람이 앉아서 머리로 정하지만, 강화학습의 정책은 수만 번 돌려 본 결과로 조금씩 밀려서 만들어져요. 그래서 완성된 정책을 열어 봐도 조항 목록 같은 것이 나오지 않고, 상황을 넣어야 행동이 나오는 덩어리일 때가 많아요. 또 하나, 놀이공원 방침은 사람이 지키려고 애쓰지만 학습 중인 정책은 일부러 어겨 보기도 해요. 안 가 본 길을 시험해야 더 나은 방침을 찾을 수 있으니까요.
4직접 해보기
5흔한 오해
정책은 사람이 정해 주는 규칙이라고 생각하기 쉽지만, 실제로는 점수를 받아 가며 학습이 스스로 다듬어 낸 결과물이에요.
좋은 정책은 늘 같은 행동을 한다고 여기기 쉽지만, 실제로는 행동마다 확률을 나눠 두는 편이 더 나은 경우가 많아요.
정책과 목표는 같은 것이라고 믿기 쉽지만, 실제로는 목표는 점수 쪽에 걸려 있고 정책은 그 점수를 많이 받기 위한 방법이에요.
7한 줄 요약
그러니까정책은 상황마다 무엇을 할지 정해 둔 방침이고, 강화학습이 점수를 받아 가며 끝내 다듬어 내는 결과물이에요.
잘못된 내용이나 더 좋은 비유가 있나요? 수정 제안 보내기 · 마지막 수정2026-09-02