강화학습Reinforcement Learning

돌아오는 것은 점수뿐이에요

강화학습에는 세 자리가 있어요. 행동하는 쪽, 행동을 받아 주는 무대, 그리고 무대가 돌려주는 점수예요. 볼링으로 보면 굴리는 쪽, 레인과 핀, 쓰러진 핀 개수가 각각 그 자리예요.

지도학습이라면 굴릴 때마다 "이번엔 이 자세가 맞았어요"라는 답이 붙어 있어야 해요. 강화학습에는 그런 답이 없어요. 점수 하나만 돌아오고, 그 점수 안에는 자세, 각도, 힘, 서는 자리가 전부 뭉쳐 있어요. 어느 부분이 점수를 올렸는지 갈라내는 일까지 학습에 포함돼요.

그래서 점수표를 어떻게 짜느냐가 결과를 통째로 정해요. 쓰러진 핀 수만 점수로 치면 힘껏 굴리는 버릇이 들고, 도랑에 빠질 때마다 크게 깎으면 조심스럽게 굴리는 버릇이 들어요. 점수표가 곧 목표예요.

점수가 한참 뒤에 오기도 해요

볼링 한 프레임은 공 두 개예요. 첫 공을 어디로 보냈느냐가 두 번째 공으로 스페어를 잡을 수 있는지를 정해요. 첫 공에서 가장자리 핀만 남겨 놓으면 두 번째 공은 거의 손을 못 써요. 첫 공의 점수는 8개로 나쁘지 않았는데, 프레임 전체로 보면 손해인 거예요.

강화학습이 다루는 문제는 대개 이런 모양이에요. 지금 한 선택의 값어치가 몇 걸음 뒤에야 드러나요. 그래서 당장의 점수만이 아니라 앞으로 받을 점수까지 더해 놓고 행동을 고르게 만들어요. 먼 미래의 점수는 조금씩 깎아서 세는데, 그래야 눈앞의 확실한 점수와 저울질이 돼요.

늘 하던 대로 할지, 새로 해 볼지

7개까지 쓰러뜨리는 자리를 찾았다면 계속 거기서 굴리는 게 이득이에요. 그런데 두 걸음 옆에 스트라이크가 나오는 자리가 있다면 영영 못 찾아요. 반대로 매번 새 자리에서만 굴리면 점수는 계속 들쭉날쭉해요.

이 저울질을 탐색과 활용이라고 불러요. 배우기 시작할 때는 새로 해 보는 쪽에 무게를 크게 싣고, 익숙해질수록 잘되던 쪽으로 옮겨 가요. 어느 쪽으로도 완전히 기울지 않게 조절하는 일이 강화학습에서 가장 손이 많이 가는 대목이에요.

몸에 밴 규칙이 정책이에요

수십 게임 뒤에 남는 건 점수 기록이 아니라 "이 상황에서는 이렇게 굴린다"는 규칙이에요. 오른쪽 핀이 남았을 때 서는 자리, 레인이 미끄러울 때 힘을 주는 정도 같은 것이요. 이 규칙 묶음을 정책이라고 불러요.

배우는 과정이 끝나면 실제로 쓰는 건 이 정책이에요. 상황을 넣으면 행동이 나와요. 잘 다듬인 정책은 겪어 보지 않은 레인에서도 그럭저럭 굴려 내는데, 학습 때 겪은 상황과 너무 다르면 처음처럼 도랑으로 빠져요.

실제로는 수십만 번 굴려요

사람은 몇 게임이면 감을 잡지만 기계는 그렇지 않아요. 점수 하나에서 얻는 정보가 워낙 적어서, 쓸 만한 정책이 나오려면 수십만 번에서 수억 번을 시도해야 해요.

그래서 대부분은 실제 세계 대신 흉내 낸 무대 안에서 배워요. 무대 안에서는 하루에 수백만 게임을 돌릴 수 있고 공이 부서질 걱정도 없거든요. 문제는 무대와 실제가 조금만 달라도 배운 요령이 통하지 않는다는 점이에요. 로봇 분야에서 이 간극을 메우는 일이 큰 숙제로 남아 있어요.