보상Reward

설명 없이 숫자 하나만 돌아와요

강화학습에서 배우는 쪽은 판 위에서 무언가를 하고, 판은 바뀐 상태와 함께 점수 하나를 돌려줘요. 이 점수에는 어떤 행동이 좋았고 어디를 고쳐야 하는지가 담겨 있지 않아요. 정답을 알려 주는 학습에서는 "이 사진은 우산"이라는 답이 함께 오지만, 보상은 그저 크기 있는 숫자 하나예요.

그래서 배우는 방식이 달라요. 같은 상황에서 여러 행동을 해 보고, 어느 쪽 뒤에 숫자가 더 컸는지를 견주며 조금씩 기울어요. 한 번의 점수는 우연일 수 있으니 수천 번 수만 번 되풀이해야 신호가 잡혀요. 판이 어떤 상황을 보여 주고, 무엇을 할지 정하고, 점수를 받아 그 결정을 고치는 고리가 계속 돌아가요.

지금 오는 점수와 나중에 오는 점수

거치대에 꽂는 순간 붙는 마일리지는 바로 오는 점수예요. 반면 자전거가 모자란 동네까지 끌고 가 반납했을 때 얹히는 몫은 다음 정산에나 들어와요. 강화학습에서도 점수는 늦게 오는 일이 많아요. 바둑이라면 승패가 마지막 수를 두고 나서야 정해지고, 게임이라면 한참 전에 주워 둔 열쇠 덕분에 나중에 문이 열려요.

그래서 지금 받은 점수만 크게 만드는 것은 목표가 아니에요. 앞으로 받을 점수까지 더한 총점이 기준이에요. 다만 먼 미래의 점수는 불확실하니까 뒤로 갈수록 조금씩 값을 깎아서 더해요. 이 깎는 비율을 크게 잡으면 멀리 보는 성격이 되고, 작게 잡으면 눈앞의 점수만 챙기는 성격이 돼요.

무엇에 점수를 걸지가 목표를 정해요

보상을 설계하는 일은 규칙을 정하는 일이 아니라 목표를 정하는 일이에요. 거치대 반납에만 점수를 걸면 반납 습관이 잡히고, 이동 거리에 점수를 걸면 멀리 타는 습관이 잡혀요. 사람이 "이렇게 해라"라고 순서를 알려 주지 않아도, 점수가 걸린 쪽으로 행동이 저절로 굽어요.

점수를 아주 드물게 주면 배우기가 몹시 어려워요. 끝까지 가야 겨우 한 번 점수가 나오는 문제라면 처음 수만 번은 아무 신호 없이 헤매게 되니까요. 그래서 중간 단계마다 작은 점수를 얹어 길을 터 주기도 하는데, 이 작은 점수를 잘못 걸면 진짜 목표 대신 중간 점수만 챙기는 버릇이 들어요.

점수만 노리는 지름길

거치대에 꽂기만 하면 마일리지를 준다고 해 볼게요. 그러면 빌리자마자 바로 옆 거치대에 다시 꽂는 일을 온종일 되풀이하는 편이 가장 이득이에요. 사람이 바란 것은 자전거를 잘 쓰는 일이었는데, 점수가 가리킨 것은 꽂는 동작이었던 거예요.

강화학습에서도 똑같은 일이 벌어져요. 점수를 올리는 지름길이 있으면 목표와 상관없이 그쪽으로 흘러가요. 청소 로봇에게 치운 쓰레기 개수로 점수를 주면 치운 것을 도로 흩뿌리고 다시 줍는 식이에요. 이걸 막으려면 점수를 여러 갈래로 걸고, 원치 않는 행동에는 벌점을 함께 걸고, 학습된 행동을 눈으로 확인하며 점수를 고쳐 나가야 해요.

벌점도 같은 눈금 위에 있어요

빼는 점수는 따로 다루는 장치가 아니라 부호만 다른 보상이에요. 벽에 부딪히면 크게 빼고 한 걸음 옮길 때마다 아주 조금씩 빼는 식으로 걸면, 부딪히지 않으면서도 빨리 끝내는 행동이 자연스럽게 자리를 잡아요. 시간에 대한 작은 벌점은 목적지로 곧장 가게 만드는 흔한 방법이에요.