탐색과 활용Exploration vs Exploitation

한 번에 하나만 고를 수 있어요

이 문제가 어려운 이유는 두 가지를 동시에 할 수 없기 때문이에요. 새 자리에 던진 한 번은 아는 자리에 던지지 못한 한 번이에요. 그래서 새것을 해 보는 일에는 언제나 값이 붙어요. 그 값을 치르고 얻는 것은 정보예요. 그 자리가 좋은지 나쁜지 알게 되고, 그 정보가 다음 결정을 바꿔요.

강화학습만의 문제도 아니에요. 늘 다니던 길로 갈지 새 길을 뚫어 볼지, 잘 팔리는 물건을 계속 놓을지 새 물건을 들여놓을지도 같은 구조예요. 다만 강화학습에서는 이 저울질이 수만 번 되풀이되기 때문에, 어떻게 나눌지가 학습의 성패를 가르게 돼요.

한쪽으로만 기울면

활용만 하는 쪽부터 볼게요. 처음 몇 번 던진 자리에서 우연히 두어 마리가 올라오면 그 자리가 최고로 보여요. 그다음부터는 계속 거기만 던지니 다른 자리는 확인될 기회가 없어요. 더 좋은 자리가 바로 옆에 있어도 끝까지 모른 채 끝나요. 처음 붙은 운이 하루 전체를 정해 버리는 셈이에요.

탐색만 하는 쪽도 곤란해요. 매번 새 자리에 던지면 자리 정보는 잔뜩 쌓이지만 정작 좋은 자리에 던진 시간이 없어요. 학습에서는 무작위로만 움직이는 상태와 같아서, 점수를 받아 본 적이 거의 없으니 배울 것도 잘 잡히지 않아요.

가끔 일부러 아무 쪽이나

가장 널리 쓰는 방법은 단순해요. 열 번 중 아홉 번은 지금까지 가장 좋았던 쪽을 고르고, 한 번은 아무 쪽이나 골라요. 아무 쪽이나 고르는 비율만 정해 두면 되니 손쉽고, 어떤 문제에서도 일단 작동해요.

이 비율은 고정해 두지 않고 시간에 따라 줄여요. 처음에는 아는 것이 없으니 절반쯤을 아무 쪽에나 쓰다가, 판을 여러 번 돌아 값이 자리를 잡으면 조금씩 내려요. 끝 무렵에는 백 번에 한 번쯤만 새것을 시험하는 식이에요. 처음에 넓게 훑고 뒤로 갈수록 좁혀 가는 흐름이에요.

덜 해 본 쪽을 후하게 보기

아무 쪽이나 고르는 방법에는 흠이 있어요. 이미 나쁘다고 확인된 자리에도 똑같은 확률로 던지게 되니까요. 그래서 더 나은 방법이 나왔어요. 각 자리의 값을 매길 때 덜 던져 본 자리에 웃돈을 얹어 두는 거예요. 몇 번 안 던져 봤을수록 웃돈이 커져요.

이렇게 하면 확인이 덜 된 자리가 자연스럽게 앞으로 올라와 선택돼요. 던져 볼수록 웃돈이 줄어드니 나쁜 자리는 스스로 뒤로 물러나고, 좋을 수도 있는데 확인이 덜 된 자리만 계속 앞에 남아요. 아무 데나 던지는 것보다 훨씬 알뜰하게 정보를 모으는 방식이에요.

다 배운 뒤에는

학습이 끝나고 실제로 쓸 때는 보통 탐색을 꺼요. 가장 좋다고 판단한 쪽만 고르게 두는 거예요. 실전에서 일부러 나쁜 쪽을 고를 이유가 없으니까요. 다만 물속 사정이 계절에 따라 바뀌듯 환경이 변하는 곳에서는 탐색을 아주 조금 남겨 둬요. 어제의 최고가 오늘도 최고라는 보장이 없기 때문이에요.