探索と活用Exploration vs Exploitation

一度に一つしか選べません

この問題が難しいのは、二つを同時にできないからです。新しい場所に投げた一投は、分かっている場所に投げられなかった一投でもあります。だから新しいものを試すことには、常に代償が付きます。その代償を払って得るのは情報です。その場所が良いか悪いかが分かり、その情報が次の判断を変えます。

強化学習だけの問題でもありません。いつもの道を行くか新しい道を試すか、よく売れる品を並べ続けるか新しい品を置いてみるかも同じ構造です。ただ強化学習ではこの駆け引きが数万回も繰り返されるため、どう配分するかがそのまま学習の出来を左右します。

どちらかに偏ると

まず活用だけの場合を見てみます。最初の数投でたまたま2匹釣れると、その場所が最高に見えます。それ以降はずっとそこにばかり投げるので、他の場所は確かめる機会がありません。**もっと良い場所がすぐ隣にあっても、最後まで気づかないままです。**最初についた運が、その日全体を決めてしまうわけです。

探索だけの場合も困ります。毎回新しい場所に投げれば場所の情報はどんどん貯まりますが、肝心の良い場所に投げた時間がありません。学習で言えば無作為に動いているだけの状態と同じで、報酬をほとんど受け取れないので学ぶべきものもつかみにくくなります。

たまに思い切ってどちらかを

いちばん広く使われる方法は単純です。10回のうち9回はこれまでいちばん良かったほうを選び、1回は無作為にどちらかを選びます。無作為に選ぶ割合さえ決めておけば済むので手軽で、どんな問題でもひとまず動きます。

この割合は固定せず、時間とともに減らしていきます。最初は何も分かっていないので半分ほどを無作為に使い、何度も繰り返して値が定まってくるにつれて少しずつ下げます。終わりのころには100回に1回ほどしか新しいものを試さない、という具合です。初めは広く見渡し、後になるほど絞り込んでいく流れです。

あまり試していないほうを高めに見積もる

無作為に選ぶ方法には弱点があります。すでに悪いと分かっている場所にも、同じ確率で投げてしまうからです。そこでより良い方法が生まれました。各場所の値を見積もるとき、まだあまり投げていない場所に上乗せをしておくのです。試した回数が少ないほど、上乗せは大きくなります。

こうすると、確かめが足りない場所が自然に前へ上がって選ばれます。投げるほど上乗せは減るので、悪い場所は自然に後ろへ下がり、良いかもしれないのにまだ確かめが足りない場所だけが前に残り続けます。無作為に投げるより、ずっと効率よく情報を集める方式です。

すべて学び終えたあとは

学習が終わって実際に使うときは、たいてい探索を切ります。いちばん良いと判断したほうだけを選ばせるのです。本番でわざわざ悪いほうを選ぶ理由はないからです。ただし水中の様子が季節で変わるように環境が変わる場所では、探索をごくわずかに残しておきます。昨日いちばん良かったものが今日もいちばん良いとは限らないからです。