強化学習Reinforcement Learning

返ってくるのは点数だけです

強化学習には三つの役どころがあります。行動する側、行動を受け止める舞台、そして舞台が返す点数です。ボウリングで言えば、投げる人、レーンとピン、倒れたピンの数がそれぞれの役どころです。

教師あり学習なら、投げるたびに「今回はこの姿勢が正解でした」という答えが付いているはずです。強化学習にはそうした答えがありません。点数一つだけが返ってきて、その点数の中に姿勢、角度、力、立つ位置がすべてまとめて溶け込んでいます。どの部分が点数を上げたのかを切り分ける作業まで、学習に含まれます。

だから点数表をどう組むかが結果をまるごと決めます。倒れたピンの数だけを点数にすると力任せに投げる癖がつき、溝に落ちるたびに大きく減点すると慎重に投げる癖がつきます。点数表がそのまま目標になるのです。

点数がずっと後になって届くこともあります

ボウリングの1フレームはボール2球です。1球目をどこに投げたかが、2球目でスペアを取れるかどうかを決めます。1球目で端のピンだけを残してしまうと、2球目はほとんど手の打ちようがありません。1球目の点数は8個で悪くなかったのに、フレーム全体で見ると損なわけです。

強化学習が扱う問題は、たいていこういう形をしています。今の選択の値打ちが何手も先になって初めて分かります。だから目の前の点数だけでなく、これから受け取る点数まで足し合わせて行動を選ぶようにします。遠い未来の点数は少しずつ割り引いて数えますが、そうすることで目の前の確実な点数と比べられるようになります。

いつもどおりにするか、新しく試すか

7個倒せる位置を見つけたなら、そこで投げ続けるのが得です。けれど二歩隣にストライクの出る位置があっても、それでは永遠に見つかりません。逆に毎回新しい位置でばかり投げると、点数はずっとばらついたままです。

この駆け引きを探索と活用と呼びます。学び始めのころは新しく試すほうに大きく重みを置き、慣れてくるほどうまくいっていたほうへ寄せていきます。どちらにも偏らないよう調節することが、強化学習でいちばん手間のかかるところです。

体に染みついた規則が方策です

数十ゲームの後に残るのは点数の記録ではなく、「この状況ではこう投げる」という規則です。右のピンが残ったときに立つ位置、レーンが滑るときに込める力の加減といったものです。この規則のまとまりを方策と呼びます。

学習が終われば、実際に使うのはこの方策です。状況を入れると行動が出てきます。よく仕上がった方策は経験のないレーンでもそれなりに投げられますが、学習時の状況とあまりに違うと、また最初のように溝に落ちてしまいます。

実際には数十万回投げます

人は数ゲームでコツをつかみますが、機械はそうはいきません。点数一つから得られる情報があまりに少ないので、使える方策ができるまでに数十万回から数億回の試行が必要になります。

そのため、たいていは実際の世界の代わりに模した舞台の中で学びます。舞台の中なら1日に数百万ゲームを回せますし、ボールが壊れる心配もありません。問題は、舞台と実際が少しでも違うと覚えたコツが通用しないことです。ロボットの分野では、この隔たりを埋める作業が大きな課題として残っています。