方策Policy
状況ごとに何をするか決めた行動方針
- 方策とは、どんな状況で何をするかを決めておいた方針です。強化学習が学んで最後に手にする成果物でもあります。
- 状況ごとに行動を一つだけ決めておくこともあれば、複数の行動に確率を分けておくこともあります。
- 方策を直す道は二つあります。行動ごとに期待点数をつけてその中で良い方を選ぶか、方策そのものを少しずつ押して直すかです。
- 良い方策かどうかは、その方針で何度も繰り返したときの受け取る点数の合計で測ります。
- 方策は目標ではなく方法です。目標は点数で、方策はその点数を多く受け取るために決めた行動方針です。
目次
1たとえで理解する
遊園地に入ると一日中選択が続きます。目の前のアトラクションの前に待ち時間60分と出ていれば通り過ぎるか並ぶか決めなければならず、20分なら並ぶかどうかまた決めなければなりません。そのときの気分で決める人もいますが、何度も来たことのある人は方針を決めておいて動きます。**60分を超えたら通り過ぎる、20分より短ければ必ず並ぶ、12時になったら列を離れてまず食事をする。**状況ごとに何をするか前もって書いておいたこの短い一覧が、一日の結果を変えます。同じ遊園地、同じ時間なのに、いくつ乗って帰れるかが変わってくるのです。強化学習ではこうした方針を方策と呼びます。
2くわしく
状況が入ると行動が出てきます
方策は、状況を入れると行動が出てくる方針です。遊園地で言えば、状況は今立っている場所と待ち時間と時刻で、行動は並ぶ・通り過ぎる・食事をするといったものです。強化学習で行動する側は、場面を見るたびにこの方針を一度めくって次の行動を取り出します。
方針の形は問題の大きさによって変わります。状況が数十種類しかなければ一覧表一つに書いておけます。画面のピクセルのように状況が事実上無限なら一覧表ではとても足りず、状況を入れると行動を出してくれるニューラルネットワークが方針の役目を果たします。学ぶということは、この方針を少しずつ直していくことを意味します。
一つに決め切ることと確率で混ぜること
方針には二つの形があります。一つは、状況ごとに行動を一つだけに決め切る方式です。60分なら必ず通り過ぎます。単純で揺れがありませんが、いつも同じ道ばかり選ぶので、通らなかった道に何が待っているか永遠に分かりません。
もう一つは、行動ごとに確率を分けておく方式です。60分なら九回は通り過ぎて一回くらいは並んでみる、というやり方です。こうしておくと方針はいつも少しずつ新しいことを試すようになり、相手のいる問題では読まれにくいという利点も出てきます。学習の途中は確率で混ぜておき、学び終えたら一番高い方一つに決め切って使う方式もよく見られます。
方針を直す二つの道
一つ目の道は値を先につける方式です。状況ごとに各行動がこの先どれくらい点数を稼いでくれるかを書いておき、方策はその中でいちばん大きい方を選ぶだけです。このとき方策は別に学ぶものではなく、点数表から自動で決まります。行動の種類が少なく数えられるときによく通用します。
二つ目の道は方針を直接押す方式です。方針どおりに何度も繰り返してみて、点数の良かった回で選んだ行動の確率を少し上げ、悪かった回の行動は少し下げます。ハンドルを切る角度のように行動がつながった値のとき、そして確率で混ぜる方針が必要なときにこの道を使います。両方を合わせて使う方式も広く使われています。片方は値をつけ、もう片方はその値を見ながら方針を押す形です。
良い方策かどうかを測る方法
方策一つが良いか悪いかは、一回だけ見ても分かりません。運よく待ち列が短かった日と雨の日とでは結果が違うからです。だから同じ方策で何度も繰り返し、受け取る点数の平均を見ます。その平均をその方策の値と呼びます。
方策を直すときは、この値が上がる方へだけ押さなければなりません。一回の良い結果に大きく引きずられて方針を一気に変えると、かえって悪くなりやすいので、一度に少しずつだけ動かす仕掛けを一緒にかけておきます。学習がうまくいった方策は、一日が終わったときに乗ったアトラクションの数が目に見えて増えたように、合計点が上がっています。
方策は方法であって目標ではありません
方策がどれだけもっともらしく見えても、それ自体が目標ではありません。目標はいつも点数です。点数をどこに掛けるかが変わると、いちばん良い方策も丸ごと変わります。乗ったアトラクションの数に点数を掛ければ短い列だけを選んで回る方策が最良になり、人気アトラクション一つに必ず乗ることに点数を掛ければ一時間待つ方策が最良になります。
同じ理由で、方策を目で眺めただけで良い悪いを言うのは難しいことです。人の目には奇妙に見える方策の方が、点数はよく取れることがよくあります。判断は結局、その方策で受け取った合計点が下すのです。
3もう少し正確に
方策(Policy)は、状態を行動に対応させる関数です。行動を一つに決めれば決定的方策、行動ごとに確率を与えれば確率的方策と呼びます。価値関数を学んだあとその中で大きい方を選ぶ方式を価値ベース、方策の値を直接押し上げる方式を方策勾配方式と呼び、両方を合わせた構成をアクター・クリティックと呼びます。強化学習が探しているのは、割引累積報酬の期待値をいちばん大きくする最適な方策です。
たとえがずれる点もあります。遊園地の方針は人が座って頭で決めますが、強化学習の方策は数万回繰り返した結果によって少しずつ押されてできあがります。だから出来上がった方策を開いてみても条項の一覧のようなものは出てこず、状況を入れて初めて行動が出てくる塊であることが多いです。もう一つ、遊園地の方針は人が守ろうと努めますが、学習中の方策はわざと破ってみることもあります。通らなかった道を試してこそ、より良い方針を見つけられるからです。
4やってみる
5よくある誤解
方策は人が決めてくれる規則だと思われがちですが、実際には点数を受け取りながら学習そのものが磨き上げた成果物です。
良い方策はいつも同じ行動をすると考えられがちですが、実際には行動ごとに確率を分けておく方が良い場合が多いです。
方策と目標は同じものだと信じられがちですが、実際には目標は点数の側にあり、方策はその点数を多く受け取るための方法です。
7ひとこと要約
つまり方策は状況ごとに何をするか決めておいた方針で、強化学習が点数を受け取りながら最後まで磨き上げていく成果物です。
誤りや、もっと良いたとえがありますか？ 修正を提案する · 最終更新2026-09-02