エージェントと環境Agent & Environment

選ぶ側と受け止める側

エージェントとは、決定を下す側のことです。持っているのは今見えている盤面と選べる行動の一覧だけで、そのうちの一つを選んで差し出す仕事だけをします。環境は、その行動を受け取って規則どおりに処理し、変わった盤面と報酬を返す側です。ゲームの規則、相手の応手、物理法則、その日の運まで、エージェントでないものはすべて環境に含まれます。

このように分ける理由は、学ぶ場所をはっきりさせるためです。直していけるのはエージェントが選ぶやり方だけです。環境がどう反応するかは変えられず、ただ経験しながら知っていくしかありません。どこまでが自分の手でどこからが盤なのかを引く線が、問題を解く最初の一歩になります。

なお、ここでいう「エージェント」はあくまで強化学習の中で行動を選ぶ側を指す言葉です。自律的に作業をこなすソフトウェアという意味の「AIエージェント」とは別の話なので、混同しないよう気をつけてください。

一歩ごとに回る輪

一歩は三拍子でできています。まず環境が今の盤面を見せます。これを状態と呼びます。エージェントはその状態を見て行動を一つ選びます。環境は行動を受けて盤面を変え、新しい状態とともに報酬を返します。すると再び最初に戻り、同じ三拍子が続きます。

この輪が数万回、数百万回と回るうちに、エージェントはどの状態でどの行動を選んだときに報酬が良かったかを少しずつ積み上げていきます。その積み上げをもとに、状況ごとに何をするかを決めた方針が磨かれていきます。この方針を方策と呼びます。

見えているものと実際の盤面は違います

将棋は盤面がまるごと見えますが、世の中のことは必ずしもそうではありません。霧のかかったゲームなら相手陣営が隠れていますし、カメラ一台で前だけを見るロボットなら背中側で何が起きているか分かりません。このときエージェントが受け取るのは盤の本当の状態ではなく、切り取って見せられた一部分です。

この一部分だけを見て決めると、同じ画面なのに実際の状況はまったく違う場合につまずきます。そのため、直近何歩分かの画面をまとめて見たり、これまで見たものを要約して持ち歩いたりするやり方を使います。盤面が見えない部分が多いほど、問題はずっと難しくなります。

線をどこに引くかで問題が変わります

ロボットアームで物を掴む問題を考えてみます。腕の関節を直接回すことを行動にすると、腕のモーターは環境側に入り、問題はとても細かく刻まれます。代わりに「左の物を掴め」という大まかな指示を行動にすると、腕の動き全体が環境の中に入り、決定の回数はぐっと減ります。

どちらが正しいと決まっているわけではありません。ただしよく使われる基準があります。**エージェントが自分の意思で変えられるものだけをエージェントの中に置くことです。**電池の減る速さや床の摩擦のように、どうにもならないものは体に付いていても環境と見なします。

一回終わればまた最初から

将棋の一局が終わると、駒を元の位置に戻して新しい盤を始めます。強化学習でも、始まりと終わりのある問題を一局ずつ区切って扱います。この一区切りをエピソードと呼びます。一局が終わるたびに成績が残り、数千局を積み重ねながら力が上がっていきます。

終わりのない問題もあります。工場の設備をずっと調整したり、サーバーの負荷をずっと振り分けたりする仕事には最後の一手がありません。こうした問題では、区切る代わりに遠い未来の報酬を少しずつ割り引いて足し合わせ、総点を扱います。