模倣学習Imitation Learning

味を見ずに手を移します

試行錯誤で学ぶ方式は、行動をしてみて点数を受け取り直します。味噌なら、仕込んで発酵させたあと味を見て、翌年の塩加減を直すようなものです。一巡が長くかかり、失敗した味噌も引き受けなければなりません。

模倣学習はこの順番を飛ばします。手本をたくさん集めて「大豆がこの状態のとき、手はこう動いた」を組にして、同じ状況で同じ行動が出るように合わせます。問題の見た目は写真に名前を付けて学ぶ方式とほとんど同じです。写真の場所に状況が、名前の場所に手本の人の行動が入っているだけです。

だから失敗の代償が大きい仕事によく合います。車を数千回ぶつけながら学ばせることはできませんが、人が運転した記録を集めることはできるからです。何を上手だと見なすか点数の基準を立てにくい仕事でも役に立ちます。良い味噌の条件を数字で書くのは難しくても、上手な仕込みの手つきは見せられますよね。

手本になかった大豆に出会うと

弱点は見慣れない状況で現れます。手本に出てきた大豆はすべてちょうどよく蒸し上がったものだけだったとします。たまに蒸し方が足りない大豆が出てくると、真似していた人はどう手を動かせばよいかわかりません。見たことのない状況だからです。

もっと困るのは、ずれが積み重なることです。最初のひと重ねを不慣れに仕込むと、次の重ねは手本で見たどの場面にも似ていない形になります。すると、さらに見慣れない手が出て、その次はもっと不慣れになります。最初の小さなずれが転がりながら大きくなります。

ずれた場所を資料で埋めます

解決の方向は単純です。ずれた状況も手本に入れることです。真似していた人に自分でやらせてみて、手がおかしくなる瞬間ごとに横で「こういうときはこう」と見せます。その場面を資料に足して学び直せば、見慣れない場所が減っていきます。

わざとずれた状況を作って手本を見せる方法も使います。蒸し方が足りない大豆、塩辛すぎる麹、崩れた重ねをわざと用意して、立て直す手つきを見せるわけです。うまくいった場面だけを集めた資料より、立て直す場面が混じった資料のほうがずっと丈夫です。

手本の人を超えるには

模倣だけでは手本の人より上手になるのは難しいです。上手な手も真似しますが、癖や失敗も一緒に真似してしまうからです。手本が複数の人から出ている場合は、違うやり方が混ざって中途半端な結果になることもあります。

だから実務では二段階で進みます。まず模倣で使える水準まで素早く引き上げ、その状態から試行錯誤と点数を付けて仕上げます。何もないところから試行錯誤を始めると長く迷いますが、ある程度できる手から出発すれば、あとは直すだけで済むからです。手本から行動そのものではなく、その人が何を大事にしていたかを読み取って点数の基準にする方法もあります。