転移学習Transfer Learning

前のほうはどこにでも使える基本です

モデルの中を前から後ろへたどると、していることが変わります。前のほうはとても一般的なものを見ます。写真なら、明るさが変わる場所、線の向き、模様の結のようなものです。これは犬の写真でも部品の写真でも同じように必要です。

後ろへ行くほど、していた仕事にぴったり合うものを見ます。最後のあたりは「この写真をどの枠に入れるか」を決める場所そのものです。この部分はしていた仕事だけに役立ちます。

鍛冶屋で言えば、前のほうが鉄を読む目で、後ろのほうが鎌の曲線を作る手さばきです。転移学習は前のほうを生かして後ろだけ入れ替える作業です。

後ろだけ新しく学びます

いちばん単純な方法はこうです。すでに学習済みのモデルを持ってきて、最後の判断部分を取り外し、新しい仕事に合う部分を新しく付けます。そして前のほうは触らないよう固定したまま、新しく付けた部分だけを教えます。

こうすると学習がとても速くなります。直すべき値が全体のごく一部だけだからです。ノートパソコン一台で数分あれば終わることもあります。ウェブカメラで手の動き数種類を教えてゲームを動かす体験もこの方式です。

固定していた前のほうを少し緩めて一緒に整えると、性能がさらに上がることもあります。どこまで開くかは判断が要るところです。

新しい仕事の資料が少なくて済みます

転移学習が広く使われるいちばんの理由です。土台をすでに備えているので新しく教えることが少なく、少なく教えるので資料も少なくて済みます。

部品の不良を見分ける仕事を一から学ばせようとすれば、写真数十万枚が必要です。すでに写真を見分けられるモデルの上に乗せれば、部品写真数百枚でも使える結果が出ます。資料を集めにくい現場では、この差が成り立つかどうかを分ける差になります。資料を集める手間そのものが、実務では費用と時間の大半を占めるからです。

あまりにかけ離れていると通じません

鍛冶屋の基本は鎌や鍬にはよく移りますが、ガラス細工には移りません。扱う材料が違うので、鉄を読む目が役に立たないからです。むしろ鉄を扱ってきた手癖が邪魔になることさえあります。

モデルも同じです。日常写真で身につけた目は部品写真や衛星写真にはそれなりに移りますが、超音波画像のように見た目がまったく違う資料にはうまく移りません。移した感覚が性能をかえって落とす場合を負の転移と呼びます。二つの仕事がどれだけ似ているかを先に見極めるのが順序です。

移して使う方法にも枝分かれがあります

前のほうを丸ごと固定して感覚だけを取り出して使う方法がいちばん軽いです。資料がとても少ないときに向いています。

モデル全体を新しい資料で少し整える方法がファインチューニングです。手はより多くかかりますが新しい仕事によく合います。本体はそのままにして小さな付け足しだけを学ぶ方法もあり、大きなモデルをいくつもの用途で使うとき最近よく使われます。三つとも転移学習という一つの傘の下にある枝です。