半教師あり学習Semi-Supervised Learning

答え付けが手に負えないとき

半教師あり学習が生まれた理由は単純です。答えを付ける作業があまりに高くつくからです。精肉店の店長が数百塊すべてに一つずつ名札を付けようとすれば丸一日かかります。医療画像に判読結果を付ける作業やインタビュー記録に話者を示す作業は専門家が付かなければならないので、なおさらです。

反対に答えのない資料はあふれています。冷蔵庫に入ってくる肉は増え続けます。答え付きの少ない資料を使いながら答えのない山まで一緒に使えるなら、同じ費用でずっと良い結果が得られます。

確実なものから仮の名札を付けます

最も広く使われる方式はこうです。まず答え付きの少ない資料だけでだいたいの基準を作ります。この基準で答えのない資料を見渡しながら、確信が高く出たものだけに仮の答えを付けます。判断がつかないものはそのまま残しておきます。

仮の答えが付いた資料を元の資料に加えて基準を作り直します。資料が増えたので基準が少し細かくなり、細かくなった基準でまた見渡すと、さっき判断がつかなかったもののうち何個かがはっきりします。この作業を何周か回します。

要は確信の高いものだけを選んで使うところにあります。あいまいなものまで欲張ると、間違った答えが混じり込みます。

答えのない資料が境界を押してくれます

答えのない塊も何も語っていないわけではありません。その塊がどのあたりに置かれているかが情報です。肉の山が二つの模様に向かってはっきり寄っていて、その間が空いているなら、部位を分ける線はその空いた場所を通るのが自然です。

答え付きの十塊だけを見ているときは、線をどこに引いても十塊はすべて正解になります。ここに答えのない数百塊を重ねると、そのうちほとんどの線が不自然になります。資料が集まる真ん中を横切ることになるからです。答えのない資料は正解を教えてくれる代わりに、引ける線の候補を絞ってくれます。

この話は資料が実際に群れをなしているときだけ通用します。部位ごとに模様が重なり境界がぼやけていれば、答えのない資料をいくら重ねても助けになりません。

間違いが広がると手に負えなくなります

この方式の弱点は、間違いが自分自身を固めてしまうことです。最初の基準が前脚と肩ロースを取り違えたとしましょう。肩ロースの塊に前脚という仮の名札が付き、それが資料に加わると、次の基準はその間違いをさらに確信するようになります。直してくれる人がいないので、間違いが固まってしまいます。

だから最初の答え付き資料の質がとりわけ重要です。十塊のうち一塊でも名札が間違っていれば、その誤りが数百塊に広がります。仮の答えを付ける敷居を高く取り、何周かごとに人が標本を抜き取って確認する仕組みを一緒に置く理由です。

いつ使えるか

三つの条件がそろうと効果が大きくなります。答え付きの資料が少なく、答えのない資料がそれよりずっと多く、二つの資料が同じところから来ているときです。冷蔵庫の肉と名札付きの肉が同じ日の同じ場所から入ってきたものでなければならないという意味です。

答えのない資料が別のところから流れ込んだものなら、かえって邪魔になります。最近では答えのない資料がとても多いとき、自己教師あり学習で先に感覚を積んで少ない答えで仕上げるほうを選ぶことが多くなりました。半教師あり学習は、それほどの規模にならない現場で今も実用的な選択肢です。