セグメンテーションSegmentation

点ごとに名札を付けます

セグメンテーションの結果は四角いくつかではなく絵一枚です。元の写真と縦横が同じで、マスごとに数字が一つずつ入っています。その数字が名札の番号です。人の場所は1、空の場所は2、木の場所は3といった具合です。

この絵を色に塗ってみると、写真の上に色の区域がきっぱり分かれた姿が出てきます。ビデオ通話で背景だけがぼやける機能、写真で空だけを選んで色を変える機能は、すべてこの名札の絵を使ったものです。物体の形どおりに切り出すので、四角ではできなかったことが可能になります。

写真一枚に名札一つを付ける画像分類、物ごとに四角を付ける物体検出から、さらに一段上がった場所です。精密になる分だけ計算も重くなり、学習資料を作るのも大変になります。

縮めてまた拡大します

問題が一つあります。写真を走査しながら層を重ねていくと絵はどんどん小さくなります。小さくなった絵には「何があったか」は残りますが、「正確にどの点だったか」はつぶれます。ところがセグメンテーションは点単位で答えなければならないので、元の大きさに戻る必要があります。

そこで半分ずつ縮めて下りたあと、また二倍ずつ拡大して上がる構造を使います。上がるときはただ大きく引き伸ばすだけではありません。下りるとき各段階で取っておいた細かい絵を、同じ大きさの地点で改めて合わせます。つぶれた位置の情報を、下の層が持っていた鮮明な輪郭で補うわけです。この方式があってこそ境界がぼやけずに済みます。

一塊か、一つずつか

同じセグメンテーションでも二つの流儀があります。一つは種類だけを区別する方式です。写真の中の自転車が三台あっても全部「自転車」という一色に塗られます。車輪が重なっていると、どこまでが最初の自転車なのか分かりません。

もう一つは個体ごとに分ける方式です。一台目の自転車、二台目の自転車をそれぞれ別の名札として切り分けます。写真の中の物の数を数えたり、一つだけ選んで消したりする必要があるときはこの方式が要ります。そして空や道路のように数えられないものは種類だけで塗り、数えられる物体は個体で分ける折衷方式もあります。目的に合わせてどちらを選ぶかを決めるのは、最初の設計段階でとても大事な判断です。

難しいのはいつも境界です

セグメンテーションがいちばんよく間違える場所は物体の内側ではなく端です。髪の毛一本、木の葉の隙間、半透明のガラスコップ、ぼやけて揺れた指先のように、ある一点が物体なのか背景なのか曖昧な場所で結果が乱れます。ビデオ通話で背景ぼかしをつけると肩の線がぎざぎざになるのはこのためです。

学習資料を作る人も同じ場所で苦労します。四角なら二回引けば終わりですが、輪郭は一枚に何分もかかります。だから写真一枚を用意する費用は分類より何十倍もかかります。最近は人が写真に点一つ打つだけで残りの輪郭を自動で拾ってくれる道具が、この手間を大きく減らしています。