バウンディングボックスBounding Box

四角一つは数字四つです

四角を記す方法はとても簡単です。左上の角が画面のどこかを数字二つで記し、そこから横にいくつ、縦にいくつかを数字二つ足せば終わりです。中心の位置と縦横の長さで記す方式もありますが、込められた意味は同じです。

数字を画面の大きさに対する比率として記す方法がよく使われます。左から30パーセントの地点、幅は画面の20パーセントという具合です。こう記しておくと写真の大きさを縮めたり広げたりしても四角がそのまま付いてきます。

四角はいつも画面の縦横に沿っています。傾いた四角は使いません。だから斜めに寝た物体を囲むと四角の中に空の背景がたくさん入り込みます。この点が次の段階であるセグメンテーションへ進む理由になります。

合っているかは重なりで測ります

四角がうまく合っているか判断するときは、人が描いておいた正解の四角と見比べます。二つの四角が重なった面積を二つ合わせた面積で割ると、0から1の間の値が出ます。ぴったり重なれば1、かすめる程度なら0に近づきます。

この値がいくつを超えれば「当たった」と見るかも人が決めます。よく0.5を基準にしますが、0.5は思ったよりゆるいです。物体を半分だけ囲んでも通過することがあります。精密に見るべきところでは0.75のようにもっと厳しい基準を使い、複数の基準で測って平均を取ることもあります。

体験ツールで四角が物体より少し大きめ小さめに描かれるのを見ることになりますが、その程度のずれはたいていこの基準を余裕で通過します。だから目には引っかかっても点数の上では問題ない場合が多いです。

正解の四角は人が描きます

モデルが見比べる正解の四角は、人が写真ごとにマウスで引いて描いたものです。描いているとあいまいな瞬間が続けて出てきます。取っ手が飛び出したコップは取っ手まで囲むのか。半分切れた物体は画面の外の部分を想像して描くのか。ガラスに映ったものも描くのか。

この基準が人によって違うと、モデルが学ぶ正解もぶれます。そこで資料を作るときは規則を先に細かく決め、同じ写真を何人かで描いて互いにどれだけ似ているか確かめます。モデルが妙な場所に四角を付ける原因を掘り下げると、学習資料の基準が揺れていた場合が少なくありません。

四角で捉えにくいもの

写真一枚に名札一つを付ける画像分類から、物ごとに四角を付ける物体検出へ、さらに点単位で形を切り出すセグメンテーションへ。バウンディングボックスはこの段階の真ん中です。

真ん中だからこその良さと惜しさがいっしょにあります。位置と大きさを教えてくれる一方で資料作りがそれほど重くないので広く使われます。反面、くねくねした物体、互いに重なった物体、斜めに寝た物体は四角の中に見当違いのものが大量に混じります。背景を消したり面積を正確に測ったりする仕事では四角では足りず、次の段階へ上がる必要があります。