バウンディングボックスBounding Box

1四角一つは数字四つです

四角を記す方法はとても簡単です。左上の角が画面のどこかを数字二つで記し、そこから横にいくつ、縦にいくつかを数字二つ足せば終わりです。左上と右下の二つの頂点の位置で記したり、中心の位置と縦横の長さで記したりする方式もあります。意味は同じですが、資料ごとに方式が違うので、混ぜて使うと計算が狂います。

数字を画面の大きさに対する比率として記す方法がよく使われます。左から30パーセントの地点、幅は画面の20パーセントという具合です。こう記しておくと写真の大きさを縮めたり広げたりしても四角がそのまま付いてきます。

ふつう使う四角は画面の縦横に沿っています。だから斜めに寝た物体を囲むと四角の中に空の背景がたくさん入り込みます。この点が次の段階であるセグメンテーションへ進む理由になります。航空写真のように斜めの物体が多い場面では、角度まで記す傾いた四角を別に使うこともあります。

2合っているかは重なりで測ります

四角がうまく合っているか判断するときは、人が描いておいた正解の四角と見比べます。二つの四角が重なった面積を二つ合わせた面積で割ると、0から1の間の値が出ます。ぴったり重なれば1、かすめる程度なら0に近づきます。

この値がいくつを超えれば「当たった」と見るかも人が決めます。よく0.5を基準にしますが、0.5は思ったよりゆるいです。正解の四角の内側の半分だけを覆う小さな四角でも、値がちょうど0.5になってぎりぎり通過することがあります。精密に見るべきところでは0.75のようにもっと厳しい基準を使い、複数の基準で測って平均を取ることもあります。

体験ツールで四角が物体より少し大きめ小さめに描かれるのを見ることになりますが、その程度のずれはたいていこの基準を余裕で通過します。だから目には引っかかっても点数の上では問題ない場合が多いです。

3正解の四角は人が描きます

モデルが見比べる正解の四角は、人が写真ごとにマウスで引いて描くか、モデルが先に付けた四角を人が確認して直したものです。描いているとあいまいな瞬間が続けて出てきます。取っ手が飛び出したコップは取っ手まで囲むのか。半分切れた物体は画面の外の部分を想像して描くのか。ガラスに映ったものも描くのか。

この基準が人によって違うと、モデルが学ぶ正解もぶれます。そこで資料を作るときは規則を先に細かく決め、同じ写真を何人かで描いて互いにどれだけ似ているか確かめます。モデルが妙な場所に四角を付ける原因を掘り下げると、学習資料の基準が揺れていた場合が少なくありません。

4四角で捉えにくいもの

写真一枚に名札一つを付ける画像分類から、物ごとに四角を付ける物体検出へ、さらに点単位で形を切り出すセグメンテーションへ。バウンディングボックスはこの段階の真ん中です。

真ん中だからこその良さと惜しさがいっしょにあります。位置と大きさを教えてくれる一方で資料作りがそれほど重くないので広く使われます。反面、くねくねした物体、互いに重なった物体、斜めに寝た物体は四角の中に見当違いのものが大量に混じります。背景を消したり面積を正確に測ったりする仕事では四角では足りず、次の段階へ上がる必要があります。