動作認識Action Recognition

一枚では分かりません

画像分類と動作認識が分かれるのはここです。写真一枚でも「ボール」という物は見分けられます。けれど「蹴る」は物ではなく時間をかけて起こる変化なので、一枚の中には収まりません。

座る動作と立ち上がる動作を考えるとはっきりします。途中の瞬間を切り取った写真は、二つの動作でまったく同じです。膝の曲がった角度だけを見てはどちらか絶対に分からず、前の場面で立っていたか座っていたかを見て初めて分かれます。

だから動作認識はいつも複数枚をひとかたまりで受け取ります。普通は1秒から3秒ほど、場面数にすると数十枚をまとめて入れます。

複数枚をどう束ねて見るか

大きく二つの方式を使います。ひとつは映像をそのまま受け取り、縦・横に加えて時間まで軸のひとつとして置き、模様を探す方式です。服の色や物の形のように画面に見える情報を全部使えるので細かいですが、計算が重くなります。

もうひとつは先に関節の位置を取り出して点の位置の記録に変えたあと、その数字の流れだけを見て判断する方式です。服と背景が消えるのでずっと軽く、照明や服の色が変わっても揺らぎません。代わりに手に何を持っているかといった情報はまるごと捨てます。

二つの方式を一緒に使うこともあります。画面全体を見るほうで大きな流れをつかみ、関節の流れで細部を確かめるやり方です。

どこまでが一回か区切る必要があります

あらかじめ切っておいた3秒の映像に名前を付ける作業は比較的簡単です。本当に難しいのは、数分の映像をそのまま渡して「ここからここまでが一回」と表示させる作業です。

動作の始まりと終わりは、人どうしでもなかなか一致しません。ボールを蹴るために足を上げる準備動作を一回に含めるかどうかから分かれます。正解資料を作る人ごとに境界の取り方が違うと、モデルもあいまいに学んでしまいます。

だから回数を数える機能は思ったより頻繁に間違えます。一回を二回と数えたり、素早く続く二回をひとつにまとめてしまうことがよくあります。

背景という近道

水泳の動作を学ばせようとしてプールの映像だけを集めて教えると、モデルは水の色だけを見て「水泳」と答えるコツを身につけてしまいます。人が水辺にじっと立っているだけでも水泳と出てしまうわけです。テストの成績はよいのに実際には使えない状態になります。

この近道は正解資料が一方に偏っているときに生まれます。同じ動作をいろいろな場所で撮って入れたり、背景を消して関節の流れだけを残して教えたりすると減ります。何を見て当てたのかを確かめる作業が大事な理由です。

同じ動作でも人によって違います

ボールを蹴る様子は人ごとに、その日の調子ごとに違います。足の高さもリズムも違い、左利きと右利きでは左右が反転しています。カメラが横から撮ったか正面から撮ったかによって、画面の中の動きの方向もまったく変わります。

だから同じ動作を大勢の人、いろいろな角度、いろいろな速さで集めて教えます。映像を左右反転させたり、少し速く再生した複製を一緒に入れたりもします。こうして幅広く見せてこそ、初めて見る人の動作にも同じ名前を付けられます。