音分類Sound Classification

枠を先に決めて始めます

作る順番が逆に感じられるほど、名札の目録が一番先に決まります。拍手・口笛・せきの三枠で作ると決めたら、この音分類器は一生三枠のままです。後から拍手の代わりに足音を聞き分けさせたければ、枠を増やして最初から教え直すしかありません。

枠ごとに例の音を集める作業が、そのまま教える作業です。拍手の枠には拍手の音を、複数の人、複数の部屋、複数の距離で録音して入れます。一人が一箇所だけで録音した音で教えると、その場の響きまで拍手の特徴として覚えてしまいます。

音を絵に広げて見ます

マイクが受け取る音は上下に揺れるひとつの線です。この線だけを見ても拍手とドアが閉まる音を分けるのは難しいです。そこで音のひと区切りをごく短い断片に切り、断片ごとにどの高さの音がどれだけ強く含まれているかを測ります。

この値を横は時間、縦は音の高さにして並べると格子図が一枚できます。拍手は短く広がるしみ、口笛は横に長く続く細い線として見えます。人の目にも形が違って見えるほど特徴がはっきりします。

ここから先は写真を扱う方法とほぼ同じです。音分類器が実際にしているのは、この格子図の模様を見分けることです。マイクの前の音を絵に変えて、その絵を分類しているわけです。

欄ごとに点数を分け合います

分類器の出力は「拍手」というひと言ではありません。枠ごとに点数がひとつずつ出て、点数をすべて足すと1になるように揃えられています。拍手0.7、口笛0.2、せき0.1のような具合です。画面に見える答えは、そのうち一番高い枠の名前にすぎません。

点数の分かれ方が答えと同じくらい大事です。ひとつの枠が0.9を取れば音がはっきりしていたということで、三つの枠が似たように分け合えばあいまいな音だという合図です。だから実際のサービスでは、一番高い点数が一定の線を超えたときだけ反応するようにします。

ない枠は最後までできません

一番よくぶつかる問題がここです。三枠の分類器の前で鐘を鳴らすと、鐘の枠がないので三枠のうちどれかが選ばれ、点数までかなり高く出ることもあります。分類器は「この音が拍手か」を問うのではなく「三枠のうちどれに一番近いか」だけを問うからです。

だから実際に使うときは、何でもない枠をひとつ余分に作ります。部屋の静かな音、通り過ぎる話し声、椅子を引く音のように反応しなくてよい音をたくさん集めてこの枠に入れておくと、誤反応が大きく減ります。

環境が変わると一緒に揺れます

同じ拍手でもマイクが変わり部屋が変わると、格子図の模様が変わります。天井の高い部屋は音が長く尾を引き、ノートパソコンのマイクは低い音をあまり拾いません。静かな部屋でよく合っていた分類器がカフェで見当違いの枠を選ぶのはこのためです。

だから例の音を集めるときは、わざと距離と場所を変えながら録音します。背景の雑音を混ぜたり、音を少し伸び縮みさせた複製を作って一緒に教えたりもします。使う場所に近い音をあらかじめ見せておくことが一番確実な方法です。