音声認識Speech Recognition

音をごく短く切ります

マイクが受け取るのは空気の振動です。この振動は数の列に変わってコンピュータに入ってきます。ですが、この列を丸ごと置いて「何と言っているか」と問うても答えは出ません。話し言葉は時間とともに絶えず変化する音だからです。

そこでまず切ります。1秒を百片ほどに分け、片ごとにどんな高さの音がどれくらい混ざっているかを取り出します。こうして作った音の絵を見ると、「あ」の音と「す」の音は目に見えて違う模様として現れます。

片を細かく分けるのには理由があります。話し声は前後の音によって形が変わるからです。同じ「か」の音でも、後ろに何が来るかによって発音が違ってきます。短く切っておけば、こうした変化を取りこぼさずに追えます。

断片ごとに点数を付けます

切り分けた断片一つひとつについて、モデルは確定した答えを出しません。代わりに「この断片はこの音である可能性が高く、あの音である可能性も少しある」というように、候補ごとに点数を残します。

点数を残しておくほうがずっと有利です。断片一つだけを見て早々に決めてしまうと、あとに続く音とつじつまが合わなくても取り消せません。候補をいくつも開いたままにしておき、文全体を見て最もそれらしい道を選ぶほうが、はるかによく合います。

前後の流れが答えを選びます

音の点数だけでは分かれない言葉がとてもたくさんあります。「かがく」という音だけでは化学なのか科学なのか決まりませんし、「はしを渡って」と「はしを使って」の「はし」は音がまったく同じです。

そこで音声認識には、言葉の流れを知る部分が一緒に組み込まれています。前に「実験室で」という言葉が出ていれば化学のほうで、「橋のたもとで」という言葉が出ていれば橋のほうです。人が騒がしい場所でも会話についていけるのと同じ理屈です。

この部分があるおかげで、音声認識は音が少しつぶれても文を復元できます。逆に流れのない言葉、つまり初めて聞く人名やでたらめな数字の並びでは頼れる流れがないので、誤りが目立って増えます。

最近はまとめて学びます

以前は部品を別々に作ってつなげていました。音を判別する部分、単語の発音を記した辞書、文の流れを知る部分をそれぞれ作ってからつなぎ合わせていたのです。部品ごとに人が手を入れる必要があり、新しい言語を追加するのは大きな工事でした。

今は録音とその録音を書き起こした文をたくさん組にして見せ、一つの塊のモデルに音から文字までをまとめて学ばせます。発音辞書を人が作らなくてもよくなり、複数の言語や雑音混じりの録音を一つのモデルが一緒に扱えるようになりました。

話し終わる前に文字が浮かびます

画面に文字がリアルタイムで表示される方式は、まだ聞こえていない続きを知らないまま答えを出しているということです。だから後ろの文が入ってくると、先に表示された文字がふっと変わることがあります。間違ったのではなく、流れを見て答えを直している最中です。

分かち書きや句読点は音の中に入っていません。文末が上がるか、どこで息継ぎをするかといった手がかりを見て、別途付け加えているのです。書き起こした文で句読点が不自然になりやすいのはこのためです。