リップシンクLip Sync

文字ではなく音の質を見ます

台本を読んで口の形を作る方式はあまり使われません。同じ文章でも人によって速さが違い、途中で伸びたり息をついたり笑いが混ざったりするからです。文字だけを見て作った口は、実際の音とずれ続けます。

そこで音そのものを材料に使います。声を短い断片に切り、どの高さの音がどれだけ強く含まれているかを取り出すと、口が大きく開く瞬間と閉じる瞬間がその中にすでに収まっています。静かな区間では口が閉じ、音が弾ける区間では開きます。

言葉のない区間も大事です。息を吸う音やわずかな間で口がどう動くかが、自然さを大きく左右します。音がないからといって口まで完全に固まると人形のように見えます。

口の形は前後の音に引っぱられます

音ひとつに口の形ひとつを決めて順番に差し替えると、硬くて変に見えます。人の口は、次に出す音をあらかじめ準備するからです。後ろに丸い音が来ると、前の音を出す時点からすでに口が少し丸くなっています。

だから今この瞬間の音だけを見るのではなく、前後いくつかの瞬間をあわせて見て形を決めます。このためリアルタイムで作るときは音を少し先取りして受け取っておく必要があり、その分だけわずかな遅延が生まれます。あらかじめ録音された音を扱うときは全体を見て作れるので、この問題はありません。

同じ理由で、話す速さが上がると口が最後まで開ききらないまま次の形へ移ります。このつぶれ方まで真似てこそ、人が話しているように見えます。

口だけを差し替える方式

顔全体を新しく作ると、目つきや頭の動きが不自然になりがちです。そこで元の映像はそのままにして、口とあごの周りの領域だけを新しく描き込む方式がよく使われます。元の照明や肌の質感が残るので、ずっと自然に見えます。

このとき変えた部分と残した部分の境目を滑らかにつなぐことが難しくなります。境目に色の差が残ると、口の周りにしみのような縁が見えます。頭が大きく回ったり手で口を隠したりする区間で特に目立ちます。

ずれは目が先に気づきます

音と絵がどれくらいずれても許されるかは、思ったよりずっと狭いです。人は音が絵より遅れて来ることには比較的寛大です。遠くで鳴る音はもともと遅れて届くからです。反対に音が絵より先に来ると、はるかに早くおかしいと感じます。

だからリップシンクを調整するときは、絵を音よりほんの少し先行させる方が安全です。全体が一定にずれているより、区間ごとにばらばらにずれる方がずっと目障りだということもわかっています。

違う声、違う言語で

リップシンクが大きく使われる場面が吹き替えです。別の言語で新しく録音した音にあわせて口の形を作り直せば、字幕なしでも元からその言語で話しているように見えます。講義や案内映像を複数の国の言葉で出すときに使われます。

アニメのキャラクターに声を吹き込むときも同じ技術が使われます。手で一コマずつ口を描いていた作業を音から直接作れるので、作業が大きく減ります。

ただし、これは実在の人物の顔に言っていない言葉を乗せられるということでもあります。声を真似る技術と組み合わせると、言ったことのない言葉を言ったかのように見える映像が作れてしまいます。だから作った映像であると表示し、同意を得る手続きがあわせて扱われます。