ノイズ除去Denoising

目立つ点を見つけて周りに合わせます

写真を一枚大きく拡大すると、空のような均一な面に妙に明るい点や暗い点が散らばっています。隣の点と比べると自分だけ浮いた値なので、周りとのずれ具合で汚れだとわかります。

簡単な方法は、周りのいくつかの値を混ぜて平均に近づけることです。こうすると散らばった点は目立って減ります。問題は、まつ毛やほつれ糸のように元から周りと違う部分まで一緒につぶれてしまう点です。

そこで最近の方式は、汚れなのか模様なのかを**形を見て区別します。**きれいな写真と汚れを乗せた写真を対にして数多く見せて訓練すると、境界線は残しつつ散らばった点だけを取り除くこつが身につきます。

見つけてから取り除きます

訓練したモデルは、いきなりきれいな写真を出しません。まず今の画面のどこが汚れに見えて、どれくらいの量なのかを指し示します。それから、その分を元の画面から差し引きます。汚れの種類を先に見てそれに合わせて濃度を決める順番と同じです。

この順番には利点があります。きれいな結果を一度に描こうとすると写真全体を作り直す必要がありますが、乗った分だけを指し示す作業はずっと扱いやすいです。元の内容はそのままにして乗った部分だけを触るので、顔が別人に変わるような事故も減ります。

どれだけ消すかは常に駆け引きです

消す強さは人が決められます。弱くすると汚れが残り、強くすると画面はなめらかになる代わりに髪や布地の質感のような細かい模様まで一緒に消えます。汚れを完全になくしつつ細部も丸ごと守る設定はありません。

強く消した写真は一見きれいに見えても、どこか蝋のように見えます。肌や芝生のように本来細かい質感があるべき場所がつるりとするからです。この跡は後で拡大したり印刷したりするときに特に目立ちます。

汚れの性質を知っているほどうまく消せます

汚れにも種類があります。暗い場所で撮った写真のざらついた粒、古い録音に乗った雑音、通信が途切れるときにできる縞模様は、それぞれ見た目が違います。どんな汚れが混ざっているかを知って取り組むと、ずっと正確に取り除けます。

画像生成ではこの点が役立ちます。学習のときにノイズを直接乗せているので、**どれだけ乗せたかを数値で教えられます。**モデルはその情報を一緒に受け取り、今回の段階で取り除く量を見積もります。紙に何がどれだけついているかを先に聞いてからつまみを握るようなものです。

繰り返すと、なかった絵も生まれます

一度取り除くと写真が少しきれいになります。その結果をまた入れてもう一度取り除き、これを何十回も繰り返すとどうなるでしょうか。出発点が写真なら、だんだんなめらかな写真になっていきますが、出発点が意味のないノイズ画面なら、なかった形が徐々に定まっていきます。

取り除くたびにモデルは「ここにそれらしい絵があるならこんな姿だろう」という方向へ画面を少しずつ押します。繰り返しが積み重なるうちに、何でもなかった画面が一枚の絵になります。汚れを消す技術と絵を作る技術が結局同じ根っこである理由です。