U-Net

縮小すると何か、拡大するとどこか

画像を縮小すると、一マスが広い範囲を代表するようになります。遠く離れた部分どうしも同じマスの中に入ってくるので、これは猫なのか車なのかといった大きな判断がしやすくなります。その代わり境界が正確に何マス目で分かれるかはぼやけます。

拡大するほうは逆です。マスが細かくなるほど位置を細かく指し示せますが、狭い範囲しか見ていないので全体が何なのかは分かりにくくなります。片方だけでは答えを出せません。

U-Netは二つを一つの構造の中に入れました。前半でずっと縮小しながら何であるかをつかみ、後半でずっと拡大しながらその判断を元のマスの上に戻していきます。

縮小する前の画面を横に飛び越えて送る

拡大する側でどれだけ努力しても、すでに捨ててしまった細かい情報は作り出せません。そこでU-Netは、下る道の各段階の画面を保存しておき、上る道の同じ大きさの段階にそのまま渡します。この近道を飛び越え接続と呼びます。

上る側は二つを一緒に受け取ります。下から上がってきた「何であるか」についての判断と、横から飛び越えてきた「どこに何があったか」についての元の画像です。二つを重ねて見て、次の大きさへ上がっていきます。

この接続がなければ境界がにじみ、輪郭がぼやぼやになります。学習のとき信号が深い層まできちんと届くのを助ける効果もあるので、層を深く積んでも学習がうまく進みます。

入った大きさそのままで出てくる

普通の画像分類モデルは、画像一枚を受け取ってラベル一つを出します。U-Netは画像一枚を受け取って同じ大きさの画像一枚を出します。マスごとに答えが一つ必要な仕事に合わせた形です。

医療画像で病変の境界を取り出すことが最初の目標でした。どこまでがその部位かを画素ごとに示さなければならないので、大きさが同じである必要がありました。写真から背景を切り抜くこと、衛星写真から道路を取り出すことも同じ形の問題です。

画像生成でしていること

最近U-Netが最もよく使われる場所は画像生成です。拡散という方式は、汚れたしみから始めて少しずつ取り除きながら画像を作ります。このとき「今の画面でどこにどれだけしみが混ざっているか」を毎回教えてくれる働き手が必要です。

この仕事は入力と出力の大きさが同じで、全体の構図も画素単位の位置も両方分からなければなりません。U-Netにぴったりの条件です。だから一枚を完成させるまでU字を何十回も繰り返します。画像生成が文章生成より時間がかかる理由の一つです。

今でも使われているのか

最近ではU字で縮小して拡大する代わりに、最初から最後まで同じ大きさのまま押し通す構造も広く使われています。大きく作るほど性能が上がりやすいためです。それでもU-Netは小さく速く、少ないデータでもよく学習できるので、個人の機器で動くツールや境界を取り出す仕事では今も基本の選択肢です。