生成AI 認識 入門

アップスケールUpscaling

なかった細部を作って埋めながら絵を大きくすること

ポイント
  • アップスケールは小さな絵を大きくしながらなかった細部を作って埋める作業です。ただ引き伸ばすのとは違います。
  • そのまま引き伸ばすと点ひとつが複数の点に増えるだけなので、ぼやけたり階段が目立ったりします。
  • 埋め込む細部は数え切れない写真を見て身につけた感覚から来ます。元の絵に隠れていた情報ではありません。
  • ピントの合った写真はよく仕上がり、ひどくつぶれた写真は見当違いに埋まります。倍率が大きいほど作り出す割合が増えます。
  • ナンバープレートや文書の文字のように正確さが要る場所では、結果を根拠にしてはいけません。
目次

1たとえで理解する

壁に模様を入れてタイルを張るとき、大きなタイルだけで張ると曲線が階段のように角ばって見えます。同じ壁をもっと小さなタイルで張り直すと曲線が滑らかになり、模様が生きてきます。ですが小さなタイルをどの場所にどんな色で置くかは、元の壁のどこにも書かれていません。

張る側が周りの色と流れを見て、この辺りならこんな色だっただろうと見当をつけて埋めていきます。アップスケールがしているのはこれと同じことです。大きなタイルをただ大きく引き伸ばして張ると階段が大きくなるだけで、枠を細かく分けて新しく埋めてこそ細部が生まれます。

だから新しく張られたタイルは元の壁にあったものではなく、それらしく作り出されたものです。

2くわしく

引き伸ばすことと埋めることは違います

写真アプリで大きさだけ変えると、元の点ひとつが複数の点に増えます。新しくできた点の色は隣り合う点の色を混ぜて決めます。この方法は速くて安全ですが、含まれる情報は増えません。だから大きく見るほどぼやけたり、斜めの線で階段が目立ったりします。

アップスケールは新しい点の色を隣から混ぜる代わりに見当をつけて埋めます。ぼやけた境界にくっきりした線を立て、つぶれた場所に結を入れます。結果だけ見ると最初から大きく撮った写真のように見えますが、その鮮明さは元の絵から蘇ったのではなく、新しく作られて付いたものです。

なかった細部はどこから来るのか

アップスケールのモデルは大きな写真をわざと小さく縮めてから元の大きさに戻す練習を、途方もない回数繰り返して身につけます。答えを知った上で解く練習なので、こうしてつぶれた跡が元はどんな形だったかという感覚が積み重なっていきます。

だからよく見てきたものに強くなります。レンガの目地、葉っぱの結、布の織り、文字の線のようなありふれた模様はそっくりに蘇ります。写真を縮めるときいっしょに生じる圧縮の跡や細かなざらつきを消すことも同じ練習に含まれるので、アップスケールの道具はたいてい仕上げをきれいにする作業まで一緒に行います。

反対に見たことのない模様の前では、自分の知っているほうへ引き寄せます。見慣れない文様がなめらかに均されて消えたり、ありふれた模様に変わったりもします。

うまくいく絵といかない絵

もっともうまくいくのはピントは合っているのに小さく保存された写真です。形の手がかりが残っているので、埋める向きがはっきりしているからです。反対に手ぶれで撮られたり、ひどくつぶれた写真は手がかり自体がなく、モデルがそれらしい何かを作り出すほうへ傾きます。

倍率も重要です。二倍くらいはおおむね安定していますが、四倍を超えると作り出す割合が一気に増えて元から遠ざかります。大きく拡大する必要があるなら、一度に押し切るより二倍ずつ分けて上げて途中の結果を確かめるほうが安全です。

作り出した細部を信じてはいけない場所

遠くから撮られたナンバープレート、ぼやけた文書の文字、画面の隅にある小さな標識を拡大すると、くっきりした文字が現れます。その文字は読み取ったのではなく作り出したものです。同じ写真を別の道具で拡大すると違う文字が出てくることもよくあります。

画面の大きさを示す数字が増えたからといって、含まれる事実が増えたわけでもありません。解像度は画面をいくつの枠に分けて収めるかを示すだけなので、枠が増えた場所を何で埋めたかのほうがずっと重要です。

だから証拠や記録として使う資料には、アップスケールの結果をそのまま使ってはいけません。見栄えをよくする用途と事実を確かめる用途は分けておく必要があります。印刷や画面表示のように見栄えがよければよい場所では、心配せず使えます。

3もう少し正確に

アップスケールは低い解像度から高い解像度を作り出す作業と呼ばれます。小さな写真を入れると大きな写真が出るように、元とどれだけ違うかを測る物差しを縮める方向で学習します。ここに本物らしく見えるかを別に審査する方式を加えると格段にくっきりしますが、事実と違う細部が増える代償を払います。染みから絵を作り出す方式で埋める道具もあり、この場合は同じ写真を二度拡大しても細部が少しずつ変わります。

たとえがずれる点もあります。タイルは一枠ずつ手で選んで張りますが、アップスケールは画面全体を一度に計算し直します。張る人は目の前の壁だけを見て見当をつけますが、アップスケールはその写真だけを見るのではなく、数え切れない他の写真から身につけた癖で埋めます。だから元にはまったくなかった模様が入り込むことがあります。

4やってみる

5よくある誤解

  • アップスケールすれば元の絵に隠れていた情報が蘇ると考えがちですが、実際にはなかった細部を新しく作って貼り付けています。

  • 何倍に拡大してもかまわないと思われがちですが、実際には倍率が大きくなるほど作り出す割合が増え、元とは違う絵になります。

  • 画質の悪い写真ほど効果が大きいと考えがちですが、実際には手がかりが残っていてこそうまく埋まり、ひどくつぶれた写真は見当違いになります。

7ひとこと要約

つまりアップスケールは小さな絵の枠を細かく分けてなかった細部をそれらしく埋める作業で、見栄えはよくなっても事実が蘇るわけではありません。

誤りや、もっと良いたとえがありますか? 修正を提案する · 最終更新2026-09-02