ビジョントランスフォーマーVision Transformer

写真を同じ規格の断片に切ります

最初の段階は切ることです。写真を縦横十数ピクセルの正方形に隙間なく細かく分けます。大きな写真なら断片は数百個ほど出ます。断片どうしは重ならず隙間もないので、全部集めれば元の写真がそのまま埋まります。

断片の一つ一つは小さな色の点の集まりです。この集まりを一つの数字の列に押し込みます。この過程を経ると、写真一枚が数字の列数百個に変わります。

ここからが肝心です。数字の列数百個は、文章を断片に切り分けた結果と見た目がそっくりです。だから文章を扱うために作られた構造をほとんど手を加えずそのまま使えます。ビジョントランスフォーマーという名前が付いた理由がここにあります。

番号を付けないと位置を失います

断片を一列に並べた瞬間に問題が生まれます。列の上ではどの断片が写真の左上にあったのか、右下にあったのかが消えます。断片の順番をめちゃくちゃに入れ替えても計算結果が同じになってしまうのです。

そこで断片ごとに位置を教える数字の束を一つずつ足してやります。コンテナに付ける番号札と同じ役割です。この印が付いて初めて、上の断片と下の断片を区別して見られます。

遠くの断片どうしを直接見比べます

ここがCNN(Convolutional Neural Network、畳み込みニューラルネットワーク)と分かれるところです。CNNは小さな窓を写真の上に滑らせながらすぐ隣の画素だけをいっしょに見ます。一段階で見る範囲が狭いので、写真の反対側まで視野を広げるには層を何層も積み上げなければなりません。

ビジョントランスフォーマーは最初の段階からすべての断片がすべての断片を見比べます。左上の断片が右下の断片とどれだけ関係があるかをすぐに計算します。写真の両端に分かれて写った一つの物体を、最初から一つにまとめて見られます。

代わりにCNNがただで持っていた利点を失います。「近い点どうしは関係が深い」という事実と「物が少しずれても同じ物だ」という事実を、CNNは構造そのものがすでに知っています。ビジョントランスフォーマーはこれを全部資料から学ばなければなりません。

あらかじめ知らないことの代償

だから資料が少ないとかえってCNNより劣ります。写真が数万枚しかない資料で教えると、断片どうしの関係をきちんとつかめず揺らぎます。あらかじめ組み込まれた習慣がないというのは、自由であると同時に最初からすべて学ばなければならないということです。

反対にとても多くの写真であらかじめ幅広く学んでおくと、そのあとはCNNより良い結果を出すことが多くなります。あらかじめ組み込まれた習慣は役に立つ分だけ限界にもなるからです。そのため実際には大きな資料で先に学んだものを持ってきて、それぞれ必要な仕事に合わせて仕上げて使う方式が定着しています。

断片の数がそのまま費用です

すべての断片がすべての断片を見比べるので、断片が二倍になれば見比べる組み合わせは四倍になります。写真の解像度を上げるには断片を細かく切るか数を増やす必要がありますが、その瞬間に計算が大きく膨らみます。高い解像度が重要な仕事ではこれが大きな負担になります。

そのため後に出てきた構造は、近い断片どうしを先に見比べ、段階が上がるごとに断片をまとめて数を減らす方式を混ぜて使います。細かく始めてだんだん大きくまとめる流れは、もともとCNNがしていた方式に似ています。二つの系統が互いの長所を取り入れながら近づいてきたわけです。