モデルModel

モデルは作られたもので書かれたものではありません

普通のソフトウェアは人が一行ずつ書いて作ります。どの行が何をするか書いた人が知っています。モデルはそう作られません。人が決めるのは層を何枚重ねるかといった大きな骨組みだけで、中を埋める数値は学習が自分で決めます。

だからモデルファイルを開いても、人が読める規則は出てきません。延々と続く数字だけが見えます。この数字一つ一つがパラメータで、最近の大きなモデルには数十億個入っています。

図案と違う点がここです。編み図は人が読めるように書かれていますが、モデルの図案は人が読めない数字で書かれています。それでもしていることは同じです。どんな入力が来たらどんな出力を出すかが、その数字の中に詰まっています。

作る時間と使う時間が違います

モデルの一生は二つに分かれます。前半が学習です。例を見ながら中の数値を少しずつ動かす時間で、大きなモデルはここに何か月もの大きな費用がかかります。

後半が推論です。完成した数値をそのままに、新しい入力を通して答えを受け取る時間です。こちらは一回に数ミリ秒から数秒で終わります。図案を作るのに何週間かかっても、その図案を見て編む作業は一晩あれば済むのと同じです。

私たちが人工知能サービスを使うときに起こることはほとんど後半です。質問を投げるたびにモデルが改めて学ぶのではなく、すでに固まった数値をただ通り抜けるだけです。

モデルの中に元の資料が入っているわけではありません

モデルが学習に使った文章や写真をそっくり抱え込んでいると誤解しやすいです。実際はそうではありません。何百ギガバイトもの資料を見て作られたモデルが、それよりずっと小さいことがよくあります。入っているのは資料ではなく、資料から取り出した傾向です。

何度も繰り返し出てきた文章やとても特異な資料が、ほぼそのまま出てくることがまれにあります。それでも基本の性質は保存というより要約に近いです。図案がマフラーの写真集ではなく模様を作る手順であるのと同じです。

だからモデルに学習で使った特定の文書をそのまま出してくれと頼んでも、うまくいきません。正確な原文が必要なら、モデルの外に資料を別に置いて探しに行かせる方式を使います。

ひとそろいではなく何そろいも出回っています

同じ骨組みでも、何を見せながら学習したかによって違うモデルが出てきます。だからモデルは名前と版が付いて何そろいも管理されます。学習の途中で保存しておく版をチェックポイントと呼び、完成したモデルに別の資料を少し追加で与えて性格を変える作業をファインチューニングと呼びます。

大きさもいくつかに分かれます。パラメータが多いほど扱える幅は広いですが、その分重くて遅いです。だから同じ系統の中でも大きな版と軽い版が一緒に出てきます。携帯電話の中で動くものは大抵軽い版です。