事前学習Pretraining

目的を決める前に学びます

以前の方式は逆でした。感情分類機を作るには、レビューと正解ラベルをたくさん集めてそれだけを学習させました。翻訳機を作るにはまた最初からやり直しました。目的地を先に決めてその道だけを覚えさせたわけです。

事前学習は目的地を空けておきます。インターネットの文書、書籍、百科事典といったあらゆる文章をそのまま読ませながら、言葉がどう使われるかだけを身につけさせます。何に使うかは後で決めればいいからです。

この順番を変えたことが、言語モデルがいろいろな分野に急速に広がった理由です。新しい仕事をさせるたびに最初から作る必要がなくなったのです。免許を取る人が増えるほど、あとで運転を教わる人も増えていくのと同じ流れです。

問題集が自然に出来上がります

人が答えをつける学習は高くつきました。レビュー十万件に一つ一つ良い悪いを表示するには人の手が莫大にかかるからです。

事前学習にはその過程がありません。文の一部を隠してその場所を当てさせれば、正解は隠した原文にすでに書かれています。採点がタダなわけです。だから人の手を通していない文章でもそのまま学習に使えます。問題を作る人と採点する人を別に雇わなくても、文章そのものが両方の役をこなしてくれるわけです。

おかげで扱う量が以前とは比べものにならないほど大きくなりました。人が一生かけても読み切れない分量の文章をまるごと読み込むことが可能になったのです。

一度に何層も積み上がります

空欄を当てる単純な練習だけを繰り返すのに、その中でいくつものことが同時に定着します。一番下には文字とつづりが積み上がります。どの文字の後にどんな文字が来るかがまず身につきます。

その上に文の組み立てが積み上がります。助詞や語尾がどう付くか、主語と述語がどう対応するかがつかめます。文法書を別に見ていないのに、不自然な文を不自然だと感じるようになる地点です。

一番上には世の中についての常識が乗ります。「わさびは○○食べ物」の空欄を当てるには、わさびが何なのか知っておく必要があるからです。空欄当てが上手になろうとするうちに、知識まで一緒についてきたわけです。

時間がかかり費用も高いです

事前学習は一回動かすのに数週間から数か月かかり、計算機材もものすごくかかります。途中で方向を変えるのも難しいです。学習がかなり進んだあとに資料に問題があったとわかっても、後戻りは簡単ではありません。

だからこの段階は誰でもやるわけではありません。代わりにすでに事前学習を終えたモデルを持ってきて使う方式が定着しています。免許を新しく作らずに、すでに免許を持っている人を連れてくるのと同じです。

免許を取ったあとにすること

事前学習だけを終えたモデルは言葉はよくつなげますが、指示に従うのは苦手です。質問を入れると答えの代わりに似たような質問を次々とつなげることもあります。次の言葉をつなぐ練習だけをしたのだから当然の結果です。

だから後ろに仕上げる段階が付きます。指示と良い答えが組になった例を見せながら会話の仕方を教え、人がより良い答えを選びながら話し方や態度を整えます。ここまで終えて初めて、私たちが使う姿になります。