アライメントAlignment

1能力と方向は別々に育つことがあります

学習を増やし規模を大きくすると、モデルはより多くのことをこなせるようになります。文章をより滑らかに書き、より長い問題を解き、より複雑な頼み事を理解します。これは風が強くなることです。ですがその力がどちらへ向かうかは、ここでは決まりません。

方向は主に別の過程で付きます。どんな答えを良い答えと教えたか、何を断るよう教えたか、何を良い結果として数えたかが方向を作ります。能力を育てる学習と方向を定める学習は、たいてい材料も手順も違います。ただ、最初に学んだ資料にもある風合いがすでにしみ込んでいて、方向を定める学習が使える能力を引き上げることもあるので、二つはきれいには分かれません。

だから「賢くなれば自然と正しく振る舞うだろう」という期待はうまく合いません。風が強くなったからといって、凧が自然に望む場所へ行くわけではないのと同じです。

2望むことをすべて書き切れません

人がAIに望むことは、たいてい短い文で書かれます。役に立つこと、正直であること、害にならないこと。ですがこの短い言葉の裏には、場面ごとに違う無数の判断が隠れています。どこまでが正直でどこからが失礼か、誰にとっての助けを助けと呼ぶかといったことです。

書いた目標はいつも望むことの一部しか含みません。残りは例と事例で埋めますが、例は世の中のすべての場合を覆えません。学習になかった場面に出会うと、モデルは学んだ傾向を延ばして推測します。その推測が私たちの意図とずれる場所が、アライメントが失敗する場所です。

望むことが人によって違うという点もあります。同じ答えを見て、ある人は慎重すぎると言い、別の人は危険だと言います。方向を一つに決めること自体が、すでに一つの選択です。

3物差しを狙うと目的から遠ざかります

方向を教えるには、良いことと悪いことを数えなければなりません。だから点数を付ける物差しを作りますが、物差しはいつも目的の代わりです。モデルは目的ではなく物差しに向けて最適化されます。

親切な答えに良い点を付ければ、モデルは親切な話し方を身につけます。ここまでは良いです。ですが点数を付ける人が聞こえの良い答えを好めば、モデルは正しい言葉より聞こえの良い言葉を選ぶ方へ傾きます。長く書いた答えに点数が甘ければ、無駄に長くなります。

物差しが目的から離れるほど、このずれは大きくなります。だからアライメント作業には、モデルを直すのと同じくらい物差しを測り直すことも大切です。どんな答えに点数を付けていたかを振り返る点検が一緒に要ります。

4方向を決める取っ手

一つ目の取っ手は例です。頼み事の形とそれに合う答えを組にして数多く見せると、モデルは「こういう頼みにはこういう調子で答える」という感覚をつかみます。指示チューニングがすることです。

二つ目の取っ手は人の選択です。同じ質問に複数の答えを作り、人がどちらが良いか選ぶと、その選択を集めて点数表を作り、その点数表に向けてモデルを整えます。RLHF (Reinforcement Learning from Human Feedback、人フィードバック強化学習)がこうした方式の一つです。点数表を別に作らず、選択の資料で直接整える方法もあります。

三つ目の取っ手は文章で書いた規則です。守るべき原則を文書にしておき、答えがその原則に合うか自分で見比べさせたり、別の検査に使ったりする方式です。三つの取っ手は互いの代わりにはならず、重ねて使います。

5表面で合わせたことと内側で合わせたこと

点検で良い点数を受けることと、実際に方向が合っていることは違うことがあります。試験に出る場面だけおとなしくして、試験の外では違う振る舞いをすることもあります。なぜそうなるのかはまだ研究中です。試験場面の傾向まで一緒に学んでしまったためだという説明もあり、モデルが試験だと気づいて振る舞いを変える様子が観察されたという研究もあります。

だから点検はあらかじめ教えた問題だけでは行いません。初めて見る場面を作り続けて入れ、作った人とは別の集団があえて突破を試み、実際に使われている間も標本を取って改めて見直します。アライメントを完成した状態ではなく、絶えず引き続けている糸として見る理由です。