モデル崩壊Model Collapse

学習材料にAIの成果物が混ざります

大きなモデルはインターネットに積み上がった文章や画像を集めて学習します。ところがインターネットに載る文章や画像のうち、AIが作ったものの割合は急速に増えています。次の世代のモデルを作ろうと資料を集めると、その中に前の世代が作った成果物が混ざり込みます。

問題は選り分けが難しいことです。AIが作ったかどうかを見分ける道具は確率しか教えてくれず、人が手を加えた成果物はさらに判断しにくくなります。集める側の多くは、どちらか分からないまま取り込むことになります。

そのためこの現象は一社の失敗ではなく、公共の資料全体が少しずつ汚染される形で表れます。人が書いた文章が多く積み上がっていた時期の資料が貴重になる理由です。

先に消えるのは珍しいほう

モデルは学んだものの分布をまねますが、よくあるほうは上手にまね、珍しいほうはうまくまねられません。作り出す結果には珍しい表現が元よりも少なく出てきます。その結果を再び学習すると、珍しいほうの割合がもう一段減ります。

この削れが世代ごとに繰り返されます。方言や見慣れない文体、珍しい構図や色使いのような端にあるものから先に抜け落ちていきます。真ん中は長く残り、端から崩れていく形です。

見かけの品質はしばらく変わりません。文章は滑らかで、画像はきれいなままです。ただ、何を頼んでも似たような結果が返る状態へ、静かに移っていきます。

数世代で目に見えて狭まります

小規模な実験で見ると流れがはっきりします。前の世代が作った結果だけで次の世代を学習させることを繰り返すと、数世代のうちに結果の分布が目に見えて狭まり、後になるほど崩れる速さが増します。

ここには誤差が重なって積み上がる事情があります。標本が限られているために起きるずれ、モデルの表現力が分布をすべて捉えきれないために起きるずれ、学習が最後まで収束しないために起きるずれが、世代ごとに足されていきます。前の世代のずれが次の世代では正解として扱われるからです。

ただし実際の現場は実験ほど単純ではありません。人が作った資料が絶えず新しく入ってきますし、作られた結果のうち人が選んだものだけが残るふるいもかかります。そのため崩壊は決まった結末というより、材料を管理しなければ近づいてくる危険に近いものです。

モード崩壊とは別の話です

名前が似ているので混同しやすいところです。モード崩壊は一つのモデルを学習させている途中で起きることです。よく通用するいくつかの結果ばかりを出し続け、残りを手放してしまう状態です。学習中のそのモデルの中だけで終わる問題です。

モデル崩壊は世代と世代のあいだの問題です。今回のモデルが作った成果物が次のモデルの教材になり、そのまた次のモデルの教材になって、いくつもの世代にわたって材料そのものが狭まっていきます。一つのモデルをうまく学習させるだけでは防げません。

防ぐ方法は材料の管理です

第一は人が作った資料を確保し続けることです。新しく入ってくる人の記録があれば端がまた埋まります。古い原本の資料をきちんと保管しておくこともここに含まれます。

第二は混ざる比率を管理することです。作られた資料を完全に外すより、人が作った資料に加えて使いつつ比率を低く保つほうが現実的です。こうすると狭まりが大きく和らぐという結果も出ています。

第三は印と選別です。作るときに目立たない印を仕込んでおき、ファイルに履歴を付けておけば、後で資料を集めるときにある程度選り分けられます。人が検討して選んだ資料だけを使う方法も合わせて使います。