ジェイルブレイクJailbreak

拒否は鍵ではなく性向です

AIがある要求を拒否するとき、内側で錠がかちりと閉まるわけではありません。何を助け何を断るべきかをとても多くの例から学んで、似た状況で拒否のほうへ傾く性向が身についているだけです。性向は確率なので、文脈が変われば傾きも変わります。

だから同じ要求でも、どんな話の中に置かれるかによって結果が分かれます。前に付けた背景、話し方、対話の長さがすべて傾きを少しずつ押します。規則がなくなったのではなく、その瞬間の文脈で規則の重みが軽くなっただけです。

回転ドアと同じです。ドアが施錠されていたのではなく、片方へ回るほうが楽になっているだけで、押す力の向きが変われば扉も従って回ります。

物差しを狙うと迂回が生まれます

床の矢印は本当の基準ではありません。本当の基準は出入りする人がぶつからず安全に通ることで、矢印はそれを素早く知らせるために決めておいた代わりの物差しです。代わりの物差しを使うと、その物差しだけをかわせばよい道が開きます。

AIの安全装置も同じです。本当の基準はこの答えが実際に害を及ぼすかどうかですが、モデルが実際に握っているのは危険に見える要求の色合いです。だから色合いだけを変えると、同じ要求が別の要求のように見えます。

物差しと目的が離れている限り、物差しを狙った迂回は生まれ続けます。新しい迂回が見つかるたびに、その事例を学習に入れて物差しを調整する作業が繰り返される理由です。

よく見られる三つの筋道

一つ目は状況を変える筋道です。演技、架空の物語、研究や教育といった枠をかぶせて「今は普段と違う場だ」と文脈を新しく組み立てるやり方です。規則が状況によって変わると学んだ部分を利用します。

二つ目は分ける筋道です。一度に尋ねれば拒否されることを複数の断片に分けて尋ねます。断片一つひとつは平凡に見えるので、各段階では拒否する理由がつかみにくくなります。

三つ目は形式を変える筋道です。別の言語、見慣れない表記、表や箇条書きのような見た目で包むと、危険を測る感覚がにぶります。安全学習に使われた例と見た目が離れるほど性向が弱まるためです。

インジェクションと混同しやすいです

二つの言葉はよく一緒に使われるので一つにまとめられがちですが、分けてみると単純です。ジェイルブレイクは対話欄の前に座った本人が自分でドアを逆に押すことです。プロンプトインジェクションは、その人が何も悪いことをしていないのに、AIが読み込んできた文書やウェブページの中の文章が代わりに指示を差し込むことです。

責任の所在も違います。ジェイルブレイクはサービスがどこまで許すかを決める問題に近く、インジェクションはAIにどんな資料と権限を持たせるかを設計する問題に近いです。防ぐ方法もそこで分かれます。前者は安全学習と要求検査で、後者は権限を狭めることと資料の扱い方で対応します。

層を重ねて防ぎます

モデル一つだけには頼りません。入ってくる要求を別に調べる検査、出ていく答えをもう一度調べる検査、答えを作るときに参照する方針文、そして危険な機能そのものをサービスから外す決定が一緒に使われます。回転ドアに逆回転を防ぐ留め具を付け、回る速さを制限し、それでも駄目ならその通路自体を閉めるのと同じやり方です。一枚が漏れても次の層で引っかかるようにしておくのです。

締めすぎると反対側の問題が生まれます。安全に関する質問や創作物まで拒否してしまえば、役に立たなさが大きく増えます。締める度合いを決める作業は技術の選択というより、サービスが誰を対象に何をしようとしているかについての決定です。