ポイント
- ガードレールはAIが越えないようあらかじめ張っておく柵です。モデルが身につけた性向とは違い、外側に別に取り付けた装置です。
- 場所は大きく三つです。入ってくる要求、出ていく答え、そしてAIが持つ道具と権限です。
- モデルの拒否だけでは足りません。拒否は揺れる性向なので、外側の装置がもう一枚必要です。
- 狭く張れば普通の利用まで止められます。どこまで防ぐかを決めることがガードレール設計の本体です。
- 柵が実際に持ちこたえるかをわざと越えてみる点検がレッドチーミングです。レッドチーミングは柵だけでなく、モデルの弱点全般を探すためにも使われます。
たとえで理解する
近所の遊び場には、子どもが来る前からあらかじめ敷いてあるものがあります。周りを囲む低い柵、遊具の下に広く敷いたやわらかいマット、滑り台の横の手すりです。
これらは遊ぶこと自体を止めません。柵はボールが大通りへ転がり出るのだけを防ぎ、マットは転んだときのけがの程度を減らします。何事もなく遊んで帰る日には、あることすら気づかず通り過ぎます。
事故が起きたあとに敷いたのではなく、起きる前に敷いておいたという点が大事です。AIサービスにもこうした前もって敷いておく装置があり、それをガードレールと呼びます。
くわしく
モデルの中ではなく外側に付けます
AIが危険な要求を拒否するとき、二つが一緒に働いています。一つは学習で身についた性向です。これはモデルの中に混ざっていて、規則のように見たりスイッチでオンオフしたりするのは難しいです。ただしモデルを直接修正できる場合には、この性向が弱まったり消えたりしうるという研究があります。もう一つはサービスがモデルの外側に付けた装置です。こちらは規則を目で見ることができ、オンオフしたり変えたりできます。
ガードレールは後者を指します。外側にあるのでどんなモデルに入れ替えても残り、問題が起きたときにどこを直せばよいか指せます。柵とマットが誰が遊びに来ても同じ場所にあるのと同じです。
性向と装置は互いの代わりになれません。性向は状況によって揺れ、装置は単純なほど言葉の細かなニュアンスを見逃しやすく、精巧なほど遅く高くつきます。二つを重ねて置く理由です。
入るときに一回、出るときに一回
入ってくる要求を調べる検査は、要求自体がサービスが扱わないと決めた領域かどうかを見ます。ここで引っかかればモデルまで行かず案内文が出ます。速くて費用も少ないですが、危険が要求の文面に表れていないと見逃します。
出ていく答えを調べる検査は、作られた答えに問題がないかを見ます。要求は普通だったのに答えがおかしな方向に流れた場合、参考にした資料が変だった場合がここで引っかかります。代わりに答えを作り終えたあとなので時間が余計にかかり、すでに画面に流れていた答えを途中で回収する不自然さも生まれます。
二つの検査は見逃す場所が互いに違います。前者は意図を、後者は結果を見ます。だから二つを重ねて置くこともあります。
道具を使うAIなら手を減らすのが丈夫です
言葉による検査には常に漏れる隙があります。表現を変えれば引っかからず、あまりに細かく作ると普通の言葉まで引っかかります。一方、AIがそもそもできないことは、どんな文章を使ってもさせられません。
AIが道具を使って実際に何かをするサービスなら、実務で最も確実に働く柵は権限のほうです。この仕事に必要な道具だけを持たせ、読むだけでよい場面には書き込み権限を与えず、取り消せない動作の前には人の確認を置きます。文章をどれだけうまく作っても、ない手は動かせません。
壊れた遊具にロープを回して止めておくことも同じ場所にあります。おかしな気配をつかんだらその機能だけすぐに閉じるスイッチを前もって作っておけば、直している間の被害が止まります。
狭く張ると遊べなくなります
柵を細かく張ることには代償が伴います。安全に関する質問、医学や法律に関する一般的な説明、暴力が登場する創作物のような正常な要求まで一緒に引っかかります。これを過剰拒否と呼びます。
過剰拒否は表面上は安全に見えますが、二つの問題を作ることがあります。一つはサービスが役に立たなくなること、もう一つは人々が検査の緩い、あるいはない別の通路へ移りうることです。移った先には柵がより弱いか、そもそもない場合もあります。
だからガードレールの点検には常に二つの数字が一緒に入ります。防ぐべきものをどれだけ防いだか、防いではいけないものをどれだけ防いでしまったかです。片方だけを見れば、反対側が崩れやすくなります。
柵が立っているか確かめる作業
柵を立てておくことと、その柵が実際に持ちこたえることは別の話です。文書に書かれた規則がコードから抜け落ちていたり、新しい機能を付けながら検査を一つ飛ばしたりすることが起きます。だから作った人とは別の人が越えてみる手順を別に設けます。
この点検がレッドチーミングです。ガードレールが前もって張るほうなら、レッドチーミングは越えてみるほうで、二つの作業は対で回ります。越えてみて破られた場所が見つかれば、その事例が新しい柵の材料になります。
もう少し正確に
ガードレールという言葉は使う人によって範囲が少しずつ違います。モデルを学習で調整する安全アラインメントまで含めて呼ぶ場合もあれば、モデル外側の検査装置だけを指す場合もあります。この記事は後者に絞って書きました。内側の性向はアラインメントが、外側の装置はガードレールが受け持つと分けて考えると話しやすくなります。
外側の装置を作る方法も複数あります。禁止表現を一覧にする方式、危険な要求かを判定する小さなモデルを別に付ける方式、大きなモデルに方針文書を渡して自分で判定させる方式が混ざって使われます。一覧は速いですが表現が少し変わるだけで見逃し、判定モデルは柔軟ですが費用と時間が余計にかかります。検査の層が増えるほど答えが遅くなるので、どの要求にどの検査をかけるか選ぶことまで設計に入ります。
比喩がずれる点もあります。遊び場の危険は目に見えて高さや距離で測れますが、言葉で来る危険は境界が状況ごとに違います。マットは誰が転んでも同じように働くのに対し、言語検査は言語と表現によって性能が大きく変わります。そして遊び場は危険な遊具をそもそも撤去できますが、AIサービスでは何を危険な機能と見るかから決めておく必要があります。
やってみる
よくある誤解
ガードレールをかければ安全になると思われがちですが、実際には言葉による検査は確率を下げるだけで、権限を狭めても許された範囲内での誤りは残ります。越えられる場合を前提に後段を設計する必要があります。
ガードレールは禁止語の一覧だと思われがちですが、実際には危険な要求を判定するモデル、答えをもう一度確かめる検査、AIが持つ道具と権限を狭めることまで、何枚も重ねて使います。道具を使うAIなら権限を狭めるほうが特に確実に働きます。
柵は細かいほど良いと思われがちですが、実際には正常な要求まで止められるとサービスが役に立たなくなり、人々が柵のより弱い通路へ移ってかえって危険が増えることもあります。どこまで細かく張るかはサービスと状況によって判断が分かれます。
ひとこと要約
ガードレールは事故が起きる前にモデルの外側へ付けておく何枚もの装置であり、どこまで狭く張るか決めることまでが設計です。
誤りや、もっと良いたとえがありますか？ 修正を提案する · 最終更新 2026-10-18