A/BテストA/B Test
二つに分けて使わせ結果を比べる試験
- A/Bテストは二つのものを並べて実際に使わせてみて、結果を比べる方法です。
- 大事なのは分け方です。でたらめに分ければ、二つの集団の間で違う点が試したいことただ一つだけになります。
- 比べる項目と期間は始める前に決めます。 あとから良さそうな数字を選ぶと、それは試験ではなく選び取りになってしまいます。
- 人の勘や会議室の議論では分からなかったことを、実際に使った結果から見分けます。
- 差が小さいと偶然と区別がつきません。 十分な人数と期間が必要な理由です。
目次
1たとえで理解する
靴工場で靴底のゴムを新しいものに変えようか迷っています。新しいゴムが本当にすり減りにくいかは、事務所で見本を触ってみるだけでは分かりません。そこで百足は今までの靴底で、百足は新しい靴底で作って配り、一か月履いてもらいます。一か月後に回収して、靴底がどれだけすり減ったかを物差しで測ります。
大事なのは分け方です。よく登山をする人にだけ新しい靴底を渡せば、新しい靴底のほうがすり減って見えます。そこで誰にどちらを渡すかはくじ引きのようにでたらめに決め、履く期間もそろえます。二つの集団の間で違う点が靴底一つだけになるようにするのです。
A/Bテストはこの試験です。二つのものを並べて出し、実際に使わせたあと、あらかじめ決めておいた項目で結果を比べます。
2くわしく
でたらめに分けてこそ試験が生きる
二つの集団をどう分けるかが試験のすべてと言っても言い過ぎではありません。事務職の人には今までの靴底を、配達の仕事をする人には新しい靴底を渡していたら、一か月後に出た差が靴底のせいなのか歩く量のせいなのか、見分ける方法がありません。
そこで分けるときは人の判断を外します。番号を振って奇数偶数で分けるにせよ、くじを引くにせよ、どちらに入るかがその人の特徴と何の関係もないようにします。こうすればまめな人もそうでない人も、二つの集団に均等に混ざります。
残りの条件はできる限りそろえます。同じ期間に、同じやり方で配り、同じ物差しで測ります。試したいことただ一つだけを違えて残すのが、この方法の骨組みです。
比べる項目は始める前に決める
靴底を測ると決めたなら靴底を測ります。一か月後に靴底の差がぱっとしないからといって急に靴ひもの減り具合を持ち出したら、試験は崩れます。項目をいくつも測っておいてそのうち良さそうな一つを選んで語ると、たまたま良く出た項目を本物の差と勘違いしてしまいます。
だから始める前に、何を測ってどちらが勝ったと言うのかを文章にしておきます。主に見る項目を一つ決め、その項目が上がる代わりに悪くなりそうなものを見張る項目としていくつか添えます。
途中でしょっちゅう覗き見ることにも注意が要ります。日々の数字は上下するので、気に入った日に止めれば、その結果は試験ではなくその日の運です。
どれくらい長く、何足でやるべきか
十足だけ履かせて新しい靴底のほうが良いと言うのは難しいことです。人によって歩く量が違うので、十人の中ではその差が靴底の差を覆い隠してしまいます。測りたい差が小さいほど、より多くの人とより長い期間が必要です。
期間もゆとりを持たせなければなりません。最初の数日は新しい靴なので気をつけて履くため、いつもの癖が出ません。新しさが与える気恥ずかしさが落ち着くまで待ってから測ってこそ、いつもの結果が出ます。
季節や曜日のようなことも気にかけなければなりません。梅雨の時期だけ試験すれば、そのときだけの結果になってしまいます。二つの集団を同じ期間に一緒に走らせる理由がここにあります。時期が違えば、靴底ではなく天気を比べることになってしまいます。
AIサービスではこう使う
新しいモデルに変えるか、案内文をどう書くか、答えをどれくらい長くするかといった決定にこの方法を使います。入ってくる人をでたらめに半分に分け、片方には今のやり方を、もう片方には新しいやり方を出して、決めておいた項目を比べます。
試験室の成績と実際の使用結果がずれることが多いので、特に役に立ちます。あらかじめ作っておいた問題集では新しいやり方が勝っているのに、実際に使ってみると人々が以前のやり方をより長く使い続けることが起こります。人が実際に経験することは問題集には載っていないからです。
二つの答えを並べて見せてどちらが良いか選ばせるやり方も広く使われています。どちらが誰の作った答えか分からないようにして選ばせると、名前に引きずられない選択が積み重なります。
3もう少し正確に
A/Bテストは対象を無作為に二つの集団へ割り当て、一つの条件だけを違えたうえで結果を比べる対照実験です。無作為な割り当てのおかげで二つの集団の他の特徴は平均的に打ち消し合い、結果の差を変えた条件のせいだと言えるようになります。差が偶然に生まれる程度の大きさかどうかを統計で確かめ、始める前に必要な人数を計算しておくのが普通です。
たとえがずれる点もあります。靴底は履く人の気持ちを変えませんが、サービスは片方の集団の体験がもう片方へ漏れ出すことがあります。二人が互いに画面を見せ合ったり感想を投稿し合ったりすると、集団が混ざってしまいます。分ける単位を人ではなく地域や時間帯にしなければならない場合が出てくる理由です。
試験がいつも正しい答えをくれるわけでもありません。短い期間で良さそうに見えたほうが、長く続けると悪くなることはよくあります。刺激的な案内は目先の反応は上げても、数か月後には離れていく人を増やすといった具合です。だから短く測る項目と長く測る項目をあわせて見ます。
4やってみる
5よくある誤解
A/Bテストは何がより良いか教えてくれると思われがちですが、実際にはあらかじめ決めておいたその項目で今回の期間だけどちらが良かったかを教えてくれるだけです。
差が出たなら本物の差だと考えがちですが、実際には人数が少なかったり期間が短かったりすると、偶然に起きた差と区別がつきません。
どこでも半分に分ければよいと思われがちですが、実際には分ける基準に人の特徴が混ざった瞬間、何のせいで生まれた差なのか分からなくなります。
7ひとこと要約
つまりA/Bテストは二つのうち一つだけを違えて実際に使わせたあと、あらかじめ決めた項目で比べる試験で、分け方が崩れれば結果も一緒に崩れます。
誤りや、もっと良いたとえがありますか？ 修正を提案する · 最終更新2026-09-02