ベンチマークBenchmark

ベンチマークは問題集一つではない

ベンチマークと呼ばれるものの中には、ふつう三つのものが入っています。解くべき問題集、正解をどう判定するか決めた採点方法、そして何回尋ねるか、どんな形式で尋ねるかといった実行条件です。

三つのうち一つでも変わると数字が揺れます。同じ問題を出しても、答えを一回だけ受け取るか複数回受け取って一番良いものを使うかによって、点数はかなり開きます。だから点数を公表するときは条件も一緒に書くのが基本です。

何を測るかがそのベンチマークのすべて

世の中には何百種類ものベンチマークがあり、それぞれ測るものが違います。長い文章から事実を見つけ出す力を測るもの、いくつもの段階を経て答えを組み立てる力を測るもの、コードを実際に動かして通るかどうかを見るものが、それぞれ別々にあります。

だから「点数が高い」という言葉だけでは何も分かりません。どのベンチマークで高いのかを一緒に聞いてはじめて意味が生まれます。寒い場所で長く持ちこたえた電池と、大きな力を短く出し切った電池とでは、得意なことが違うからです。

自分の用途に合うベンチマークを選ぶコツは単純です。そのベンチマークの問題を数問直接読んでみることです。自分がやらせたいことに似ていれば参考になり、まったく違えば、その点数は他人の話です。

問題が公開されると答えが漏れ込む

ベンチマークはたいてい、みんなで一緒に使うために公開されます。ところが公開された問題と答えはインターネットに散らばり、AIが学習資料をかき集めるときにその中に混ざり込むことがあります。

そうなると試験問題を先に見たのと同じことが起きます。理解して解くのではなく、見たことのある答えを思い出しているだけなので、点数は高いのに少し変えて尋ねると崩れます。こうしたことを資料が漏れ込んだと言います。

だから最近は答えを公開せず採点だけ代わりに行う方式や、定期的に問題を入れ替える方式もあわせて使われています。

点数は時間が経つと古びる

新しく出たベンチマークは、最初は誰もうまく解けないので点数が低く始まります。それが何年か経つといくつもの対象が並んで高得点に届き、しまいにはみんな満点近くになります。

満点が集まると、そのベンチマークはもう順序を見分けてくれなくなります。試験条件がゆるくなりすぎて、どの製品を乗せても並んで満点が出るのと同じです。そこからは、より難しいか、別の角度から測る新しいベンチマークが席を引き継ぎます。

ベンチマークで分からないこと

ベンチマークは決まった形式の問題を決まった方法で採点します。だから形式に収まりにくいものは、そもそも測れません。答えが読みやすく書かれているか、知らないことを知らないと言えるか、長く使ううちにどんな癖が出るかといったことです。

実際のサービスでは速度と費用も大事ですが、これもたいていベンチマークの外にあります。だからベンチマークの点数は候補を絞るところまでにとどめ、最後の決定は自分の資料で直接測った結果に任せるのが安全です。