リーダーボードLeaderboard

リーダーボードはベンチマークの上に乗っています

リーダーボード自身が何かを測るわけではありません。ベンチマークが先に点数を出し、リーダーボードはその点数を大きい順に並べます。だから表を見るときまず確かめるべきは、どのベンチマークの点数かということです。

一枚の表に複数のベンチマークの点数を集めて総合順位を付ける場もあります。このときはどの項目にどれだけ重みをかけたかが順序を左右します。重みを少し変えるだけで上位が丸ごと揺らぐこともあります。

人が二つの答えを並べて気に入ったほうを選び、その勝ち負けで順序を付けるリーダーボードもあります。問題をあらかじめ決めないので実際の使われ方に近いですが、答えが長くて見栄えが良いと内容にかかわらず選ばれてしまう偏りが生まれることもあります。

一位と二位の間はたいてい狭いです

表は一段の差として描かれますが、実際の点数差はさまざまです。一位と二位が一点差でも、表では上下に分かれて見えます。

同じ対象をもう一度測っても点数は少しずつ動きます。答えを作る過程に偶然の要素があるからです。だから上位の数段は測り直すと順序が変わることがよくあります。揺れる幅までいっしょに書いてある表なら、その幅が重なる者どうしは事実上同じ順位として読むべきです。

点数差がいくつか表に数字で書かれているなら、必ずその数字を見てください。順位の段ではなく点数の欄が本当の情報です。

表に合わせて仕上げると順位は上がります

リーダーボードが広く使われると、その表で良く出るように作ることが目標になりやすいです。問題の形式に合わせて答えの形を整え、よく出る種類を集中して練習させるようなやり方です。

こうすると順位は上がりますが、表の外のことまで良くなるわけではありません。順位表に載るために特定の書店で本を買い占めるのと似たことが起きているのです。点数が目標になった瞬間、その点数は実力を測る物差しとしての役目を失います。

評価問題や答えが学習データに紛れ込んだ場合も、見た目は同じように順位上昇として現れます。だから急に上位に上がってきた結果ほど、他のベンチマークでも似た位置にあるかをあわせて確かめます。

順位表に載らないもの

リーダーボードには点数だけが載ります。どれだけ速く答えるか、費用がいくらか、自分のデータを扱えるか、望む形式で答えを出してくれるかは表の外にあります。

実際に何を使うか決めるとき、こうした項目が順位をひっくり返すことはとてもよくあります。上位の数段は実質同じくらいの実力なので、残りの条件が決め手になってしまうからです。

リーダーボードをうまく使う方法

表は候補名簿としてだけ使うのがよいです。上位の数段を候補に選び、そのあとは自分の仕事に近い問題を二十問ほど自分で作って並べて入れてみるのです。

自分で作った二十問のほうが、他人の順位表百行より役に立ちます。書店の順位表を見て平台に行っても、買う前に何ページか開いて読んでみるのと同じことです。