리더보드Leaderboard

리더보드는 벤치마크 위에 얹혀 있어요

리더보드가 스스로 무엇을 재지는 않아요. 벤치마크가 먼저 점수를 내고, 리더보드는 그 점수를 큰 순서로 늘어놓아요. 그래서 표를 볼 때 가장 먼저 확인할 것은 어느 벤치마크의 점수인가예요.

표 하나에 여러 벤치마크 점수를 모아 종합 순위를 매기는 곳도 있어요. 이때는 어느 항목에 얼마나 무게를 실었는지가 순서를 좌우해요. 무게를 조금만 바꿔도 상위권이 통째로 흔들리기도 해요.

사람들이 두 답을 나란히 보고 마음에 드는 쪽을 고르게 한 다음, 그 승패로 순서를 매기는 리더보드도 있어요. 문제를 미리 정해 두지 않아 실제 쓰임에 가깝지만, 답이 길고 보기 좋으면 내용과 상관없이 뽑히는 쏠림이 생기기도 해요.

1위와 2위 사이는 대개 좁아요

표는 칸 하나 차이로 그려지지만 실제 점수 차이는 제각각이에요. 1위와 2위가 한 점 차이인데도 표에서는 위아래로 갈라져 보여요.

같은 대상을 다시 재도 점수는 조금씩 움직여요. 답을 만드는 과정에 무작위성이 있으니까요. 그래서 상위 몇 자리는 다시 재면 순서가 바뀌는 일이 흔해요. 흔들리는 폭까지 함께 적어 둔 표라면 그 폭이 겹치는 자리끼리는 사실상 같은 등수로 읽어야 해요.

점수 차이가 얼마인지 표에 숫자로 적혀 있다면 꼭 그 숫자를 보세요. 순위 칸이 아니라 점수 칸이 진짜 정보예요.

표에 맞춰 다듬으면 순위는 올라가요

리더보드가 널리 쓰이면 그 표에서 잘 나오도록 만드는 일이 목표가 되기 쉬워요. 문제 형식에 맞춰 답 모양을 다듬고, 자주 나오는 유형을 집중해서 연습시키는 식이에요.

이렇게 하면 순위는 오르지만 표 밖의 일까지 좋아지지는 않아요. 순위표에 오르려고 특정 서점에서 책을 몰아 사는 것과 비슷한 일이 벌어지는 거예요. 점수가 목표가 되는 순간 그 점수는 실력을 재는 잣대 노릇을 잃어요.

평가 문제와 답이 학습 자료에 섞여 들어간 경우도 겉으로는 똑같이 순위 상승으로 보여요. 그래서 상위권에 갑자기 올라온 결과일수록 다른 벤치마크에서도 비슷한 자리인지 함께 확인해요.

순위표에 없는 것들

리더보드에는 점수만 올라가요. 얼마나 빨리 답하는지, 비용이 얼마인지, 내 자료를 다룰 수 있는지, 원하는 형식으로 답을 내주는지는 표 밖에 있어요.

실제로 무엇을 쓸지 정할 때 이 항목들이 순위를 뒤집는 일이 아주 흔해요. 상위권 몇 자리는 사실상 비슷한 실력이니, 나머지 조건이 결정을 맡아 버리거든요.

리더보드를 잘 쓰는 법

표를 후보 명단으로만 쓰는 것이 좋아요. 상위 몇 자리를 후보로 뽑고, 그다음은 내 일에 가까운 문제 스무 개쯤을 직접 만들어 나란히 넣어 보는 거예요.

직접 만든 문제 스무 개가 남의 순위표 백 줄보다 도움이 돼요. 서점 순위표를 보고 매대에 가더라도, 사기 전에 몇 쪽을 펼쳐 읽어 보는 것과 같은 일이에요.