BERT

1가려 놓고 맞히기를 수없이 반복해요

BERT를 익히는 방법은 간단해요. 아무 글이나 가져와 조각 일곱 개 중 하나쯤을 골라, 대부분은 가리고 일부는 엉뚱한 말로 바꾸거나 그대로 둔 채 원래 무엇이었는지 맞히게 해요. 정답은 원문에 이미 들어 있으니 사람이 따로 답을 달아 줄 필요가 없어요.

문장 하나로도 문제를 여러 개 낼 수 있어요. 첫 낱말을 가려 한 문제, 다섯째 낱말을 가려 또 한 문제. 어떤 글이든 문제집이 될 수 있어서, 사람이 손대지 않고도 수십억 낱말 분량의 글을 익힐 수 있었어요.

이 훈련은 맞히는 재주만 늘리는 게 아니에요. 빈칸을 채우려면 문장의 짜임과 낱말 사이의 관계를 알아야 하니, 반복하는 동안 말의 쓰임이 통째로 몸에 배요.

2양옆을 다 보는 것이 갈림길이에요

한 방향으로만 읽는 모델은 빈칸 앞쪽 글만 볼 수 있어요. "은행에 가서 돈을 ○○"까지만 보면 뒤에 어떤 말이 이어지든 상관없이 그럴듯한 것을 고르게 돼요.

BERT는 뒤쪽도 봐요. "은행에 가서 돈을 ○○고 나오니 통장 잔액이 늘었어요"라면, 뒤에 붙은 잔액 이야기가 앞의 빈칸을 좁혀 줘요. 같은 자리라도 뒤를 볼 수 있느냐 없느냐로 판단이 달라지는 거예요.

한국어에서는 이 점이 특히 쓸모 있을 수 있어요. 조사와 어미가 뒤에 붙으면서 앞말의 역할이 정해지는 일이 흔하니까요. 문장 끝을 봐야 앞이 풀리는 구조에서 양쪽을 다 보는 방식은 큰 무기가 돼요.

3이어 쓰는 대신 뜻을 넘겨줘요

BERT는 대화 상대가 아니에요. 문장을 넣으면 이어질 문장을 만들어 주는 게 아니라, 그 문장이 어떤 뜻인지를 숫자 묶음으로 정리해 내놓아요. 이 숫자 묶음을 받아 실제 판단을 하는 부분은 뒤에 따로 붙여요.

이 방식이 잘 맞는 일이 있어요. 후기가 칭찬인지 불만인지 가르기, 문의 글을 담당 부서로 보내기, 뜻이 비슷한 문서를 찾아 주기, 긴 글에서 답이 적힌 구간을 짚어 주기 같은 일이에요. 모두 새 글을 지어낼 필요 없이 이해만 정확하면 되는 일이에요.

검색에서도 많이 쓰여요. 다만 빈칸 맞히기만 익힌 그대로는 문장끼리 비교하는 데 서툴러서, 뜻이 비슷한 문장끼리 가깝게 놓이도록 한 번 더 학습시킨 뒤에 써요.

4익혀 둔 것에 마무리만 얹어요

빈칸 맞히기로 익히는 단계는 오래 걸리고 비용도 커요. 하지만 이 단계는 한 번만 하면 돼요. 그다음에는 하려는 일에 맞는 예시를 조금만 붙여 짧게 더 학습시켜요.

후기 만 건 정도면 감정 분류기가 되고, 문의 글 몇천 건이면 부서 분류기가 돼요. 처음부터 만들었다면 훨씬 많은 자료와 시간이 필요했을 일을, 이미 말을 아는 모델을 데려와 마지막 손질만 해서 끝내는 거예요.