시퀀스-투-시퀀스Sequence-to-Sequence

1듣는 쪽과 만드는 쪽이 따로예요

앞서 나온 순환 신경망은 한 마디를 받으면 곧바로 한 마디를 내놓는 식이었어요. 이 방식으로는 번역을 할 수 없어요. 한국어와 영어는 단어 순서가 다르고 개수도 달라서, 첫 단어를 듣자마자 첫 단어를 내놓을 수가 없거든요.

시퀀스-투-시퀀스는 모델을 아예 둘로 나눠요. 앞쪽은 문장을 읽어 들이기만 하고 아무것도 내놓지 않아요. 뒤쪽은 읽는 일을 하지 않고 만들어 내기만 해요. 둘은 서로 다른 손잡이를 갖지만, 최종 결과가 좋아지도록 한꺼번에 함께 학습돼요.

2다 듣고 나서야 시작해요

읽는 쪽은 문장을 한 마디씩 받아들이며 요약을 계속 갱신해요. 마지막 마디까지 넣고 나면 그 시점의 요약 덩어리 하나가 남아요. 이 덩어리가 문장 전체를 대신하는 짐이에요.

만드는 쪽은 이 덩어리를 출발점으로 삼아 첫 마디를 내놓아요. 그리고 자기가 방금 내놓은 마디를 다시 자기 입력으로 받아 다음 마디를 내놓아요. 이 되먹임이 끝날 때까지 반복돼요.

멈출 때를 알려 주는 표시도 따로 있어요. 문장이 끝났다는 신호와 문장을 시작하라는 신호를 마디처럼 하나씩 만들어 두고 함께 학습시켜요. 만드는 쪽이 끝 신호를 내놓으면 거기서 멈춰요.

3길이가 달라도 되는 이유

읽기와 만들기가 완전히 분리돼 있으니 개수를 맞출 이유가 없어요. 읽는 쪽은 마디 수만큼 돌고, 만드는 쪽은 끝 신호가 나올 때까지 돌아요. 네 마디를 읽고 일곱 마디를 내놓아도 아무 문제가 없어요.

이 성질 덕분에 쓸 수 있는 곳이 확 넓어졌어요. 긴 글을 짧게 줄이는 요약, 짧은 질문에 긴 답을 붙이는 대화, 음성을 글자로 옮기는 받아쓰기가 모두 같은 틀에 들어와요. 들어오는 줄과 나가는 줄의 종류가 달라도 상관없어요.

4전표 한 장이 좁으면 흘려요

문제는 전표가 한 장이라는 데 있어요. 세 마디짜리 주문이든 서른 마디짜리 주문이든 같은 크기의 덩어리 하나에 눌러 담아야 해요. 주문이 길어지면 앞쪽에서 들은 것부터 자리를 잃어요.

번역에서 이 증상이 뚜렷하게 나타났어요. 짧은 문장은 잘 옮기는데 문장이 길어지면 앞 절의 내용을 통째로 빠뜨리거나 엉뚱하게 바꿔 놓는 일이 잦았어요. 모델을 키우거나 요령을 써서 어느 정도 버틸 수는 있었지만, 덩어리 하나에 모두 담아야 한다는 구조 자체가 병목으로 꼽혔어요.

5지금은 어떻게 바뀌었나요

해결책은 전표 한 장만 넘기지 말고, 만드는 쪽이 필요할 때마다 원문 쪽을 다시 돌아보게 하는 것이었어요. 접시 하나를 만들 때마다 손님이 한 말 중 어느 대목이 지금 필요한지 골라 보는 셈이에요. 이 장치가 어텐션이에요.

어텐션이 붙자 성능이 크게 뛰었고, 얼마 지나지 않아 순환 구조를 아예 걷어내고 어텐션만 남긴 트랜스포머가 나왔어요. 지금 쓰는 번역기나 받아쓰기 모델 중에도 읽는 쪽과 만드는 쪽을 나누는 뼈대를 그대로 쓰는 것이 많아요. 대화형 인공지능은 대부분 두 쪽을 하나로 합친 만드는 쪽만 쓰지만, 받은 글에 이어 길이가 다른 답을 하나씩 만든다는 발상은 이어받았어요.