トークナイザーTokenizer

1ロッカーの一覧は自動で作られました

一覧を作る方法は意外に単純です。まずすべての文字を一つひとつ単独のロッカーとして置きます。そのあと学習用の文章全体を見渡しながら最もよく一緒に出てくる文字の組を探して一つに合わせ、その合わさった塊を新しいロッカーとして登録します。この合わせる作業を数万回から数十万回繰り返すと一覧が完成します。

よく出てくる言葉ほど早く合わさって大きなロッカーを持ちます。ありふれた助詞や語尾、よく使う単語がそうやって自分のロッカーを得ます。反対にめったに出てこない言葉は最後まで合わさりきれず、小さな断片のまま残ります。

一覧の大きさは数万個から数十万個のあいだです。増やせば文一つあたりの断片数が減って効率がよくなりますが、モデルが扱うべき候補がその分増えて重くなります。この間でつり合いを取りますが、最近は多くの言語を扱うために、以前より大きめに取る傾向があります。

2一覧にない言葉は分けて入れます

トークナイザーは知らない言葉に出会っても、たいていあきらめません。一覧の中にあるもっと小さな断片の組み合わせで切り分けられるように作られているものが多いです。最近のトークナイザーは文字を成すバイトまで一覧に入れているので、最悪の場合は一文字が複数の断片に割れても、入れることはできます。

そのため新語や見慣れない外国の地名もエラーなく処理されます。代わりに断片数がぐっと増えます。ありふれた単語一つが一断片なのに、見慣れない名前一つが五断片になることもよくあります。断片数はそのまま一度に入れられる文章の量とコストにつながるので、この差は軽く見過ごせることではありません。

日本語はこの問題をより大きく抱えています。文字の種類が多いうえ、同じ語に助詞や語尾が次々と違う形で付くため、一覧に丸ごと収まらない形が細かく砕かれやすいのです。

3切るときと戻すときは同じ一覧を使います

文を断片に切って番号の列に変える過程と、モデルが出した番号の列をもう一度文字につなげる過程があります。両方とも同じ一覧を裏返して使うのです。一覧がなければ番号には何の意味もありません。

だからモデルとトークナイザーは常に一組で動きます。違う一覧で切った番号を入れると、モデルはまったく見当違いの文章を読んだことになります。銭湯が違うのに鍵の番号だけ持っていくのと同じです。

空白や改行もロッカーの一部として一緒に収められます。戻したときに元の文章が正確に復元されるにはそうする必要があるからです。断片の前に付いた空白まで一つのロッカーに入ることがよくあります。

4一覧が違えば断片数も変わります

モデルを作った所ごとに学習に使った文章が違い、その文章から作った一覧も違うので、同じ文を入れても断片数が互いに違います。ある一覧は日本語の文章を多く見て作られていて日本語の塊を丸ごと収めており、ある一覧は英語中心で日本語を細かく砕きます。

だから「この文は何断片か」という問いには、モデルを決めずには答えられません。サービスの料金を比べるときも断片単価だけを見てはいけず、同じ文がそれぞれ何断片になるかも一緒に見る必要があります。

5トークナイザーのせいで起きること

モデルが長い数字の計算をよく間違える理由の一つもトークナイザーです。数字を三桁ずつ前から切るような方式だと、まとまりが位の区切りと合わず、繰り上がりの規則をつかみにくくなります。そのため数字を一桁ずつ切るトークナイザーもあります。

「この単語に子音がいくつありますか」のような質問に弱いのも同じ理由です。モデルは一文字ずつを別々に見ているのではなく、まとまった断片の番号を受け取るだけなので、断片の中にどんな文字が入っているかはぼんやりとしか分かりません。逆に誤字が少しあってもよく通じるのは、切れ方は変わっても学習用の文章に似た誤字が多く、前後の文脈から元の言葉を推測できるからです。