埋め込みEmbedding

意味が似ていれば位置も近くなります

埋め込みが作る場所では、距離がそのまま意味の似ている度合いです。「りんご」と「梨」は隣り合い、「りんご」と「地下鉄」は遠く離れます。果物どうしが一つの区域に、乗り物どうしが別の区域に集まります。

この性質がすごいのは、文字が一つも重ならない二つの言葉の関係を計算でつかめるからです。以前の検索は「返金」と打ち込んで初めて「返金」と書かれた文書が見つかりました。埋め込みを使うと「お金を返してほしい」と書いても返金案内が出てきます。二つの表現が近い位置にあるからです。

距離を測る方法は、たいてい二つの位置が原点から見てどれだけ同じ方向を向いているかで決めます。長さより向きのほうが意味をよく表すからです。

位置は学習の中で自然に決まりました

誰かが「りんごはここ、梨はその隣」と座標を書いてくれたわけではありません。方法は単純です。膨大な文章を読みながら似た位置に出てくる言葉どうしを近づける作業を繰り返します。

「りんごをむいた」「梨をむいた」のように二つの言葉が似た文脈に何度も出てくると、学習が進むほど二つの位置が引き寄せられます。反対に、同じ文脈に一緒に出たことがほとんどない言葉どうしは遠ざかります。この引き寄せと押し出しを数えきれないほど繰り返すと、意味が似たものどうしが自然に集まります。

そのため埋め込みには、学習に使った文章の性質がそのまま染み込みます。特定の職業名の隣に特定の性別の表現が近く置かれるような偏りも、この過程で一緒に入り込みます。

数字一つひとつには名前がありません

埋め込みの数字はふつう数百から数千個です。一番目の数字が「甘さ」、二番目が「大きさ」というように決まっていればよいのですが、そうではありません。それぞれの位置は学習が勝手に決めた軸なので、人が名前を付けるのは難しいのです。

それでも向きには意味が宿ります。「王」から男性的な性質の向きを取り除き、女性的な性質の向きを足すと「女王」の近くに届くという観察がよく知られています。国名から首都へ向かう向きが、いくつもの国で似た形で表れることもあります。

こうした関係がいつもぴったり成り立つわけではありません。うまくいく例を選んで見せている場合が多く、めずらしい言葉ではあまり成り立ちません。

同じ言葉も文脈によって位置が変わります

初期の方式は単語ごとに位置を一つだけ与えていました。そのため「お腹が痛い」の腹と「船に乗る」の船が同じ位置に置かれていました。

今使われている方式は、文を丸ごと入れて初めて位置が出ます。前後の言葉を一緒に見てそのつど位置を計算するので、同じ文字でも文脈によって違う位置に置かれます。病院の話の中の「腹」と港の話の中の「船」が互いに遠く離れるわけです。

文章だけが位置をもらうのではありません

文一つ、文書一編にも位置を与えられます。長い文章を丸ごと入れると、その文章の要旨を含んだ数字の束が出てきます。これをあらかじめ作って保存しておけば、あとで意味から文書を探せます。

画像や音も同じ場所に一緒に置けます。写真とその写真を説明する文が近い位置に来るよう学習させると、文で写真を検索したり、写真に合う説明を探したりできるようになります。