推論は背景で起きている — オートコンプリートの内側
要点
- 入力補完やスマートリプライは、文字を打つたびに背景で推論が走る、ありふれた機械学習の応用である。
- 2017年のTransformer論文「Attention Is All You Need」以降、言語モデルの推論はこの種の補完の質を大きく変えた。
- ただし便利さの裏で、補完は利用者の表現を平均的な方向へ寄せる作用も持つ。
- 「賢い背景」は中立ではなく、何を学習したかという出自を引きずっている。
——キーボードを打っていると、次の単語が先回りして薄く表示される。あれは何が起きているんですか。
毎回、小さな推論が走っています。これまで打った文字列を手がかりに、次に来る可能性が高い語をモデルが予測している。表示が薄いのは「候補にすぎない」という合図で、確定はあなたに委ねられている。気づかれないほど速く、背景で動いているのがこの処理の特徴です。
補完は予測である
——予測というと、占いみたいですね。
もう少し地味です。やっていることは、大量の文章から「この並びの次にはこの語が来やすい」という統計的な傾向を学び、それを当てはめているだけです。2017年にVaswaniらが発表した「Attention Is All You Need」という論文が提案したTransformerという構造は、文中のどの語がどの語に関係するかを効率よく捉えられるようにした。以降、補完や翻訳の質はこの仕組みを土台に大きく動きました。
——では、もう人間より賢いのでは。
そこは慎重に切り分けたい。次の語をうまく当てることと、意味を理解することは同じではありません。モデルは「もっともらしさ」を計算しているのであって、正しさを保証しているわけではない。だから自信ありげに誤った補完を出すこともある。速くて流暢なほど、誤りに気づきにくくなる、という落とし穴があります。
背景で何が消費されているか
——速いと言いますが、毎回計算しているなら、けっこう重いのでは。
鋭い点です。だからこそ、補完のような処理は手元の端末で推論を完結させる方向と、サーバーへ問い合わせる方向のあいだで設計が揺れます。手元で動かせば応答は速くプライバシーも守りやすいが、載せられるモデルの大きさに限りがある。サーバーに送れば賢いが、通信の遅延と、入力内容が外に出るという論点がつきまとう。どちらが正解という話ではなく、何を優先するかの配分です。
平均へ寄せる力
——便利なのは確かなんですが、最近、自分の文章が誰のものか分からなくなる感覚があって。
その違和感は記録しておく価値があります。補完は「多くの人が書きそうな続き」を提示する。便利な一方で、提案を受け入れ続けると、表現が無難で平均的な方向へ静かに引き寄せられる。もっとも、これはモデルの欠陥というより設計の必然です。多数派の傾向を学んだものは、多数派へ寄せる。裏を返せば、提案を断る判断こそが書き手に残された領域だ、とも言える。
——中立な道具ではない、と。
ええ。背景で動く推論は、何を学習したかという出自を引きずっています。学習データの偏りは、補完の偏りとして表に出る。便利さに身を任せること自体は悪くない。ただ、薄く表示されるあの一語が「どこから来たのか」を時々思い出すだけで、道具との距離の取り方は変わります。賢い背景は、中立な背景ではない。そう意識しておくことが、いちばん地味で確かな使いこなしだと思います。
出典
- Vaswani et al.「Attention Is All You Need」（2017年、Transformerの提案）
- 言語モデルによる系列予測に関する一般的なML文献