ルールベースと機械学習 — レコメンドの二つの系譜
要点
- レコメンドには、人が条件を書くルールベースと、データから関係を学ぶ機械学習という二つの系譜がある。
- 2003年のAmazonの論文が示したアイテム間協調フィルタリングは、後者の代表的な土台になった。
- 2009年のNetflix Prizeは、予測精度の追求が必ずしも事業上の最適と一致しないことも示した。
- 現実の推薦は両系譜の混成であり、説明できる推薦と当てる推薦の間で揺れている。
「この商品を見た人はこんな商品も見ています」。買い物の画面で見慣れたこの一行が、どうやって選ばれているかを比べてみると、背後にまったく性格の異なる二つの考え方があることが見えてくる。一方は人が明示的に条件を書く方式、もう一方はデータから関係を学ぶ方式である。両者は対立しながら、実際には混じり合って動いている。
ルールベース：人が条件を書く
最も素朴な推薦は、人が条件を手で書くものだ。「同じカテゴリの売れ筋を出す」「この本を買った人にはシリーズの続刊を勧める」。条件は明示的で、なぜその推薦が出たかを説明できる。小さな店が棚を組むときの理屈に近い。
この方式の長所は透明性にある。出力の理由が言語化できるため、意図しない推薦が出たときに原因を追える。短所は規模だ。商品が数万、数十万と増えると、人が条件を書き切れなくなる。組み合わせの爆発に、手作業は追いつかない。
機械学習：データが関係を見つける
もう一方の系譜は、利用者の行動データから関係を学ぶ。2003年にLindenらがIEEE Internet Computingで発表した「Amazon.com Recommendations: Item-to-Item Collaborative Filtering」は、その代表的な土台となった論文である。同論文が示したのは、利用者ではなく商品同士の類似を事前に計算しておくことで、大規模なカタログでも実用的な速度で推薦を返せる、という方式だった。
この方式は、人が気づかない関係を見つけることがある。一見無関係な二つの商品が、行動データのうえでは強く結びついている、というように。ただし、その理由は説明しにくい。なぜ勧めたのかと問われても「データがそう示したから」としか言えない場面が出てくる。透明性と引き換えに、規模と発見力を得た格好だ。
精度は目的か
機械学習による推薦は、しばしば予測精度の競争として語られる。2009年に決着したNetflix Prizeは、その象徴だった。映画の評価予測の精度を一定以上改善したチームに賞金が出るこのコンペは、協調フィルタリングの研究を大きく前進させた。
もっとも、後日談はこの物語に陰影を加える。優勝した手法は精度の面で優れていたが、運用に乗せるには複雑すぎる側面もあった。予測精度の最大化が、そのまま事業上の最適とは限らない。裏を返せば、少し精度を落としても説明でき運用しやすい推薦のほうが、現場では選ばれることがある。精度は重要な指標だが、唯一の指標ではない。
混ざり合う現実
では二択かと言えば、そうではない。実際の推薦システムは、両系譜を組み合わせる。新商品でデータがまだ少ないうちはルールで補い、データがたまれば学習に委ねる。説明責任が重い領域では理由を言える方式を選び、発見が価値を生む領域では学習に任せる。背景で動く推論がそうであるように、推薦もまた「何を学んだか」という出自から自由ではない。
レコメンドの二つの系譜は、優劣の物語ではなく役割分担の物語だ。当てることと説明できることのどちらを重んじるか。その問いに正解はなく、扱う領域ごとに配分が変わる。背景で誰かの選択肢を狭めたり広げたりしているこの仕組みを、当てる精度だけで評価するのは、片目で見ているに等しい。
出典
- Linden et al.「Amazon.com Recommendations: Item-to-Item Collaborative Filtering」（IEEE Internet Computing, 2003年）
- Netflix Prize（2009年、評価予測コンペティション）に関する公開記録