LDA for Pokemon analysis

こんにちは。これは Machine Learning Advent Calendar 2016 の 23 日目の記事です。 ここでは LDA 解説し、ポケモンのデータを用いて実験してみます。

LDA

LDA は Latent Dirichlet Allocation の略で、日本語だと「潜在的ディリクレ配分法」です。 トピックモデルと呼ばれる手法の 1 つで、文書解析を主として提案されました。 文書がどのような話題（トピック）で構成されているかを解析するモデルです。

モデル

LDA は「トピック分布」と「単語分布」を用いて文書生成をモデル化します。

まず、「トピック分布」から説明します。 トピック分布というのは、文書が持っているトピックを割合の形で表したものです。 たとえば文書 A は 「政治トピックが 10%、スポーツトピックが 50%、医療トピックが 40% の文書」とかです。

同様に、トピックは単語分布によって表すことができると考えます。 単語分布はトピックに関連する単語を割合の形で表したものです。

このように、文書をトピック分布で、トピックを単語分布で表現することができました。 実際のテキストコーパスを用いて LDA を「学習」することで、各文書のトピック分布と各トピックの単語分布を求めることができます。 学習によって得られたトピック分布が、文書の扱っている話題の割合を表すというわけです。

ただし、LDA はトピックがどういった話題に対応しているのかを直接には教えくれません。 トピック分布は「トピック 1 の割合 40%、トピック 2 の割合 60%」のような形で得られますので、 トピック 1 が実際にどのような話題であるかは我々が解釈しなければなりません。 そこでトピックの単語分布を確認し、「ヒット、ホームラン、盗塁などの単語の割合が多いから、これは野球トピックだな」とか 「選挙、首相の割合が多いから、これは政治トピックだ」などというように解釈します。

学習

では、どのようにしてトピック分布と単語分布を求めるのでしょうか。

LDA の生成過程について確認してみましょう。 トピック分布と単語分布が決まっていれば、次のようにして確率的に単語を生成することができます。

1. まず、トピック分布に基づいてトピックを 1 つ選びます。
   10% の確率で政治トピックが、50% の確率でスポーツトピックが選ばれるといった具合です。
2. 次に、選ばれたトピックの単語分布を参照して単語を選びます。
   同様に 0.3% の確率で手術、0.1% の確率で問診......といった具合です。

これを繰り返すことによって単語列、すなわち文書が生成できます。

さて、文書はランダムに生成されますが、どのような文書が生成されやすい（もしくは生成されにくい）かは、トピック分布と単語分布によって決まります。 ということは、実際の文書コーパスを生成する確率が高いトピック分布・単語分布が存在するはずです。 そのようなトピック分布・単語分布を求めるのが LDA における学習です。

LDA の注意点ですが、学習によって「医療」「スポーツ」のような話題を捉えたトピックが得られるという保証はありません。 これは LDA の学習が正解データ（文書がどのような話題であるか判っているデータ）を必要としない、教師なし学習だからです。 もちろん「医療」などのトピックが得られる可能性もありますし、たとえば文書を書いた人によって単語の出現傾向が違っていれば、それを捉えたトピックが出現するかもしれません。また、文書コーパスによっては「標準語」「関西弁」といったトピックが出現することも考えられます。 このように様々なトピックが考えられるのが LDA の面白いところであり、難しいところでもあります（半教師あり LDA という発展もあります）。

ポケモンへの応用

LDA は文書解析に限らず、多方面に応用されています。

たとえばオンライン書店に会員登録しているユーザを文書、そのユーザが購買した書籍 ID を単語とみなして LDA に応用することができます。 あるユーザが購買した書籍 ID（単語）の出現傾向は、ユーザ（文書）の趣味や嗜好によって変化するでしょうから、 ユーザのトピックとして「SF 好き」や「ファンタジー好き」得られると考えられます。 画像を文書、画像中の特徴量を量子化して単語とし、画像に写っている物体を検出する研究もあります。

ここでは「文書と単語」を「ポケモンとポケモンの技」に置き換えて実験してみます。 ポケモンの覚える技は、そのポケモンのタイプ属性によって変化します。 水タイプのポケモンは「みずてっぽう」を覚える傾向が、電気タイプのポケモンは「10 万ボルト」を覚える傾向がありますね。 ポケモンの「技」を LDA に適用するとトピックとしてポケモンの「タイプ」が得られそうです。

ほかにも、「しっぽをふる」や「アイアンテール」などの技は尻尾を持っているポケモンにしか出現しません。 このような特徴を捉えたトピックが現れる可能性もあります。

実験

ポケモンの技リストを用意して LDA に適用します。

実装

JavaScript で実装しました。 Collapsed Gibbs Sampling によって学習しています。 コードは後日公開します。

データセット

全世代のポケモンを利用します。 技は「たまごわざ」「わざマシン」含めポケモンの覚えることのできる技すべてを扱っています。

実験条件

LDA のハイパーパラメータは

• トピック数 = 50
• alpha = 0.1
• beta = 0.02

を用いています。 パラメータの意味については参考文献を参照してください。

実験結果

タイプ分類を捉えたトピック

トピックごとの単語（技）分布から確認していきましょう。 まず、わかりやすい例から。

エスパータイプのトピックですね！

「フラッシュ」「じこあんじ」「シグナルビーム」は分類上はエスパータイプではありませんが、 これらの技を覚えるポケモンがエスパー技を覚えやすいため、このようなトピックになったのだと思われます。

正式な分類より「それっぽい」分類が得られているのではないでしょうか。

続いて、同様にタイプの傾向が見られたトピックを挙げます。

左から「ひこうタイプ」「ほのおタイプ」「でんきタイプ」「くさタイプ」のトピックが得られました。

ポケモンの特徴を捉えたトピック

タイプ分類とは異なったカテゴライズが得られたトピックを紹介します。

上位 5 件がすべて「爪」っぽい技のトピックです。 ここで、ポケモンごとのトピック分布を集計し、このトピックの割合が多いポケモンをリストアップしてみます。

「チョロネコ」「ニャース」などネコ系をはじめとするケモノっぽいポケモンが多いですね。
ダグトリオはよくわかりませんが......ひっかく・きりさくなどの技を覚えるようなので、爪がある設定なんですかね。

続いて似た傾向を持つトピックを紹介します。

「爪」と似ていますが、こちらは「つるぎのまい」「みねうち」など剣っぽい技が並びます。

「ニダンギル」そのまんま剣をモチーフにしたポケモンですね。 ヘイガニ・シザリガーなどのカニ・エビ系が思ったより多い。 剣というよりは「ハサミ」でしょうか。

続いてはこちら。

あまえる、おんがえし、うそなき.....キュートっぽい。

小動物系！ 正直なところ、わざだけでこういう分類が得られるとは思ってませんでした。想像以上です。

アンノーンは完全にノイズとなっています。 覚えられるわざが「めざめるパワー」しかない上に、「めざめるパワー」はほとんどのポケモンが覚えることのできるわざですので、 どうしてもうまく学習できないポケモンです。 前処理で削除しておいてもよかったですね。 自然言語処理では低頻度語・高頻度語をノイズとしてあらかじめ削除したうえで解析することが多いです。

ポケモンごとの解析

ポケモン数が多すぎて全ては確認できないので、いくつかに絞って見ていきます。

でんきタイプを捉えたトピック 21 が 35% で 1 位になりました。

3 位のトピック 1 はかくとうタイプのトピックでした。ピカチュウは格闘もいける。

2 位のトピック 33 は何でしょうか。

ちょっと解釈できそうにないですねえ。 こういうトピックもあります。

リザードンの場合は先ほどのトピック 33 が 1 位。 次いで トピック 14, 17, 19 の割合が高いです。

ドラゴン、ひこう、ほのおタイプのトピックですね。 リザードンの特徴が捉えられています。 トピック 33 の解釈ができないのが悔やまれます。

まとめ

LDA を用いてポケモンデータを解析し、ポケモンのタイプにとらわれない多様な分類ができることを確認しました。 このように、LDA は「文書と単語」の関係性を見出すことで様々な分野に応用できるモデルですので、 身近な場面で役に立つことも多いかと思います。

本記事で LDA に興味を持っていただければ幸いです。

参考文献

書籍

トピックモデルを扱う日本語書籍。 トピックモデルの立ち位置から学習の詳しい計算まで詳細に学べます。

ウェブサイト

• 人工知能学会 私のブックマーク Vol.27 No.3
  LDA のまとめとリンク集。

• 離散データの確率的トピックモデル
  LDA をトピックモデル全体の流れのなかで解説したプレゼン資料。わかりやすい。

論文

LDA の提案論文と Collapsed Gibbs Sampling の論文。

• Blei, D. M., Ng, A. Y., & Jordan, M. I. (2003). Latent dirichlet allocation. Journal of machine Learning research, 3(Jan), 993-1022.
• Griffiths, T. L., & Steyvers, M. (2004). Finding scientific topics. Proceedings of the National academy of Sciences, 101(suppl 1), 5228-5235.