消費者モデルを評価するとは


最近の気づきについて書こうと思います。

私たちは「消費者行動予測」の技術を研究しています。これはマーケティングにおけるさまざまなコミュニケーションを最適化するためのもので、消費者を理解しそれに合わせたメッセージの設計を可能にするものであります。消費者理解についてはこれまでにSocietasという消費者の価値観構造とその類型化の枠組みを提案しています。この枠組みから消費者行動の予測モデルを量産しようとしているのですが、各モデルの良し悪しをどのように評価したら良いのだろうか?について悩んでいました。

ここで言う「消費者行動の予測モデル」とはベイジアンネットワークで記述されるもので、ベイジアンネットワークの評価尺度についてはMetrics for evaluating performance and uncertainty of Bayesian network modelsという論文に列挙されていますが、どうもピンときません。

他方、Societasの類型を実際に活用しようという事例も生まれています。一つは類型ごとにメッセージを変えることで効果(クリック率とかコンバージョン率)を上げようという試みで、以下のような手順を踏みます。

  1. 顧客の類型を定義する(顧客の一部にSocietasアンケートを取りその結果を分類)
  2. コミュニケーション対象全体に対し類型を当てはめる(アンケートを取っていない人については行動履歴データ等からどの類型に近いか予測する)
  3. 類型の特徴を記述する(文章やキーワードの列挙によって)
  4. 記述された特徴から類型ごとに最適化したメッセージを設計する

この手順においてモデルとは1~3においてそれぞれ別のものが使われていると考えてください。それらは最終的にメッセージの反応率が上がるかどうかで評価されるわけですが、実際にやってみて評価するのはコストがかかる上に結果を得るまでに時間がかかるため、そう何度も行えるものではありません。しかも最終的な結果を見てもどのモデルが問題だったか見分けることができません。

どうすれば良いのかあれこれ考えているうちに、


この場合顧客について知りたいこととは、その人に送るメッセージをどのように設計するかを教えてくれる情報

ということに気づきました。理想的には顧客の類型が決まるとその人へのメッセージが無限の可能性から一意に定まることになるというイメージです。つまりモデルは「顧客の類型」と「あり得るメッセージの可能性」の相互情報量を最大化すれば良いと言えます。上記手順では3から4が定性的なのでこのように全体を定量的に評価することができなかったのです。

さて相互情報量を計算するには「あり得るメッセージの可能性」というものを確率的に表すことが必要です。一番単純なのはメッセージの案がA案とB案の二つあり、どちらかを選ぶという状況です。より複雑にはメッセージを構成要素に分解し、それぞれが有限の選択肢を持っているという構造を考えることもできそうです。ともかく何らかのモデルを仮定すれば計算できるでしょう。

ただ、「ありうるメッセージの可能性」のモデルはどう作ればいいのでしょうか?メッセージはどのように構成要素へ分解すれば良いか。また各構成要素の(有限な)選択肢をどう定義するか。さらにそもそも仮定したモデルは妥当なのか?という問題も残ります。妥当なのか?というのは設計したメッセージで効果が上がるのかということですね。何だか議論を先送りにした感が否めません。

しかしながら、最初に書いたように私たちの研究はコミュニケーションを最適化するためのものであり、最終的にはメッセージの自動設計ができるものを目指していました。何となく難しそうなので私の中では将来構想の域を出ていなかったのですが、ここまでで分かるように消費者モデルを評価するためにも、メッセージのモデル化を避けることはできません。両方同時に取り組むべきだったのだというのがもう一つの気づきでした。

ところで、この話とは別に私のデスク周辺でvalidationとverificationの違いは何か?という会話がありました。Validation と Verification の違いからの孫引きですが、ソフトウェア開発においては


Validation ensures that “you built the right thing”.
Verification ensures that “you built it right”.

と区別されるようです。今回の話にあてはめるとモデルの性能を論じるのはverificationで、モデルの妥当性や有用性を論じるのがvalidationだと言えるでしょう。二つを区別しなければいけない事、validationが本質的に重要であること、という気づきを挙げて本エントリを締めたいと思います。


This entry was posted in ベイジアンネットワーク. Bookmark the permalink.