『データマイニング』に関する記事

SQLにおける時間の分割と移動

データマイニングのためや、もっと単純な集計でも良いのですが、月や年で区切って集計するということがしばしば必要となります。今回はSQLでの実現方法について書きたいと思います。

ただし、単純にgroup byするという話ではありません。ここではある期間・区間において(以下区間とは1か月間や1年間などの集計単位、期間とは過去5年分など集計範囲を指すことにします)

事象の発生回数(例:購買回数)
その期間、正確には期間中のある時点、における状態(例:年齢や顧客ランク)
数値の合計(例:売り上げ合計)

といったものを計算することを考えます。
続きを読む...

「オリンピック」とつぶやいたのはどんな人?ーKDDI研究所との共同研究について

こんにちは。胡です。
弊社では昨年より、KDDI研究所とTwitter分析に関する共同研究を行っています。
今日は、この共同研究について少し説明させて頂きます。

弊社におけるTwitter分析
研究背景
我々は、消費者行動に関するインサイトを知るためには、デモグラフィック属性に加えて、心理的、精神的な属性 (価値観) が必要だと考えております。
続きを読む...

前処理にPostgreSQLを使う:環境情報の切り出し

こんにちは。2014年の初投稿となりますが、あまり新年とは関係ありません。

データ分析とその前処理について、個人の環境を作るだけなら問題になりませんが、チームで共有したい場合に色々と考えることが出て来ます。一番面倒なのは、環境を共有する必要があるが、環境そのものを共用することはできない(会社が違う)、しかも全く同じ環境をコピーする訳にはいかないという状況です。
続きを読む...

TwitterからのSocietas推定: 言語的成分の面白さ

我々は、価値観に基づいた人のモデル化を行い、Societasというマーケティング担当者にとって新たなインサイトを提供できるモデルを構築いたしました。また、この新しい価値観モデルをさらに人の発言と結び付けることにより、人の心を「読む」方法を探索しております。そこで、Twitterから人の価値観を推定することを試み、Twitter-Societasモデルを提案いたしました。
続きを読む...

ラフ集合と感性、読書メモ

最近、感性工学とラフ集合について気になっていたので、ラフ集合と感性―データからの知識獲得と推論とラフ集合の感性工学への応用を読んでいます。

グループ内の勉強会で簡単に紹介する機会があったので、まださわりまでですが、読書メモをまとめました。

ラフ集合と感性 from Yoshihide Nishio
感性工学は製品デザインなどで実績のある手法です。
続きを読む...