【感想】ビッグデータ探偵団

おもしろデータトピックの本。ビッグデータ分析の技術的な難しいことはさておき、どんなアウトプットが得られるかのわかりやすい事例集。紹介されているトピックは
・新入社員は、4月にお作法、5月に辞めたい、6…月に恋活を検索する
・日本人が最も疲れているのは17時
・日本を東京と東京以外に分けて、東京駅までの所要時間日本地図をつくる
・一人称表現による分類。あたしあなた系のaikoとか
・乗換検索件数から渋滞混雑予測
・災害時の隠れ避難所続きを読む

Yahooで検索ってまだ一般的なのかな…。
マップといい、正直データの集まり方としてはGoogleに負けてるのでは、という気もしてるけど、こういった形で集めたデータをどう使ってるのか見せてくれると親し…みが湧きやすいよね。
なんかこう不気味な感じがするビッグデータ収集だから、こういうライトな読み物はありがたい。
コロナ前の本だからコロナ禍での活躍ぶりも読んでみたい。
それにしてもYahooの社員の煌びやかなことよ。
本書いてる人は教授だって！続きを読む

データを解析し、読み取る事の面白さがヒシヒシと伝わる。ただ、インターネットエンジンの頻出検索ワードの月別分析なんかを見ていると、結局、人間の行動は季節性や社会性、文化圏の中で、似たり寄ったりの関心に基…づく事が分かる。データは集団の傾向を示すが、個々のサンプルとなると、実はそう変わらない。自分が必要な事は、他人も必要。自分が感じる事は、他人も感じる。

この画一性や平均的なモデルを再確認する事も面白いなと思うし、あるいはサンプル数が少ないユニークな存在をデータは見落とすという事も興味深い。こうした群衆心理を見抜くのがビッグデータの一機能だとすれば、データに操られる事はなくとも、社会制度や同調圧力に操作された群衆をデータで把握する事はできるのだろう。恐ろしい社会実験の可能性を秘めたもの、という気もする。

形態素解析、スプリアス・コリレーションと呼ばれる擬似相関などの専門用語も勉強になった。まさにサバの漁獲量とCDの流通量が擬似相関と言うのは、笑える。しかし、果たしてこれが擬似と断定できるのか、データを深読みできる力も必要だ。続きを読む

Yahoo!に集まるビッグデータの分析班の活動を紹介。検索ワードや検索量のデータをテキストマイニング、相関分析や回帰分析などの簡単な分析方法によって、選挙の議席数予測、景気動向予測、イベントの混雑や災…害時の隠れ避難所、時期別妊婦の悩みなどを予想している。

ただ、ビッグデータを弄れることは羨ましいけど、秘匿の独占データを用いて検証できない分析を見せられてもなんだかという感じ。続きを読む

取得したデータの解釈と見せ方について、勉強になり、データ分析の面白さを感じられる内容だった。
一方、Yahooにいるからこそできる話で、ここまでのデータを持たない企業で働く身として、実践的に役立つ内容…では無かった。続きを読む

ビッグデータからどんなことがわかるかを知りたい人におすすめ

【概要】
●ビッグデータは素材であるに過ぎない
●いかに目的をもって解析するかが重要
●ビッグデータがその本来の価値を発揮するためには、生…身の人間の知からが不可欠

【感想】
●関心をひく内容はほとんどなかった。
●ビッグデータを活かすには人間による解析が必要と理解した。
●「Yahoo!検索」の全検索キーワードのち、「景気動向一致指数」の推移と「相関」の高いキーワードを探索した、とありながら、実際に指標の作成に用いた具体的なキーワード名を明かすことはできないとのこと。
　なぜなら、キーワードを挙げると、それによって、実際の景気に影響を与えてしまいかねないからだそうだ。
　では、読者は何をもってこの記載事項の事実を信じればよいのだろうか、記載されている内容の確証を得られないのは残念だった。続きを読む