読者です 読者をやめる 読者になる 読者になる

ログマニアックス

日々学んだこと、気づいたことをメモ代わりに残していければ。カバー範囲は割と広めです。

アクセス解析における検証の重要性

149752_1047

アクセス解析を導入していく、あるいは活用を推進していく上で、
一方で繰り返していることは、アクセス解析を活用した上で、それを盲信しないことです。

何度か、紹介させていただいた通り、
アクセス解析のデータには不具合が発生することもあります。

Keep Your Web Data Clean and Safe to Drink - Part I

Keep Your Web Data Clean and Safe to Drink - Part II

という二つの記事から、データ検証の重要性に関して考えてみます。

 

なぜデータの検証が必要なのか

ログ解析のデータは様々な目的で使われます。
データの検証をしっかりとすることで、

  • 誤ったコスト費消を防ぎ
  • 誤った洞察をすることを防ぎ
  • 火消しの検証の実施を防ぎ
  • 盲で空をとぶことを防ぐ

ことが、できます。

特に初期の段階では、3のポイントが重要です。
導入のステップの段階で、きちんとデータが取得でき、それが信頼にたるか
確認しておく必要があります。

実際、僕のグループでは初期段階で検証を徹底していなかったため、
分析に扱うデータの検証にデータの分析自体よりもかなり多くの時間をかけてしまうことがあります。

導入時にきちんと検証を行うこと、Quality Assuranceの徹底が求められています。

そうでないと、いわゆる、garbage in, garbage out、
つまり「ゴミからはゴミのデータしかでない」ということになってしまいます

 

完璧な人などいない

完全な実装は非常に難しいです。
仮に詳細な実装テンプレートが用意されていてもそうですし、
分析内容が複雑になれば、当然実装・検証に求められることも増えていきます。

正確性を担保する過程で、必要となる努力は増加していきます。

例えば、事業システムでわかるような精緻なデータとは必ず一致しませんが、
その原因が説明できるものと説明できないものがどうしても発生しています。

そこで、上図のような考え方が大事になってきます。

検証を行うことのゴールは正確性よりも精度が高いことが望ましいかもしれません。
つまり、例え、事業ログとずれていても、そのずれが一定であれば、
傾向データとしてアクセス解析のログデータを使うことの信頼性は高まっていると言えるでしょう。

 

正確性にこだわるよりは...

事業ログ・注文データなどの実データにアクセス解析のデータを一致させることは難しいです。
場合によっては、実装の努力が見合わないこともあります。

大事なことは、数値の取得方法・実装方法を利用している人間が理解していること。
そうでないと、今日数値があっていたとしても、明日データがずれた際にぶれてしまいます。

実装を理解してもらう、
そして、いずれにしてもビジネス要件はいずれ変わっていくものであり、
実装を自ら変えていくこと。

実装を変えていくのであれば当然それに対する検証も必須になっていく。。。

正確性にこだわることは非常に大事ですが、
それ以上に大事なことは実装・数値の定義を確認し、
利用者で共有できる環境ではないでしょうか。