2010年8月23日月曜日

A/Bテストの信頼性

ぎゃーーー!!!
これは確かに恐ろしい…↓

これは恐ろしい!全く同じ画面でA/Bテストを実施したら・・・

同じ画面でA/Bテストをしても差異が発生する、というお話です。
それ自体は当然起こりうるというか、母数がそんなに多くなければ起きなきゃおかしい話なのですが、
実際に数字として出されると恐ろしい…

ところでこの方、自分もTwitterでフォローしてる ヤコブ・ニールセンBot の作者さんでした。

正答率3%! ビービットの傑作(?)オリジナル・インターン選考問題
あ、ビービットの方なのか。