いいものをつくろう

CTOの日記

statistics

大量のサンプルデータでABテストしてもp値が低かった場合どうすればいい

更新日:

ABテストをおこない

B群の結果がよくなることを期待しています。しかし

結果、意図とは反対にB群がすこーし、ほんのすこーしだけ悪くなったとします。

ちなみに、実験のサンプル数を十分に大きいとおもっています。

その時のp値は0.97でした。

 

あなたは次にどのよな行動をとりますか?

1、サンプル数を増やして再実験

2、素直に結果を受け入れる。(つまりはB群はあんまり良くないです、と統計的に言える)

 

どちらでしょうか?

 

 

 

私は、最初はさらにサンプル数を増やすのがいいと思ったのですが、一通りp値を勉強した今は

 

逆に、p値が高いとうことは

出た結果が例えば、AB間差異がほとんど見られなかった場合

A B間でこのほんの些細な差異は、この事象はマグレな確率は97%である。

(マグレ確率の所以はこちらをチェック)

つまりはこのほんの些細な差異はマグレであるとうことだ。

帰無仮説は棄却されず、A, B間での差異はない

と言える。

 

つまり、実験的には多くの場合、有意差認められず。

ということ

なるんじゃなからおうか。ということで2。を選択します。

ちなみにp値がわからない人は、少数サンプルでABテストするときのp値の理解をしっかりとしたものにするを参考にしてください。

 

他のひとにきたところも

ほとんどの人が、統計的に差はなかったという

判断をするようでした。

しかし、

ベテランは計画が十分であったかどうか、

この結果がでて、すぐに判断できないことじたいが問題だとう

プロフェッショナルな意見もおおかったです。

 

 

以上です。

 

 

-statistics

Copyright© CTOの日記 , 2020 All Rights Reserved.