ABテストをおこない
B群の結果がよくなることを期待しています。しかし
結果、意図とは反対にB群がすこーし、ほんのすこーしだけ悪くなったとします。
ちなみに、実験のサンプル数を十分に大きいとおもっています。
その時のp値は0.97でした。
あなたは次にどのよな行動をとりますか？
１、サンプル数を増やして再実験
２、素直に結果を受け入れる。（つまりはB群はあんまり良くないです、と統計的に言える）
どちらでしょうか？
私は、最初はさらにサンプル数を増やすのがいいと思ったのですが、一通りp値を勉強した今は
逆に、p値が高いとうことは
出た結果が例えば、AB間差異がほとんど見られなかった場合
A B間でこのほんの些細な差異は、この事象はマグレな確率は97％である。
（マグレ確率の所以はこちらをチェック）
つまりはこのほんの些細な差異はマグレであるとうことだ。
帰無仮説は棄却されず、A, B間での差異はない
と言える。
つまり、実験的には多くの場合、有意差認められず。
ということ
なるんじゃなからおうか。ということで２。を選択します。
ちなみにp値がわからない人は、少数サンプルでABテストするときのp値の理解をしっかりとしたものにするを参考にしてください。
他のひとにきたところも
ほとんどの人が、統計的に差はなかったという
判断をするようでした。
しかし、
ベテランは計画が十分であったかどうか、
この結果がでて、すぐに判断できないことじたいが問題だとう
プロフェッショナルな意見もおおかったです。
以上です。