p値とは、私なりにキャッチーな言い方をすれば
p値とはマグレ確率です。
本当は帰無仮説を棄却して、みたいな汎用性があるんですが
基本的には帰無仮説ってほとんどA, B間に差異なし、というもので
A, B間に結果で差でたけど、これってマグレ！？というのがp値です。
例えばp値が0.03でした。つまりマグレな確率は3%で、かなり低い、。はいマグレではないよ！
つまり統計的に有意よ。っつうことです。
以下の私調べの軌跡は私が読んで、まとめようとした結果です。
逆に混乱させるかもしれませんが、帰無仮説と、よくわかっていない人は一通り思考が回るで
いいんじゃないでしょうか。
では、
ABテストとは
母集団Xに対して、
母集団XをAとBに分けます。
AとBの比は任意です
その上で AとBに対して測りたいものを決めるいたとして
例えばクリック率を測りたいします。
便宜上、AとBを90%と10%としたとします。
この条件でAとBのメトリックを比較したところ
Aはクリック率 5%で
Bはクリック率 5.5%でした
と。さて、このB群の結果は果たして、A群の結果よりよかったと統計的に言えるのでしょうか。
つまり、B群で試験的にだしたこの10%での露出は、全体に適応してもよいものであるといえるでしょか。
その答えの自信を大いにあげてくれるのがp値です
p値とは
帰無仮説が正しいとした時に、その事象が起こる確率です
帰無仮説とは棄却したい仮説のことで
手っ取り早く言うと
こうなって欲しいと思うことの反対のことです。
クリック率の例でいうと
こうなって欲しいのは実は、B群のクリック率のほうが良い！ということになれば嬉しい（とします）
すると帰無仮説は「A群とB群のクリック率は変わらない」というものです。
そして,実施は+0.5%の差でB群のほうが良いクリック率という結果になりました。
これをもって、たとえばp値が0.05だったとしたら
p値の意味は帰無仮説が正しいとした時に、その事象が起こる確率ですから
「A群とB群のクリック率は変わらない」が正しいとした時に,B群のほうが+0.5%よくなる、という事象が認められる確率は5%ほどである！
ということです。
そしてこれを、このように解釈すれば
5%とという低確率でしか起きない事象が、今実際に起きたのだ！これは、たまたまこの低確率の実証がおこったのではなく、そもそもの前提＝帰無仮説、つまりは「A群とB群に差異はない」ということ自体、間違っているはずだ！
というふうに
解釈しました。
うむ、そうだそうだ。それゆえに
帰無仮説は棄却されてp値が0.05以下が得られたので統計的に有意である
と主張できるのである。
いんや
逆ではないだろうか（疑問）
ここまで書いたあとで、なんだが
P値って一体何者という記事ではp値をこう説明している
P値とは帰無仮説下で、その結果より極端な結果が出る確率
とあります。
A群,B群差異なし、といっているのはつまり
クリック率はほぼ同じだと言っていてるのだが！
クリック率がほぼ同じになるような結果になる確率は5%以下しかない！つまりは前提（帰無仮説）が間違っているのだ
という解釈。。。。
どっちが正しいんだ。。。。
５％＝＞+0.5%でB群がよくなる確率
5% => A群とB群がほぼ同じになる確率
どっちも捉え方が違うけど
一応、両方俺には説得力をもっているのだが。。。。
正解はどっち？！
改めてググる。p値とは
とあったり
うん。でもこれが一番わかりやすいかな。A, Bに違い出た。これはマグレでしたという確率、たとえば3%だったら
3％の確率でこれはマグレでした。
か
90％の確率でこれはマグレです。もはや、それはマグレではない。つまり帰無仮説正しい。
そんな感じです。
ちょっと脳みそが棄却というロジックに馴染んできた感はありますが。
p値は、その違いがマグレ（偶然である）な確率
とp値はその差はマグレやで！どれくらい！？pパーや！はい。これがp値。
逆に言えば
その差が本当の差である確率は1-pなのでpが低ければ低いほど1-pの確率は高くなり
つまりは
その差が本当の差であるっということになります。
p値のpとはprobabilityのpです。
ではなんのprobability;確率なのか？
それはズバリ、二項分布確率の累積確率のP(robability;確率)です
p値とは、帰無仮説が正しいとした場合に、その結果より極端な結果が出る確率です。
そして、
その中身は二項分布確率の累積確率です！
P値って一体何者という記事でに高確率の表がのっていますが、
コインを10回なげて5回表が出る確率自体は,２４％とかなのですが
累積確率つまり、
コインを10回なげて0回表が出る確率と、
コインを10回なげて1回表が出る確率と、
コインを10回なげて2回表が出る確率と、
コインを10回なげて3回表が出る確率と、
コインを10回なげて4回表が出る確率と、
コインを10回なげて5回表が出る確率を
ぜ〜んぶ足すと、62%くらいになります。
というものです。p値と言い直せば、p値は0.62です。
帰無仮説、表が出る確率は50%であるという、仮説が正しかった場合、
つまりは、普通のサイコロの場合、
結果のように10回中5回表が出る確率（もしくはそれようり極端な結果）は62%でしたとと。とすると、帰無仮説が正しそう！ってなるわけです。
この例では見事に帰無仮説が棄却されなパターンをおしえてくれているので
大変参考になります。
逆に、10回中1回しか表が出なかったら、
そんな確率は1%と小さく、帰無仮説の前提では、ありえないような数字ですので、これって、帰無仮説が間違ってんじゃない！？いや間違ってるよ、絶対、というふうに棄却され、
これで俗にいう統計的に有意と
いえる感じです。
最後に、
以上です
参考