統計学なんもわからん状態でA/Bテストをするにあたり、有意水準という言葉の意味がよく分からんかったのでメモ🔰

結論

（僕なりの言葉でまとめてみるとこんな感じ。）

有意水準とは、特定の場合でAとBの結果に差があるかどうかを決定するためのしきい値です。

特定の場合とは、差がないと判断する範囲内の中で、発生する可能性が極めて低い位置に結果が分布した場合です。つまり下記で言うと、赤の範囲が有意水準(α, 偽陽性の確率)です。

f:id:yum_fishing:20210712170808p:plain

参照: https://techlife.cookpad.com/entry/2016/09/26/111601

この図は、200回のイベントに対するCVR10%の分布を表していて、おおよその結果は20になることがわかります。ただし、CVRが10%でも赤い部分の範囲に結果がくる場合もあります。そのような場合にAとBの結果に差があったかどうかを決定するのが優位水準です。つまりBがAと違う結果であると言える場合は下記の二通りになります。

Aの範囲内にBの結果が分布していない
Bの結果がAの有意水準内に分布している

ちなみに、この有意水準はサービスの検証などでは一般的に5%という数字が使われることが多くありますが、人の命などが関わる医療の分野では極めて低い数字が用いられるようです。その理由としては、この有意水準内で得られた結果（第一種の誤り）が人体に影響を与える可能性があるからです。ですので、医療の分野に置いてはこの水準を低く設定し、第一種の誤りを少なくしています。

てな感じで本日は以上となりますが、また今度は今回の内容とは対局にある検出力（β, 偽陰性の確率）や第二種の誤りについて書いていこうと思います🍺