これまでの記事で、3群以上のパラメトリックデータの場合、一元分散分析で有意性を確認した後に多重比較検定の一つ、ボンフェローニ：Bonferroniで検定する方法や 3群以上のノンパラメトリックデータ のデータ間の有意性をエクセルで算出する方法（フリードマンの検定、クラスカル。ワリスの検定）を記事にしました。
しかし何度か記事にも書いていますが、ボンフェローニによる検定は有意差が出にくいです。
そこで今回はボンフェローニの改良型とされている検定方法、サイダック（Sidak）、ホルム（holm）、ライアン（Ryan）、そしてシェファー（Shaffer）に関して、実際にエクセルで有意差を算出し、比較していきます。
ちなみにシェファー（Shaffer）ですが、学会や論文でよく見るシェッフェ（Scheffé）とは別物ですので注意しましょう。
色々な多重比較検定をエクセルで算出してみる
では実際に、エクセルで ボンフェローニ（ Bonferroni ） 、サイダック（Sidak）、ホルム（holm）、ライアン（Ryan）、そしてシェファー（Shaffer）を順番に算出していきます。
まずはデータを用意しよう
多重比較の際、パラメトリックのデータ群なら「一元分散分析」、ノンパラメトリックのデータ群なら対応のある、なしに合わせて「 フリードマンの検定 」「クラスカル・ワリスの検定」を用いて、3群以上のデータについて群間に有意性が認められるかを確認しておきます。
確認出来たら、測定データに合わせて2群の比較、パラメトリック検定であればt検定（対応のある／なし、等分散性のある／なし）。ノンパラメトリック検定であればマン・ホイットニーのU検定（対応のない2群）か，ウィルコクソンの符号順位検定（対応のある2群）、を用いて、2群間のデータに関してp値を算出します。
今回は以下のように、A～Dの4群のデータに関して一元分散分析を行い、有意性を確認の上、t検定で検定したものを例として使っていきます。
この場合、A-B、A-C、A-D、B-C、B-D、C-Dの6通りのp値を算出します。
これで準備はOK。多重比較検定していきましょう。
ボンフェローニ（Bonferroni）で検定してみる
p値に組み合わせ数をかけるだけという、もっともシンプルな補正法です。
＝P値×組み合わせ（今回は6）
B-C、C-Dで有意差ありとされました。
※p値をそのまま使いたい！という方は教科書通りに有意水準0.05/N（N:検定回数）、今回なら0.05/6＝0.0083333・・＞p値（H列）で有意差ありと判定してもよいです。
個人的には図のようにp値に6をかける方がわかりやすいと思いますが、どちらでも結果（有意差の有無に関して）は同じになります。。
ホルム（holm）で検定してみる
こちらは操作が少し多くなりますが、有意差が出やすい改良版ボンフェローニ型多重比較です。
この方法は，p値が低いものから順に補正していくものです．
まずは最も低いB-Cのp値:0.004に6をかけます。
2番目に低いC-Dに5をかけます。
次はA-Bに4をかけます。
続いてA-Dに3をかけます。
ここで、0.0503となり、有意水準を満たさなくなりました。
というわけで，ここで終了です。
まあ今回は例題なので計算だけしておきます。
と言っても、A-Cに2、B-Dはそのままといった感じで、順番にかけていくだけです。
p値が小さい組み合わせから順に，かける数値を小さくしながら補正していく方法です。
かなり甘めに補正してくれるので、有意差が出やすくなります。
こちらも教科書的に最初は有意水準/N、そのあとは有意水準/（N-比較回数）、といった感じになっていますが、はっきり言って今回示したやり方の方がわかりやすいと思います。
サイダック（Sidak）で検定してみる
サイダック（Sidak）またはシダックと表記している場合もあります。
こちらも有意差がでやすいボンフェローニ型多重比較です。
＝1-（1-p値）^（組み合わせ数÷１）で求めます。
ボンフェローニの検定の改良版ということだそうです。
たしかにボンフェローニの検定よりはｐ値の判定が甘くなっています。
今回は4群なので，べき乗する値を「6/1」にしていますが，3群であれば「3/1」に，5群であれば「10/1」にします。
ライアン（Ryan）で検定してみる
ライアンに関しては、ホルムに少し似た方法ですが、補正をかけていく組み合わせの順番をp値の大小ではなく、平均値で決めます。
各群の平均値をまずは算出します。というか今回はこれを見越してすでに算出しています。
B＞D＞A＞C の順番に補正していきます。
今回はB-C、D-CとB-A、A-D の順になります。
補正の値を求める式ですが、わかりやすいように言葉で数式を示します。
ちゃんとした数式が見たい！という方は統計の参考書などを確認してください。
＝(群数×（（群数－それまでの検定回数）－１）÷２
「それまでの検定回数」に関しては、１回目の検定であれば０で計算してください。
これを対象のp値にかけます。
では実際にやってみましょう。
まずはB-Cです。4群なので補正値＝(4×((4-0)-1)÷2=6なので、p値に6をかけます。
次は補正値＝(4×((4-1)-1)÷2=4なので、D-CとB-A にはp値に4をかけます。
次は補正値＝(4×((4-2)-1)÷2=2なので、その他のp値に2をかけます。
少しややこしく見えたかもしれませんが、これでOKです。
シェファー（Shaffer）で検定してみる
最後の手法、シェファー（Shaffer）ですが、ホルムより甘めの判定、しかもホルムとさほど手間が変わらないという特徴があります。
この手法もホルム法と同じように、ｐ値の大きさ順に補正していきます。
ホルムとの違いは「比較する意味のある組み合わせに応じて補正する」というところです。
「どういうこと？？？」となりそうですので、説明しますが長く、ややこしくなると思いますので、「計算できればいいや」という方は、下の図を参考に小さい順に補正（p値にかける）してください。
一応6群のデータ比較まで対応しています。
気になる方はこのブログの最後に記述した説明文を読むか、調べてみてください。
では先ほど示した図を参考に算出していきます。
一応、順番を間違えないようにrankを最初につけておきましたが、
「間違えないから大丈夫！」という方はしなくても大丈夫です。
まず、B-Cのp値に6をかけます。
続いてA―B、A-D、C-Dに3をかけます。
A- Cに２を、B-Dに１をかけて出来上がりです。
手法による有意差検定の違いを比較してみる
最後に有意差の出やすさを比較してみましょう。ということで5種類の多重比較検定の算出結果を比べやすいように0.05（5%）未満のところを赤くします。
今回の検定ではライアン、ホルム、シェイファーが甘めに出ているようです。
ホルムとシェイファーは今回のデータだと2番目、3番目で両方とも有意差ありですが、p値の差はあるので、このあたりで微妙な判定（p値）の時は場合によっては有意差ありとなしにわかれそうですね。
検定をするときは手法に気を付けよう！
今回は計算方法と結果をわかりやすくするために5つの手法に関して同じデータで行いました。
厳密にはこのケースだとこちらの手法の方が良いのでは？というのもあるでしょうが、
実際の現場において、どの検定がどのような特徴があるかをしっかり押さえておくことがまず初めの第一歩になると思います。
そこからは、実際に自分の研究データをまとめるときにマッチした、ふさわしい検定を選択していきましょう。
シェイファー法の補足説明（読まなくてもOK！）
※では、「比較する意味のある組み合わせに応じて補正する」に関して説明していきます。
ボンフェローニ修正やホルム法では，補正値を機械的に決定していますが、シェイファー法では多重比較する意味のあるものだけに限定しています。
4組の対比較の場合は6通りの組み合わせが存在しますが、今回のように最初の組み合わせの群間B-Cがｔ検定に有意差が認められたのであれば、次の多重比較にはB群とC群を比較する必要はなくなります。一番大きなｐ値であったB群とC群のいずれかは、他の群とは明らかに異なる群という理屈になります。
統計学における理論では、全ての群に有意差はないという帰無仮説が展開されていますので、
統計上の仮説： 群１＝群２＝群３＝群４
から、B群とC群のいずれかは、他の群とは明らかに異なる群ならば
統計上の仮説： 群１＝群２＝群３≠群４
となります。
なので，次のステップでは，理論上はB群またはC群を除いた3群による組み合わせ，すなわち「3通り」の場合の補正値である「3」が採用されるべきということになります。
例えば参考に示した図にある６群データの場合、次は「10」になり、３群データの場合は最初以外、補正しなくていい「１」と考えます。
しかしこのやり方を見ると分かるように、３〜４群の場合は比較的簡単に処理できますが，群の数が増えると各段階で除外できる群の確認作業がかなり煩雑になります。
そこで，Holland & Copenhaver（1987）は，各ステップの残りの仮説の数の最大数を表にしてまとめていますので、この表を使えば簡単にShafferの方法を行うことができます。
実際問題、6群以上のデータ分析でこのやり方は使わない方が楽ですし、実験や検討でもここまで多量のデータ群を多重比較は内容がわかりにくくなるので、あまりしないかなとも思いますが。
コメント