ほんとうの調達・購買・資材理論「調達関係者に絶対に役立つ統計講座12回目」(坂口孝則)
*今回の連載も長くなっています。意図的に最後にもってきました。今回もご興味なければ飛ばしてください。ただ、本連載はあと2回で終了予定で、今回は意外に役立つ内容と思っています。可能ならば、あとでかまいませんので、お読みいただくことをオススメします。
さて、これまで「調達関係者に絶対に役立つ統計講座」と題して連載してきた。統計は難しいといわれているけれど、多少はアレルギーがなくなっていたら幸いだ。あと連載は2回で、「これは意外に使える!」と思っていただけるような内容を説明したい。
それで今回は何かというと、「それは、たまたまなのか?」「それは、偶然ではないのか?」を調べるやり方だ。「え! それって、前回までやっていたt検定とかF検定とかカイ二乗検定とかと同じじゃないか!」と思ったかた安心して。それよりも簡単なケースをとりあげる。
たとえば、書籍「ヤバい経済学」っていうのがある。これはスティーヴン・D・レヴィット氏とスティーヴン・J・ダブナー氏が書いた傑作だ。このなかでとりわけ衝撃的だったのは、日本の相撲で八百長があると示唆したことだ(八百長が絶対にあるとは書いていない)。日本人の仕事ではなく、海外の経済学者の仕事として八百長を考察していった。しかもデータを駆使して。詳しくは同書に譲るけれど、「千秋楽のときに7勝7敗の力士」と「8勝6敗の力士」との勝率を調べたところ、なんと79.6%にも上昇しているのだ!
たとえば、こういう「勝ち」「負け」のような二つしかない場合に、「勝ち」あるいは「負け」ばかりが頻出したとする。どうやってこれが「偶然ではないかどうか」「作為的なものかどうか」「意図的なものではないか」を調べるのだろうか。これが今回のテーマだ。
<クリックすると大きくできます>
ここで、これまでのt検定とかF検定とかとの違いをわかってほしい。これまでは、成績が伸びていたり、身長が伸びていたり、と……、具体的な数字が変化していた。ただ、今回は選択肢が二つしかないケースだ。○か×か。あるいは+か-か。こういうケースだから、各項目のデータ(数字)が100から101に変化したのとは異なるわけだ。これを「二項分布」っていうんだけれど、そこまで覚えなくても良いかもしれない。
・購買部長は好かれているのか?
では、卑近な例でやってみよう。たとえば、購買部長がいるとする。1年その購買部長ががんばって部員を率いたとしよう。そんでさらに「昨年にくらべてこの購買部長が好きになった?」って部員にアンケートしたとしよう。まあ、こういうアンケートを取るケースはないだろうけれど、まあこうしておく。この話を聞きながら、自己への応用を考えて聞いてほしい。好き嫌いを訊くこと自体パワハラだとか人権侵害だとか、そういうクレームもやめてほしい。あくまで例だ(っていうか正確には人権侵害できるのも憲法学上は国家しかできないわけだし)。
オーケー。それで部員が20人ほどいるとしようか。それで、こういう回答を得た。
部員1:好きになった
部員2:好きになった
部員3:好きになった
部員4:好きになった
部員5:好きになった
部員6:変わんない
部員7:好きになった
部員8:変わんない
部員9:好きになった
部員10:好きになった
部員11:好きになった
部員12:好きになった
部員13:好きになった
部員14:変わんない
部員15:好きになった
部員16:変わんない
部員17:好きになった
部員18:好きになった
部員19:好きになった
部員20:変わんない
部員は20人だったけれど、そのうち「好きになった」は15人だった。そんで、「変わんない」は5人だった。これは、たしかに多いけれど、購買部長としては1年がんばって、部員からの好意が増したと思って良いのだろうか。単純に考えれば20人中の15人だから増えた気はする。半分だって10人だし。でも、たまたま5人くらいブレるかもしれない。
そこで、今回のExcelファイルだ。
http://www.future-procurement.com/z114.xlsx
ここで使うのは「BINOMDIST」っていう関数だ。=BINOMDIST(成功数,試行回数,成功率,関数形式)っていうのを使うんだけれど、難しくない。関数の()でくくられた内容は次のとおりだ。
・成功数:文字通り成功の回数
・試行回数:何回やったか、何人がやったか
・成功率:文字通り成功する確率
・関数形式:TRUEとFALSE(これはあとで説明)
そこでさっきの購買部長の例にあてはめてみようか。
・成功数:「好きになった」の15人
・試行回数:購買部員20人
・成功率:「好き」か「変わんない」かどうかをあえて0.5=50%とする(理由は後述)
としよう。それで、関数形式の「TRUE」「FALSE」なんだけれどね。これは
「TRUE」:その成功数にいたるまでの全確率
「FALSE」:その成功数がちょうど起きる確率
となるんだ。わかりにくいよね。「TRUE」のケースっていうのは、今回「好きになった」と15人が答えているけれど、0人、1人のみ答えた場合、2人答えた場合……と15人までの累積された確率を計算する。いっぽうで、「FALSE」のケースっていうのは、まさに15人が「好きになった」と答える確率だ。
・関数をファイルに落としこもう
ここで用意したExcelファイルをご覧いただこう。そうすると、C列には「TRUE」を使って、そしてD列には「FALSE」を使って計算している。ここまで説明する必要はないかもしれないけれど、2行目と3行目に今回の前提となる数字を入れている。セルでいうと、C2とC3だ。
「好きになった」確率:0.5(=50%)
人数:20
<クリックすると大きくできます>
これらを常にセルでは参照して計算している。これをご覧いただくと、さきほど書いた<「TRUE」:その成功数にいたるまでの全確率>と<「FALSE」:その成功数がちょうど起きる確率>の違いがおわかりいただけると思う。
なお、ここでは「好きになった」と「変わんない」は0.5と0.5の確率であり、その確率にしたがって回答が出てくるものだと、この例題では仮定している。
<クリックすると大きくできます>
なお、グラフ化してみよう。イメージがつかめる。C列「TRUE」はこのような散布図となる(あまり意味がないので点と点はつなげていない)。
<クリックすると大きくできます>
この「TRUE」:その成功数にいたるまでの全確率だから、下図の斜線がその確率となる。
<クリックすると大きくできます>
そしてD列には「FALSE」はこのような散布図となる。
<クリックすると大きくできます>
考えてみれば当然だけれど、C列はその成功数にいたるまでの全確率だから、全20人にいたるときに1に近づく。なぜ直線で伸びていかないかといえば、それぞれの確率がD列のグラフのようになっているからだ。これまた考えりゃ当然だけれど、20人中10人が「好きになった」と答える確率がもっとも高く、そこから釣鐘形で分布しているからだ。これはまさに正規分布だよね。
ここでご覧いただきたいのが15人のところ、
<クリックすると大きくできます>
C列:0.9940910339
D列:0.0147857666
となっているだろう。これは、繰り返すと、0~15人が「好きになった」と答える累積確率が0.9940910339であり、ちょうど15人が「好きになった」と答える確率が0.0147857666だよね。ここまでおわかりになったうえで、仮説検証に移ろう。
・対立仮説と帰無仮説がここで登場
ここで検証したいのは、「部員からの好意が増したと思って良いのだろうか」だった。ということは、思い出していただくと、対立仮説と帰無仮説を作るんだった。これは復習だ。
・「対立仮説」:1年前と現在で違いがあるんだ!
・「帰無仮説」:1年前と現在で違いなんてないんだ!
この二つを立てて、帰無仮説が成り立つかを検証するんだった。今回の場合は、
【仮説パターン1】
・「対立仮説」:1年前にくらべて現在、みんなが購買部長を好きになっているんだ!
・「帰無仮説」:1年前にくらべて現在、みんなが購買部長を好きになっているとはいえないよ!
となるだろう。また、今回のケースとは異なるけれど、
【仮説パターン2】
・「対立仮説」:1年前にくらべて現在、購買部長を好きになるほうがむしろ少ない!
・「帰無仮説」:1年前にくらべて現在、購買部長を好きになるほうが少ないとはいえないよ!
と逆を検証したいケースもあるだろう。このパターン1と2で考えるのであれば、
・「対立仮説」:「好きになった」の確率≠そうではない確率(または「好きになった」の確率<そうではない確率、あるいは「好きになった」の確率>そうではない確率)
・「帰無仮説」①:「好きになった」の確率=そうではない確率
・「帰無仮説」②:「好きになった」の確率>=そうではない確率
・「帰無仮説」③:「好きになった」の確率<=そうではない確率
の三つが考えられる。ここで、前の表とにらめっこしてみよう。すると、この帰無仮説をどう検証できるだろうか。
・「帰無仮説」①:「好きになった」の確率=そうではない確率
・「帰無仮説」②:「好きになった」の確率>=そうではない確率
・「帰無仮説」③:「好きになった」の確率<=そうではない確率
ここで意図的に、②③①の順に説明していく。
・帰無仮説②について
まず、②だけれどね。これは文字通り、好きになった確率のほうが、そうではない確率よりも大きいってことだ。つまり、0.5じゃなくて、0.51とか、0.52とか、あるいは0.8とか、0.9かもしれない。そこで、さっきの表を見てほしいんだけれど。
<クリックすると大きくできます>
「好きになった」確率を入力する箇所がある。C2セルだ。これを、0.6とか0.8とかにしてもらえるかな? そうすると、こういうグラフになるよね?
<クリックすると大きくできます>
↓
<クリックすると大きくできます>
↓
<クリックすると大きくできます>
考えれば当たり前だけれど、そもそも確率が0.5以上であれば、20人にアンケートした結果は右側にスライドする(それだけ確率があがっているわけだから)。逆に0.4とか0.3とかにすれば、左側にスライドしていく。これも当たり前で、それくらい「好きになった」確率が低いということだからね。
ここで、注意してほしい箇所は、それぞれの確率のときの「20人中の15人までが『好きになった』と答える確率」だ。具体的に列記してみよう(セルでいうとC21セルだ)。
確率0.3のとき:20人中の15人までが『好きになった』と答える確率は0.9999944497
確率0.4のとき:20人中の15人までが『好きになった』と答える確率は0.9996829689
確率0.5のとき:20人中の15人までが『好きになった』と答える確率は0.9940910339
確率0.6のとき:20人中の15人までが『好きになった』と答える確率は0.9490480468
確率0.7のとき:20人中の15人までが『好きになった』と答える確率は0.7624922211
確率0.8のとき:20人中の15人までが『好きになった』と答える確率は0.3703517361
確率0.9のとき:20人中の15人までが『好きになった』と答える確率は0.0431744953
こう見ていくと、直感的に、確率があまりに高かったら(確率0.8とか0.9とか)むしろ15人ではおさまらない。もっと人数が多かったはずだ。でも15人だということは、少なくとも、アンダーラインをひいている確率くらいには可能性がありそうだ。ということは、②のp値はそのまま0.9940910339が使えそうだ。
・「帰無仮説」②のp値=0.9940910339
p値のおさらいは不要かな。p値とは、帰無仮説が成り立つ可能性と考えてほしい。すると、この基準値っていうのは、よく使われるしこの連載でも使ってきた5%だ。この帰無仮説②のp値は99.4%だから棄却できないことになる(つまり無視できない!)。
・帰無仮説③について
さて次に③だ。これは簡単だ。というのも、逆に「20人中の5人が『好きになった』と答えたかもしれない確率」だからだ。ここまで説明不要だろうが、5人=20人ー15人だ。
同じく表を見てみよう。セルでいうと、C11だ。ここに、0.0206947327とあるよね。だから③のp値はこの0.0206947327が使えそうだ。
・「帰無仮説」③のp値=0.0206947327
このp値2.1%っていうのは5%以下だから、棄却できる! つまり、考えなくていい。
・帰無仮説①について
そして最後に①だ。この仮説によると、「好きになった」と15人が答えたのはたまたまであって、ほんとうは「そうではない確率」と同じことになる。したがって、確率は仮定したとおり0.5=50%のままなんだけれど、偶然にもこういうアンケート結果になったわけだ。
その確率は、同じく部員5のところ(C11セル)にある「0.0206947327」を2倍したものになる。正確には、帰無仮説②と③のうち、小さいほうを採用して2倍する。これは当然ながら、大きいほうを倍にしたら意味がないし、確率が1を超えてしまう。そして、なぜ2倍するかって? だって、今回は「好きになった」15人で「変わんない」5人だけれど、「変わんない」15人で「好きになった」5人の確率も考慮しなきゃなんないよね? だから、
・「帰無仮説」①のp値=0.0206947327×2=0.041389465
である。だから棄却できる。つまり、この「帰無仮説」①も考えなくていい!
じゃあ、ここでまとめてみよう。
・「帰無仮説」①:「好きになった」の確率=そうではない確率~このp値:0.041389465(棄却できる)
・「帰無仮説」②:「好きになった」の確率>そうではない確率~このp値:0.9940910339(棄却できない)
・「帰無仮説」③:「好きになった」の確率<そうではない確率~このp値:0.0206947327(棄却できる)
……ということは、やっと冒頭に戻ることができる。資材部長は、部員からの好意が増したと判断して良い。「好きになった」と「変わんない」は0.5と0.5の確率ではなく、「好きになった」確率のほうが高いと判断できる。
・ということで、まとめファイルとして
さて、ここまでの説明を聞いて「わからない!!」と怒り出すひともいるかもしれない。かなり易しく書いてきたつもりだが、それでも「もうツールだけ教えろ!」という意見もあるだろう。なわけで、ここで次のシートを見てほしい。
<クリックすると大きくできます>
ここに、黄色箇所がある。これが入力箇所だ。ここでは「好きになった」「変わんない」と羅列しているけれど、これはもちろん「+」「ー」とか、その他、なんでもいい。このデータをセルF4にある数える対象で書けばいい。
そうすると、帰無仮説が①②③と出てくるので、その結果を見てくれればいい。
対立仮説 「好きになった」の確率と、そうではない確率は異なる、等々
帰無仮説① 「好きになった」の確率と、そうではない確率は一緒→p値は0.041389465→棄却
帰無仮説② 「好きになった」の確率が大きい→p値は0.994091034→棄却できない
帰無仮説③ 「好きになった」の確率が小さい→p値は0.020694733→棄却
というメッセージが出ているはずだ。したがって、この場合は、棄却できない<「好きになった」の確率が大きい>を採用することになる。だから、これを使っていただければ、まずは理解できるだろう。
帰無仮説①には、=2*MIN(J11:J12)
帰無仮説②には、=BINOMDIST(F6,F5,0.5,TRUE)
帰無仮説③には、=1-BINOMDIST(F6-1,F5,0.5,TRUE)
と書いている。この計算根拠は前述したとおりだ。前述は帰無仮説②→③→①の順で説明しているから、おなじくその順序で説明する。
帰無仮説②には、=BINOMDIST(F6,F5,0.5,TRUE)、と書いている。このBINOMDISTも説明した通りだ。セルのF6と、セルのF5には「回答者」と「『好きになった』の数」だ。
帰無仮説③には、=1-BINOMDIST(F6-1,F5,0.5,TRUE)と書いているのはややわかりにくいかもしれない。これは、この例でいうと、15以下(つまり14)の回答者がありうる可能性を1からひいたものだ。でも、これも前述の説明を思い出してほしい。要は、5人(=20-15)までの回答者数にいたるまでの全確率だ。なぜならば、=BINOMDIST(5,20,0.5,TRUE)とどこかに入力してほしい。おなじく0.020694733と計算できるから。
そして、帰無仮説①には、=2*MIN(J11:J12)は、文字通り帰無仮説②と③の最小値を2倍にしている。Excelのセルの意味まで知りたい人のために、ねんのために説明した。
・しかし、注意すべきこと
とはいえ、ここでこの符号検定というものに一言。これは、すごく限られたなかで確率が大きいか小さいか同じかを検定するものだといった。だから表現として「棄却できない」のであって、絶対的に正しいわけじゃない。
それを示すために、さらにシートの「例2」と「例3」をご覧いただきたい。
まず「例2」だ。これによると、+の数を調査している。これはサンプルが10個で、+の数は2個だ。下をご覧いただくと、各帰無仮説が書かれている。
<クリックすると大きくできます>
帰無仮説① 「+」の確率と、そうではない確率は一緒→p値は0.109375→棄却できない
帰無仮説② 「+」の確率が大きい→p値は0.0546875→棄却できない
帰無仮説③ 「+」の確率が小さい→p値は0.989257813→棄却できない
<クリックすると大きくできます>
10個のうち2個しか+がないから、なんとなくだけれど、+の確率は小さい気がする。2個÷10個だから、+は20%にすぎないわけでね。でも、結果は、すべて「棄却できない」となっている。つまり、これは「何にもいえないデータ」なわけだ。
しかし、ここで「例3」をご覧いただきたい。おなじく+の数を調べたものだ。すると、サンプルが20個で+の数は4個となっている。ふうん、と思うだろう。なぜならば、この比率は上記の「例2」と変わらない。4個÷20個だから、おなじく20%にすぎない。でも、驚く(?)のは帰無仮説の結論が異なることなんだ。
<クリックすると大きくできます>
帰無仮説① 「+」の確率と、そうではない確率は一緒→p値は0.011817932→棄却
帰無仮説② 「+」の確率が大きい→p値は0.005908966→棄却
帰無仮説③ 「+」の確率が小さい→p値は0.998711586→棄却できない
<クリックすると大きくできます>
ほら、異なっている。というのは、おなじ20%の出現率でも、今回は<帰無仮説③ 「+」の確率が小さい>だけが残っているのだ! 不思議な感じがしないか? いや、これは、もうおわかりかもしれないけれど、サンプル数そのものにある。この符号検定というのは、二項分布なるものを使っているんだけれど、10個のサンプルのときと10万個のサンプルではとうぜんp値が違ってくるのだ。直感的には、数が多かったらそりゃ正確な結論に近づくけれど、サンプル数が少なかったらそりゃ雑になるだろう、ってことだ。
だから統計というのは、絶対的な真実を照らすというよりも、「与えられたサンプル」と「考えられる推測分布」と「これまで実証的に考えられてきた検証数式」によって、なんとなく正しいと思われる(まさにこれが統計の意味だが)方向性を指し示すものだ。その意味で、さきほど、書いた通り仮説は「棄却できない」のであって、絶対的に正しいわけじゃない。
だって、p値が5%以下だったら「考えない!」ってこれまでも書いてきたけれど、逆にいえば20回中1回は<考えなかったこと>が起きるわけだからね! これをあるひとは「ブラック・スワン」といった。黒い白鳥は、ほとんど考慮にいれる必要はない。だけど、たしかにいるんだ。そして、その<考えなかったこと>こそが、大打撃を与えると指摘するひともいる(著書「ブラック・スワン」(上下)などを参照のこと)。
でも、むやみやたらに考えるんではなく、「おそらくこうだろう」と思えることこそビジネスパーソンの武器になる。少なくとも、そう私は考えている。
では、この連載もあと一回だ!
(つづく)