ふぉーりん・あとにーの憂鬱

(以下のデータは、授業で使った実際のチャレンジャー打上に関するデータセット(cf. The flight of the space shuttle Challenger)を簡略化したものです。)

この場合に、破損したリング数MinitabでGoodness-of-Fitテストを行うと、次のようになります。

Goodness-of-Fit Tests

Method                 Chi-Square  DF      P
Pearson                    5.21750   7  0.633
Deviance                   6.03938   7  0.535
Hosmer-Lemeshow     5.21750   7  0.633

気づく人はすぐに気づくと思うのですが、ここでのPearson, Devianceの自由度(DF)は、本来、12(打上回数)-2(predictorの数)-1=9でなくてはならないのに、7になっています。
これは、Minitabが、70度と75度の2回の打上を同じグループとしてまとめてしまっているからです("collapsing")。

この場合、データの性質によってはGoodness-of-Fitが信頼できないこともさることながら、outlierやleverage pointの発見もできなくなるので、注意が必要です。(例えば、この例では75度で6個中2個(.333)の破損はかなりのoutlierなんですが、これが12個中2個(.167)として取り扱われてしまいます。)

これに対して、SASやSPSSはcasewiseアプローチということで、入力したとおりのデータセットのままで、取り扱ってくれるようですが、これはこれで使いづらいところもあるようです。(まだ、自分でロジスティックを余り走らせていないのでピンと来ていないところもありますが、例えば0,1パラメーターを3種類ぐらい使って(8種類のグループができるわけですが)200個ぐらいデータを入力したときに、j=200,nj=1のデータとして扱われてしまうと困るというところですかね？)

ちなみに、Minitabの場合に、casewiseと同様のアプローチをするには、"jittering"ということで、極めて小さなランダムな数値を加えて(この場合、各温度に-0.001～+0.001の範囲でのランダムな数値を加えて)、別のデータと認識させることで対処できるわけです。

これをやった後のGoodness-of-Fit Testの値は次のように

Goodness-of-Fit Tests

Method                Chi-Square  DF      P
Pearson                   12.8051   9  0.172
Deviance                  10.6921   9  0.297
Hosmer-Lemeshow      6.3725   8  0.606

自由度は9になって、PearsonとDevianceのChi-Squareの数値が結構変わっているのがお分かり頂けるかと思います。

最後に、トリビアですが、Simonoff教授が先にあげた論文を発表したところ、SPSSの担当者から凄い剣幕のメールが来たそうです。SPSSはcasewise approachがデフォルトだったんで、欠陥品みたいに書かれるのは納得できないということで、論文を撤回しろとか、かなり無茶なことを言ってきたようです。
しかし、Simonoff教授はSPSSの社長とも長いつきあいがあって、そちらにその話を聞いたら、"He is an idiot.  I read your article and it's excellent.  Please forget all."ということで、その後社内で何があったかは分かりませんが、ぴたっと担当者からのメールもやんだんですが数か月後にまたメールが。

｢やれやれ｣と思って開いてみると、SPSSの新バージョンでは、ユーザーがアプローチを選択できるように改良中なので、開発中の仕様で不都合ができないか、是非チェックをお願いできないでしょうか、という馬鹿丁寧なメールだったようです。
というわけで、以後、SPSSでは、ユーザーがGoodenss-of-Fitで用いるアプローチを選択できることになった、と。

というわけで、たまには、ほとんどの人にとって興味のないネタで煙幕をかけてみたりしました。