그런데 만일 p값이 0.05 이상이라면 그 때는 어떻게 판단해야 할까요?
더 증거를 수집해서 유죄인지 무죄인지 판단해
야 하는 것이고, 물건을 살지 말지를 판단해야 하는 그런 상황을 말해줍니다.
간혹 어떤 경우에 1종 오류가 5%이상이라고 해서, 다시 흔히 말해서 p값이 0.05이상 (예를
들면) 0.25라고 해서 “두 군의 차이가 없다”는 식으로 해석하는 논문도 많습니다. 이것은
잘못된 것입니다.
‘차이가 있다고 말할 수는 없다’ 정도가 맞는 표현이고 다시 말해서 ‘차이가 있는지 없는지 잘 모르겠다 판단을 유보해야 한다’는 뜻입니다.
Why ‘not statistical ly significant’ does not mean simi lar, the same, or not different라는 제목의 블로그 글(1쪽짜리)에 When we test a difference and we say it is NOT significant,
this does not mean that there is no difference. 라는 글이 있군요.
Absence of evidence is not evidence of absence라는 한 쪽짜리 무료 PDF를 읽어 보시는
것이 좋겠습니다. 제목 자체가 보여주는 바도 있지만, 얼마나 많은 연구자들이 잘못 해석하
고 있는지를 잘 지적해 주고 있습니다. Bland Altman plot으로 유명한 Bland와 Altman)
이 쓴 글이지요.
괜히 어렵게 말하면 ‘1종 오류’도 크고 ‘2종 오류’도 큰 상태가 됩니다. 그러면 ‘진짜 두 군
의 차이가 없다’라고 말하려면 어떻게 하느냐- 그 때는 비열등성 검정이나 동등성 검정을
해야 합니다.
많은 논문들이 ‘내가 새로 개발한 새로운 치료법이 기존 치료법과 비교할 때 p값이0.05이
상이므로 큰 차이가 없는 (좋은) 치료법으로 생각된다’는 식의 결론을 비열등성 검정의 개
념없이 내리고 있는지도 모릅니다. 논문의 심사위원들은 뭔가 조금 이상하니까, power를
계산해서 내라고 주문하곤 하지만, 이것도 사실은 다소 틀린 이야기로 비열등성 검정을 통
해서 증명하라고 주문해야 옳습니다.
이런 것을 ‘post hoc power analysis’(사후 검정력 분석)라고 부릅니다. 어떤 학자들
은 ‘post hoc power analysis는 의미없다’고도까지 강조하기도 합니다.
http://www.ats.ucla.edu/stat/seminars/Intro_power/에서
저의 생각을 그대로 보여 주는 글을 발견했습니다. 그대로 옮기겠습니다.
Afterthoughts: A post-hoc power analysis
In general, just say “No!” to post-hoc analyses. 요약하면 그냥 ‘사후 검정력 분석’에 대해
서는 그냥 ‘No’라고 말하시오
There are many reasons, both mechanical and theoretical, why most researchers should
not do post-hoc power analyses. 사후 검정력 분석을 하지 말아야 할 많은 이유가 있습니다. (mechanical은 mathematical을
잘못 쓴 것같습니다.)
Excel lent summaries can be found in Hoenig and Heisey (2001) The Abuse of Power:
The Pervasive Fal lacy of Power Calculations for Data Analysis and Levine and Ensom
(2001) Post Hoc Power Analysis: An Idea Whose Time Has Passed?
2001년에 나온 두 논문이 그 이유들을 잘 요약하였습니다.
As Hoenig and Heisey show, power is mathematical ly directly related to the p-value;
hence, calculating power once you know the p-value associated with a statistic adds no
new information.
전자에서 보여 주듯이 p값이 계산되면 power는 수학적으로 계산되기에 다시 power를 계
산하는 것은 전혀 새로운 정보를 주지 못합니다. (이 논문은 저자의 “통계의 첫걸음 샘플
수의 계산”에서 다루었고, 무료 PDF가 있습니다.)
Furthermore, as Levine and Ensom clearly explain, the logic underlying post-hoc power
analysis is fundamental ly flawed.
한편 추가해서, 후자는 사후 검정력 분석에 깔린 이유가 기본적으로 잘못된 것을 설명합니
다. (이 논문은 초록만 무료로 볼 수 있는데, post hoc power 보다도 신뢰구간이 더 많은
정보를 준다고 되어 있습니다. 동감하는 바입니다.)
However, there are some things that you should look at after your study is completed.
Have a look at the means and standard deviations of your variables and see how close
they are (or are not) from the values that you used in the power analysis.
그렇지만, 연구자가 보아야 할 것이 있습니다. 그것은 평균에 표준편차가 얼마나 가까운지
를 보세요.(이건 검정력 분석에서 보는 것이 아니지만, 어쨌든)
Many researchers do a series of related studies, and this information can aid in making
decisions in future research.
많은 연구자는 비슷한 연구를 계속하고, 추후 연구를 위해서 이 정보는 중요합니다.
For example, if you find that your outcome variable had a standard deviation of 7, and
in your power analysis you were guessing it would have a standard deviation of 2,
you may want to consider using a different measure that has less variance in your next
study.
예를 들어 여러분의 연구의 표준 편차가 7이었는데, 검정력 분석에서 표준 편차가 2 정도
되기를 바란다면 후속 연구에서는 다른 방안을 찾아야 합니다. (이 말은 다음 연구는 샘플
수를 더 늘이든지, 더 정밀하고 정확한 측정 방법으로 바꾸는 등 다음 연구를 위한 준비가
됩니다)
The point here is that in addition to answering your research question(s), your current
research project can also assist with your next power analysis.
요점은 현재의 연구에서 얻은 정보로 다음 연구의 power를 계산하는 것은 도움이 된다는
것입니다.
제 생각에 논문 리뷰어가 power를 계산하라고 요구하려면 그것이 의미하는 바를 잘 알고
요구해야 하고, 저자는 가설이 우수성을 밝히기 위한 연구였다면, not significant 하다는 의
미가 무엇인지 명확하게 알고 표현해야 합니다. 비열등하다는 것을 밝히기 원한다면, 아예
처음부터 연구를 새로 시작해야 합니다. 독자는 당연히 개념이 있게 비판적으로 받아 들여
야 합니다.
오늘의 이야기를 요약하면 이렇게 말할 수 있겠군요.
