아빠가 들려 주는 [통계] Non-significant Result Means 통계적으로 의미가 없다는 것이 의미하는 바!

 이런 질문이 들어 왔네요.

위의 내용을 표로 만들어 보면 어떤 통계가 필요한지 금방 보입니다.
그리고, 빨간 글씨 14는 여러 모로 보아 잘못된 숫자라 6으로 고쳤습니다.
카이제곱 검정이 필요하다는 것을 금방 알 수 있지요.
상관분석은 최소한 연속변수 간의 분석입니다.
위의 예는 둘다 명목변수이지요.

사실 카이제곱 분석과 상관분석은 아주 유사한 점이 많습니다.
서로의 관계를 분석한다는 점에서 말이죠.
그래도 분명한 차이점이 있습니다.

 예 계산해 보니, p값은 0.5***이 나왔네요.
통계적으로 유의하지 않습니다.
여기서, 중요한 의미가 있습니다.
제가 3대 misconclusion이라고 강조했던 적이 있지요.

"p>0.05면 통계적으로 의미가 없다. not significant 하다"
는 것의 의미를 잘 알아야 하죠.

특히 이 카이제곱 검정의 경우에는
"두 변수사이에 관계가 없다(두 변수는 독립이다)"는 뜻이 아니고,
"두 변수사이에 관계가 없다(두 변수는 독립이다)"는 것을 기각할 수 없다는 뜻입니다.

참 이것을 이해 못하는 분이 많고,
이것 때문에 잘못된 결론 내는 분이 많습니다.
두 변수는  독립이라고 말할 수도 아니라고 말할 수도 없는
그러니까 아무 결론 안난 상태입니다.
not conclusive


범인이라고 말할 수 없다
이 말은 범인이 아니라는 뜻이 아니고,
아직은 증거가 불충분해서
범인이라고 할 수는 없지만,
증거가 더 생기면 범인이라고 할 수도 있는 상태입니다.

p>0.05라는 것은 그런 의미입니다.

하.. 이것을 이해시키기가 얼마나 어려운지.

이전에 제가 썼던 논문에 나온 문장을 그대로 옮겨 보겠습니다. 

Non-significant Result Means

There are some articles that draw a conclusion that there is no difference between two groups because p > 0.05, without calculating sample size. This is clearly a fault because whether a significant difference exists or not, the size of the samples is too small to make a conclusion. Many authors make the same mistakes and researchers warn against this kind of mistake. 'Absence of evidence is not evidence of absence'¹⁾ is a free article which contains practical examples, and I highly recommend it to be read. Statistics in orthopaedic paper²⁾ showed a series of errors in orthopaedic papers; e.g., saying "a non-significant result from a two-sample t-test does not imply that the two means are equal, only that there is no evidence to show that they are different."

Indeed, when a survey of 170 orthopaedic papers was conducted in Journal of Bone and Joint Surgery (British), Injury, and Annals of the Royal College of Surgeons of England, 49 papers (28.8%) said that the two groups did not have significant differences but only 3 (6.1%) of the papers calculated the sample size.³⁾

If you want to make a conclusion that there is no significant difference, you should perform an equivalence test or non-inferiority test. This will be explained another time.

다시 질문하신 분의 글로 돌아와서,
위의 결과는 통계적으로 의미있지 않았습니다.
그렇다고 culture 결과와 증상호전과는 독립이라는 뜻은 아닙니다.
두가지 가능성이 있지요.
그 중 하나가 숫자가 적다보니, not significant했을 수도 있습니다.
숫자가 충분했고, 차이가 없다는 것을 증명하기 위해서는
동등성 검정을 시도했어야 합니다.

동등성, 또는 비열등성 검정이 왜 필요한지에 대해서...
깊이 있는 공부가 앞으로 필요하겠습니다.