아빠가 들려 주는 [통계] 비열등성 검정 : t-test 를 이용한 경우

 

 p값에 대한 제가 생각하는 3대 오해 중의 하나는

비열등성 검정과 관련된 것입니다.

“p>0.05 이면 두 군에 의미없는 차이가 없다.”

는 오해인데요. 대부분의 경우에 차이가 없다기 보다는

샘플 수가 작아서 차이가 있는지 발견하지 못했다는 것이 정확한 결론입니다.

다시 말해서 p>0.05 인 것은 차이가 없다는 것을 증명하는 도구가 아닙니다.

차이가 없다는 것을 증명하기 위해서는 비열등성 또는 동등성 검정을 하여야 하고

이에 대해서는 저의 책에서 아주 자세히 설명드렸는데요. 
오늘은 그냥 간단한 예를 한번 들어 보겠습니다. 
마침 어떤 분이 질문하셔서요.

(이 글의 메일 마지막에 엑셀 쉬트로 계산해 볼 수 있습니다)

 

오늘 이 쉬트는 기존의 논문에서 나온 값을 이용해서 비열등성 검정을 해보기 위한 것입니다.

2013년 9월24일에 올린 카페글에 대한 질문이 있어서

조금 자세히 설명드리려 합니다.

기존 논문에서는 두 군의 평균과 95%신뢰구간이 각각 위와 같다고 하고,

P값은 0.05보다 높다고 하면서 두군의 차이가 없다고 하면 옳겠습니까?

 

엑셀 파일에서도 p값을 계산해 줍니다.  P=0.3267이네요.

이 값만 가지고는 비열등한지 말해 주지 않습니다.

여기서 평균차의 95%신뢰구간을 보여 주는데요.

이 신뢰구간과 비열등성 한계를 비교하여 알 수 있게 됩니다.

 

엑셀 쉬트를 오른쪽으로 가보면 차트가 보이는데,

이 차트를 보면 조금 더 이해하기가 편할 수도 있습니다.

이 구간에 0이 포함되면 p값은 0.05보다 커지게 됩니다.

그런데 그것은 비열등한지 아닌지 알 수 없습니다.

비열등성 한계를 -0.18로 잡았다면(점선 화살표)

이 비열등성 한계가 95%신뢰구간과 겹쳐 있으면 이것은 비열등성 하지 않은 것입니다.

샘플의 숫자가 점차 늘어 나면, 신뢰구간이 줄어들게 됩니다.

 

이 엑셀 쉬트는 당시에

그냥 ‘p>0.05이므로 의미없는 차이가 없었다’는 식으로 결론내는

논문이 워낙 많아서

그렇게 하면 안된다.

비열등성 검정을 해야 한다.

등등을 설명하기 위해서 만든 쉬트입니다.

위의 두 개는 95%신뢰구간을 이용해서 SD를 계산하도록 한 것인데,

이것은

기존의 논문에서 95%신뢰구간을 제시하는 경우가 많아서이고요.

아래 두 개는 그냥 SD를 이용한 것입니다.

그리고, ITT라고 된 것과 PP라고 된 것이 있는데,

이것은 n수가 다를 때, 어떻게 되는지 비교하기 위한 것입니다.

일반적으로 우위성 검정에서는 ITT가 기본이 되는데요.

비열등성 검정에서는 ITT보다는 PP가 보수적이기 때문에

PP의 중요성이 커집니다.

이에 대한 설명을 하기 위해서 둘을 비교하도록 한 것입니다.

한마디로 실제로는 별로 쓸모 없는데,

강의를 할 때는 도움이 되는 것이라서 그냥 만들어 보았습니다.

혹시 강의하시는 분은 쓰셔도 되겠습니다.