mulptiple test experiment :

multiple test experiment

아래는 '다중성 문제'가 어떤 것인지 실험적으로 알려주고자 만든 자료입니다.

아래의 두개의 열은 평균 0 표준편차 1인 하나의 집단에서 무작위 추출된 것입니다.
각 집단은 100개씩의 샘플로 되어 있고요.

당연히 한 집단에서 추출된 것이니 두 집단을 t-test 하면 차이가 없어야죠.
즉 p>0.05 이어야 겠죠.

그런데 p의 특성상 여러번 반복하다 보면
우연에 의해 차이가 커지는 경우가 생기고 p값은 작아집니다.

대략 100번정도 해보면 5번 정도가 그러하죠.
그것이 p값의 특징입니다.

우선 한번 실험해 보세요.
1을 2로 바꾸었다가, 다시 1로 바꾸었다가 다시 바꾸어 보세요.
그 때마다 p값이 계속 바뀝니다.

그러다가 어쩌다 한두번.. p값이 정말 작아질 때가 있을 겁니다.


multiple test experiment

우리가 여러 가지 변수를 두고 검정하게 되면,
아무런 차이가 없을지라도 우연에 의해 p값이 작아지는
경우가 발생합니다.

A수술과 B수술을 하고서,
이것저것 기능점수, 각도차이, 크기차이, 통증차이 등등을 조사합니다.
그 때 어떤 하나가 p=0.008 이 나왔다고 합시다.
그런 경우에 어떻게 해석해야 할까요?

잘 생각해 보면,
p값이 무엇인지?
1종오류, 2종오류가 무엇인지.

다중성이 왜 문제가 되는지 아실 수 있으실 것입니다.

=============================
이렇게 한번 p=0.008이 나왔다고 해도
다른 사람이 실험하면 다시 p 값이 크게 나올 가능성이 훨씬 많아집니다.

그것이 p값의 성격이고,
다중 검정을 했기 때문에 발생하는 문제점입니다.

이것이 재현가능하지 않은 연구의 주된 원인 중의 하나라고 저는 생각합니다.