아빠가 들려 주는 [통계] 다중 검정의 문제 Multiple Testing

며칠 전 미국의 한 교수님께서 보내 주신 본인 강의 슬라이드에 이런 내용이 있었다. 

우리는 multiple testing에 관한 토론을 하고 있는중이었다 

그의 강의 슬라이드 중에 하나를 내가 약간 수정한 것이다. 

제목, 왜 커피같은 문제가 생기나... 

이 슬라이드 전에, 매스컴에서 한번은 커피가 좋았다가, 

또 하루는 나빴다가 뭐 이런 결과를 자주 내보낸다는 배경이 있었다. 

우리가 흔히들 접하는 문제다.

이 슬라이드에는 1-5까지가 있었고, 

6번은 내가 추가한 것이지만, 

이 6가지 문제가 정말 심각한 문제라고 나는 생각한다.

이 모든 것에 대해서 우리가 접하는 통계책에서도 이야기 되고 있지만,

사실 중요하게 다루어 지진 않는다. 

왜냐 하면 당장 논문 쓰고 accept 되는 것과는 무관하며,

오히려 알면 accept되기가 더 힘들 수도 있다. 

그런데 그중에서도, 유독

유독 Multiple Testing에 대해서는 이야기 조차 거의 없는 듯하다.

네이버 검색해 보았다. 첫번째 두번째 것은 내가 올린 동영상, 

나머지 것은 거의 ANOVA하고 나서 사후 검정... 등에 관한 이야기다. 

사후 검정도 다중검정의 문제가 있지만, 이것보다는 훨씬 더 광범위한 이야기이다.

다중검정은....

3번째 강승호 교수님의 글에서 다중검정의 개념을 약간 엿볼 수 있다

(교수님께서는 당연히 아시지만,

이 블로그 글에서는 자세히 언급하지 않으셨을 것이다.)

나머지 문제들은 모두 하나씩 검색해서 공부해 볼 수 있지만, 

다중 검정에 대해서는 검색도 잘 안될 것같아서..

책으로 만든 것이 있다. 

여러 가지 outcome을 한꺼번에 검정할 때 발생하는 문제, 

subgroup analysis를 볼 때 발생하는 문제

중간 분석할 때 발생하는 문제... 등등 

이런 것들이 흔히 발생하는 다중 검정의 문제이다. 

구글에서 "다중검정과 중간분석"라고 검색해 보자. 

무료로 만든 책자이므로 구입하는데 손해 보지도 않을 것이다. 

단지 꼭 읽기 바란다. 28쪽부터는 읽지 않아도 된다. 

그러니까 읽는 부분은 30쪽도 안되는 부분...

 

글씨도 매우 크다, 전자책을 염두에 두고, 16폰트로 했으니까..

그림도 많으니까, 

그냥 개념만 잡아도 된다...

사실 내 책에는 중간중간에 이런 개념과 관련된 이야기가 많이 들어 있다. 

첫번째 책이었던 "한눈에 쏙쏙 의학 통계 배우기" 뒷부분에 부록에도 써 두었고, 

"샘플 수 계산" 에도 왜 ANOVA가 좋지 않은지, 

RM ANOVA가 왜 나쁜지 이야기 하면서도 이야기 했었다.

 dbSTAT 길들이기에도 자세히 써둔 것같은데, 

대부분 책을 사고서 자세히 읽지 않을 수도 있고, 

읽어도 이해 못하는 내용일 수도 있어서..

다시 전자책으로 낸 것인데.. 뭐 무료로 했지만, 많이 보급된 것은 아니다. 

당장 논문 쓸 때 도움되는 내용이 아니라서.......

그렇지만, 정말 논문을 쓰고 싶다면, 

재현 가능한 실험을 하고 싶다면, 

또 RCT를 계획하고 있다면 꼭 읽어 보길 추천한다.

내 책이라서가 아니라, 

한글로 된 얼마 안되는 귀중한 내용이기에...

그리고 동영상도 보면 좋겠다. 

이 내용으로 강의를 한 적도 한번 있는데, 

그 뒤로 이 내용으로 강의 해달라고 부탁받은 적이 없다. 인기없는 주제라서...

요즘 제일 인기있는 주제는 "그래프 그리기" 그리고 "통계"

당장 논문 써야 하니까.. 그렇겠지만, 

감히 나는 이 주제야 말로, 

한국에서 특히 한국에서 모든 연구자가 들어야 할 내용이라고 생각한다.

과학적인 것처럼 하고서 거짓말하는 기사들에 늘 분개를 느끼는 

과학자들이 많을 줄 안다..

무엇을 마시면 몸이 알칼리가 되어서 건강하다는 이야기

가장 기본적인 인체의 항상성과 버퍼시스템에 대해서 

의학생, 간호학생, 각종 생물 전공자들, 넓게 화학자 까지도 그리 많은데도 불구하고, 

이런 황당한 이야기가 인터넷에 널리 퍼져 있다는 것에 분개하는 여러 과학자들이

자신도 모르는 사이에 거짓말할 수도 있을 수도 있으니까..

그리고 잡지 편집인도, 저자도 거짓말인줄도 모르고 거짓말하는..

그러니까 더 심각한 문제일 것이다.