아빠가 들려 주는 [통계] Multiple P values : Bonferroni, Holm, Hochberg

 

여러 번의 통계적 방법을 사용한 경우에는 다중성 문제를 해결하기 위해 전체의 1종 오류를 5%로 통제하기 위해서 p값의 경계를 조절하게 됩니다.

만일 조절하지 않게 되면 1종 오류가 매우 커지게 되지요.

그 방법 중에 가장 많이 알려진 방법이 Bonferroni의 방법이며 쉽습니다.

그런데 너무 엄격하고 보수적이라서

Holm-Bonferroni method의 방법과 Hochberg-Bonferroni method의 방법이 사용되기도 합니다.

그것에 대해서 알아 보겠습니다. 

To solve the multiple test problem, we should control the margin of p values.

If we do not, the type 1 error( alpha error) will increase dramatically.

The most common method would be the Bonferroni method, which is considered too much conservative.

So there are two modifications from the Bonferroni method.

Those are ‘Holm-Bonferroni method’ and ‘Hochberg-Bonferroni method’.

I will explain what they are.

처음 만든 것은 2014년 9월 6일이었는데, 엑셀 파일로 보급했었지요.

오늘 다시 웹 버전으로 만들면서 조금 더 편하게 볼 수 있도록 수정했습니다. 

This excel sheet was made and distributed first at September 6th, 2014

And now I made some modification and distribute again at web-version.

 

만약 여러분이 20개의 p값을 가지고 있다면, 그것을 작은 순서부터, 큰 순서로 정렬하여

노란 칸에 입력합니다.

엑셀에 ‘값 붙여넣기’를 한다면 더 좋습니다.

If you have 20 P values, at first arrange them from the smallest to the largest.

And copy and paste them into the yellow cells.

I recommend to paste “values only”

그렇게 하면 오른쪽에 보이는 그래프를 얻게 될 것입니다.

제일 아래쪽에 보이는 보라색 선이 Bonferroni의 경계선으로 이것보다 아래에 있는 것만

유의하다고 판단합니다.

Bonferroni의 방법에 의하면 말이지요. 

You will get the chart as above.

The purple line is the line for the Bonferroni method.

If the p vales are under the purple line, you can consider they are significant according to the Bonferroni method.

 

연두색 선은 변형된 것입니다. 이 연두색과 p값들과 비교하게 되는데,

왼쪽에서 읽어서 즉 가장 작은 것에서부터 읽어서 일단 한번이라도 연두색 선 위로 올라오게 되면 그 오른쪽은 모두 not significant 한 것으로 간주하는 방법이 

Holm-Bonferroni method입니다. 

Now we will see the green line. This is the modified cut-line.

From the left side(that is from the smallest ones) once p value rise above the green line, that and the larger( right sided ) are considered as not significant.

That is the Holm-Bonferroni method.

반대로 오른쪽에서부터 읽어서 즉 가장 큰 값부터 읽어서 한번이라도 연두색 선 아래로 내려오면

그보다 왼쪽에 있는 것은 모두 significant 한 것으로 간주하는 방법이

Hochberg-Bonferroni method입니다. 

From the right side(that is from the largest ones) once p value merge below the green line, that and the smaller( left sided ) are considered as significant.

That is the Hochberg-Bonferroni method.

그래서 Holm-Bonferroni method이 Hochberg-Bonferroni method보다 더 보수적인 방법이 됩니다.

As a result, the Holm-Bonferroni method is conservative than the Hochberg-Bonferroni method.

그리고 여러분은 이 화면을 보게 될 것입니다.

제일 오른쪽에 차트가 있습니다.

가운데 3개의 빨간색 문자열을 보게 될 것입니다.

각각 Bonferroni, Holm, Hochberg 방법의 결과들입니다.

어떤 것이 가장 보수적인지 금방 할 수 있을 것입니다. 

You will see this sheet in reality.

The chart will be right.

There are three red columns.

Relatively Bonferroni, Holm, Hochberg’s.

You will notice which is the most conservative.