Contents

• p-value란?
  • 1-1) 그래서 왜 동일하거나 unique한 확률까지 더하는 걸까?
  • 1-2) 동전예제
• 가설검정에서의 p-value
  • 2-1) p-value가 얼마나 작아야 귀무가설을 기각할 수 있을까?
  • 2-2) p-value의 임계값은 무엇을 의미할까?
• p-value의 주의점

본 포스팅은 p-value에 관하여 정리하였습니다.

---

p-value란?

두 표본 집단의 표본 평균이 통계적으로 유의한 차이가 있는지 검증할 때, 두 표본 집단의 검정 통계량(ex. t-value, 표본 평균)을 계산할 수 있다. 여기서 p-value는 귀무가설이 맞다고 가정하였을 때, 표본으로 부터 얻는 “통계치가 나타날” 확률이다. 즉, 실험에서 얻은 검정 통계량보다 크거나 같은(혹은 극단적인) 통계치를 얻을 수 있는 확률을 의미한다. 여기서 검정통계량보다 크거나 같은 값이라는 의미가 나의 경우 처음에 와닿지 않았는데, 이는 일반적인 양측검정(Two-Sided)을 기준으로 다음을 의미한다.

p-value(표본으로 부터 얻는 통계치가 나타날 확률) =
{ (1)무작위로 관측했을 때, 특정한 경우의 수가 발생할 가능성 } +
{ 무작위로 관측했을 때, (1)과 동일한 확률이 나올 가능성 } +
{ 무작위로 관측했을 때, (1)보다 더!! unique한 경우가 발생할 가능성 }

1-1) 그래서 왜 동일하거나 unique한 확률까지 더하는 걸까?

p-value의 사전적인 의미는 이해했지만, 왜 동일하거나 더 unique한 경우의 수까지 고려해서 값을 구하는지에 궁금증이 생긴다. 이는 관측 대상인 케이스가 발생할 확률과 동일한 확률의 다른 케이스와 더 낮은 확률의 희귀한 케이스가 있음에도 불구하고, 우리가 초점을 두고 보는 관측 대상 케이스가 특별하다고 생각하는 경향이 있기 때문이며, 이러한 관측 bias를 보정하기 위해서 더하는 것이다.

게임에 비유하자면, 우리가 어떤 게임에서 특정 확률로 드랍되는 희귀한 아이템 A를 얻었다고 가정하자, 이 아이템은 정말 특별한 것 처럼 보일 것이며 경매장에서 비싸게 팔릴 것이라고 생각한다. 하지만, 동일한 확률로 드랍되는 다른 대체 아이템 B가 여러개 보이거나, 더 낮은 확률로 드랍되는 대체 아이템 C가 여러개 보이기 시작한다면, 우리가 처음에 귀하다고 생각한 아이템 A의 가치는 처음 보았던 것 보다 낮아질 것이며 경매장에서 처음에 생각했던 것 보다 낮은 가격 혹은 가치만큼의 실제 가격으로 확인할 수 있을 것이다.

1-2) 동전예제

동전 2개 중 연속으로 앞면이 2번 나오는 케이스에관한 p-value를 계산해보자. 위에서 언급한 것을 차례대로 수행하면 답을 도출할 수 있다.

• 무작위로 관측했을 때, 특정한 경우의 수(즉, 앞면 2번, 뒷면 0번)가 발생할 가능성 : $2C2/2^2 = 0.25$
• 무작위로 관측했을 때, 특정한 경우의 수가 발생할 가능성과 동일한 확률(즉, 앞면 0번 뒷면 2번)이 나올 가능성 : $2C2/2^2 = 0.25$
• 무작위로 관측했을 때, 특정한 경우의 수가 발생할 가능성보다 더!! unique한 경우가 발생할 가능성 : 이제 앞면2번과 뒷면2번을 제외한 남은 경우의 수 중 확률이 0.25보다 낮은 unique한 경우는 없기 때문에 0이다.

따라서, 연속으로 앞면이 2번 나오는 케이스의 p-value는 0.25+0.25+0 = 0.5 이다.

---

가설검정에서의 p-value

p-value는 가설검정에서 귀무가설을 기각할지를 결정하는 요소 중 하나이다. 대부분의 경우 p-value가 작거나 0에 가까울수록 표본으로 부터 얻은 통계치가 관측될 확률이 낮다는 의미(즉, 오차로 인해 발생된 케이스가 아니다)이므로, 처음에 참이라고 가정했던 귀무가설을 기각하고 두 집단 간의 차이가 있다고 주장하는 대립가설을 채택하게 된다.

(*절대 귀무가설을 채택할지 결정하는 요소가 아니다!)

2-1) p-value가 얼마나 작아야 귀무가설을 기각할 수 있을까?

반드시 정해진 것은 아니지만 관례적으로 p-value가 0.05, 0.01, 0.0001보다 작으면 귀무가설을 기각시킨다. 이러한 수치가 도출된 정확한 이유는 확실하지 않지만, 이 정도의 p-value 임계값을 이용하였을 때 합리적인 결과가 나온 실험이 많다는 정성적인 경험에서 유례되었다고 한다.

2-2) p-value의 임계값은 무엇을 의미할까?

어떤 수도 없이 많이 실행된 실험에서 (귀무가설을 참이라고 가정), 이 실험의 p-value 임계값이 0.05라는 의미는 수식적으로 p-value < 0.05라고 표현되며, 100번의 실험 중에서 검정통계량이 나오는 실험이 5번 미만일 경우 귀무가설을 기각시키겠다는 의미이다. 그리고, 설정한 허용한계보다 낮은 p-value가 집계되었을 경우 검정통계량이 관측될 확률이 낮다는 것을 의미하고, 참이라고 가정한 귀무가설을 기각하고 대립가설을 채택하게된다.

다시 위에서 언급했던 동전의 p-value의 관해서 이야기해보자. 2개의 동전 중 앞면이 2번나오는 경우에 대한 p-value는 0.5였었다. 이를 이용하여 두 동전이 특별하다고 주장하는 가설을 검증하기 위한 귀무가설과 대립가설은 다음과 같다.

• 귀무가설 : 연속으로 2회 앞면이 나왔다고 해도 내가 가지고 있는 두 동전은 다른 동전들과 별반 다를게 없어…
• 대립가설 : 내가 가지고 있는 두 동전은 같이 던질 때 연속으로 앞면이 나오는 다른 동전과 완전히 다른 특별한 동전이야!

이때, p-value의 임계점을 0.05라고 했을 때, 실제 계산된 p-value는 0.05보다 큰 0.5 이다. 따라서 해당 표본으로 부터 도출한 통계치는 항상 오류의 가능성이 존재하게 된다. 그러므로, 귀무가설은 기각할 수 없으며, 귀무가설이 채택된 것도 아니라서 동전이 특별한지 특별하지 않은지는 모르는 상황이 되었다.

---

p-value의 주의점

• p-value는 통계적 유의미성을 알기 위한 지표이지 결과 성과에대한 지표가 아니다.
• p-value는 귀무가설이 정답일 확률도 아니며, 대립가설이 정답일 확률을 의미하는 것이 아니다.
• p-value가 항상 절대적인 것은 아니다. p-value가 낮아도 귀무가설이 참일 수 있고, p-value가 높아도 귀무가설이 틀릴 수 있다. 예를 들어, AB테스트와 같은 실험 중에서 표본의 크기가 완전히 확보되지 않아서 p-value가 낮게 관측될 수 있다.

---

References

• StatQuest with Josh Starme YouTube : How to calculate p-values
• StatQuest with Josh Starme YouTube : What they are and how to interpret them
• 귀무가설과 대립가설이란 무엇인가?, 필로홍의 데이터 노트
• 조금 더 생각해보니 p-value, Alphahacker Notes