연구 결과의 함정 P-Hacking 에 대해 알아보기

P-Hacking 이란?

P-해킹은 연구 과정에서 원하는 결과값에 근접하기 위해 데이터 분석 방법 혹은 결과에 미치는 요인을 임의로 변화시키거나

원하는 결과가 나올때까지 실험을 반복하는 것을 의미한다.

쉽게 비유하면 내가 원하는 결과값을 만들기 위한 일종의 조작이다.

우리 실생활에서도 쉽게 접할 수 있는데 가상의 예를 들어보겠다.

SNS 혹은 유튜브에서 광고하는 어떤 상품의 효과가 뛰어나다고 한다.

연구 및 임상실험 과정에서 100명을 대상으로 확인해봤는데 90% 이상의 효과를 보았다고 한다.

하지만 막상 실험 내용의 실상을 파헤쳐보니 특정 실험군에게서 좋은 효과가 나오자 연구대상인 100명을 특정 실험군에 맞는 사람으로 맞췄던 것이다.

위와 같은 가상의 예시는 마케팅을 목적으로 한 고의적 행위이며 정말 잘못된 예시이다.

물론 고의가 아니라 하더라도 연구 과정에서 좋은 결과를 만들기 위해 이래저래 환경 요인을 바꾸다보니 스스로 인지하지 못한채 P 해킹을 했을 수도 있다.

결론

나도 퀀트 프로그램을 만들면서 백테스팅을 하며 투자 전략을 발굴하는 과정에서 나도 모르게 P-해킹을 하고 있었다.

투자 성과가 높은 결과가 나오도록 백테스팅을 반복했었는데 이것 역시 P-해킹이였다.

중요한 것은 무언가를 연구하거나 분석하는 과정에서 P-해킹의 개입 가능성을 항상 조심하고 인지할 수 있어야되는 것 같다.

무언가의 상품을 구매하거나 정보를 얻을 때 실험 결과가 너무 좋다면 P 해킹 가능성을 염두하고 보는 안목을 기른다면 도움이 되지 않을까 싶다.

물론 스스로 연구하거나 분석하는 내용 포함해서 말이다.