배드 아이디어:
P-해킹

‘P-해킹’은 얼핏 듣기에 일종의 다크웹 암호 화폐에 관련된 행위 같다. 그러나 사실 이것은 원하는 결과를 산출하기 위한 유사 과학적 연구 조작으로서, 다른 영역에서의 음습한 관행이다. ‘p’는 심리학자인 유리 사이먼손, 조지프 시먼스, 레이프 넬슨이 거의 10년 전에 만들어낸 것으로서, 결과가 우연히 나올 가능성을 보여주기 위해 연구에 부여한 ‘p값’에서 유래한 말이다.

값이 0.05(5%)보다 낮으면 연구자들이 연구 결과를 ‘통계적으로 유의미한 것’으로 선언할 수 있게 되므로 연구 결과가 지면을 통해 발표될 가능성이 상당히 높아진다. p-해킹은 가설을 증명하기 위해서라기보다 데이터를 살펴봐서 어떤 가설을 증명할 수 있는지 알아보기 위해 역으로 작업하는 것을 의미한다.¹ 어떤 연구자가 특정 연구(예를 들어 체중 감량을 위해 아침을 먹는 것의 이점)에서 찾아낸 결과가 부족해서 아쉽다고 생각하면, 수집된 모든 정보를 다시 뒤져 무작위적인 별난 사항(예를 들어 스토브톱 커피 메이커를 사용하는 참여자들이 더 많은 살을 뺐다)을 찾아내서 연구의 주제를 바꿔버릴 수 있다는 것이다.

앤드루 겔먼과 에릭 로큰은 2013년의 논문에 “아무 일도 일어나지 않을 때라도 열심히 살펴보면 p가 .05보다 작은 대조를 찾아내는 건 쉽다.”고 썼다. “그리고 훌륭한 과학자는 열심히 살피는 일에 특화되어 있다.” 실제로, 2013년에 코넬 대학교 식품 및 브랜드 연구소의 수장인 브라이언 원싱크는 한 연구자에게 애초에는 별다른 관심을 끌지 않고 지나갔던 뷔페에 대한 연구에서 쓸 만한 데이터를 모두 뒤져 뭔가를 찾아내라고 지시했다. 이렇게 역으로 작업한 결과로 나온 것이 ‘남자는 여자와 함께 있을 때 더 많이 먹는다.’와 같이 기억하기 쉽고 언론 친화적인 제목의 연구 결과 네 가지다.

그러나 p-해킹이 언제나 마키아벨리 같은, 즉 권모술수에 능한 것이라고 예단하는 것은 잘못이다. 연구자들이 이전에 수집해두었던 데이터를 검사하는 것은 바람직한 일일 수 있다. 다른 분야에서의 과학적 돌파구가 완전히 다른 방향에서 새로 들여다보기 시작한 사람들에 의해 이루어진 경우가 많았던 것도 그런 이유다. 결과적으로, 겔먼과 로큰조차도 이 용어가 그처럼 유행하게 된 것에 아쉬움을 토로했다. “마치 연구자들이 비교하고 또 비교하면서, 물고기가 걸려들 때까지 반복적으로 그물을 던지는 것 같은 모습으로 연상되어버렸어요. 연구자들이 정해놓고 그런다는 생각을 할 이유가 없거든요.” 그러므로 무언가에 대한 묘사가 사실처럼 보일 때는, 그걸 정말 깊이 파헤치면서 자신이 목표 지점에 도달하기 위해 진실을 왜곡하는지조차 모르고서 찾아냈다는 의미일 수 있다는 것이다.

GOOD IDEA:

REPLICATIONS

글:
Harriet Fitch Little