메타분석(meta-analysis)이란, 기존의 문헌들을 체계적으로 평가하고 결과들을 종합적으로 분석하여 일관성이 있는 하나의 패턴이 발견될 수 있는지를 분석하는 통계적인 분석방법입니다.
특정한 연구주제로부터 관찰된 다양한 연구결과들에 대해서 일반화가 가능해지고, 어느 정도의 가이드라인을 제시할 수 있습니다.
교육학이나 의학, 미디어커뮤니케이션 등의 분야에서 많이 쓰이는 연구 방법론입니다.
아래의 예문을 가지고 설명하겠습니다.
—–
“아스피린의 주기적인 복용은 심장질환을 예방할 수 있다” 라는 연구주제를 다룬 논문이 지금까지 30편이 출판되었다고 합니다. 그리고 이 논문들은 대조군(control group)과 실험군(experimental group)으로 서로 나누어서 randomized block design을 사용한 임상실험을 진행하였습니다.
30편의 논문을 관찰한 결과, 10편의 논문에서는 실험군이 대조군 보다 심장질환의 예방효과가 더 크게 나왔고, 이 차이는 통계적으로 유의하다는(statistically significant) 결과가 관찰되었습니다. 다른 6편의 논문에서는, 예방효과는 더 크지만 통계적으로 유의하지 않다는 결과가 나타났습니다. 그리고, 다른 7편의 논문에서는 대조군이 실험군 보다 예방효과가 우월하다는 점이 관찰되었으며, 이 차이는 통계적으로 유의합니다. 마지막으로, 나머지 7편의 논문에서는 대조군이 실험군 보다 예방효과가 크지만 통계적으로 유의하지는 않았습니다.
—–
위의 사례에서, 16편의 논문에서는 (10편 + 6편) 실험군이 대조군 보다 예방효과가 크다는 것을 알 수 있습니다. 그리고, 나머지 14편의 논문에서는 (7편 + 7편) 대조군이 실험군보다 예방효과가 크다는 것을 알 수 있습니다. 그렇다면, 아스피린의 예방효과를 보여준 논문이 예방효과가 없는 논문의 편수보다 1편이 더 많기 때문에, “우리는 총 30편의 논문을 살펴본 결과, 아스피인의 주기적인 복용은 심장질환을 예방할 수 있다 라는 패턴을 발견하였다”라고 말을 할 수 있을까요? 더 나아가서, “우리가 발견한 패턴은 과학적이고 체계적인 타당한(valid) 방법론에 의해서 발견되었다”라고 말을 할 수 있을까요?
아래의 논문들은 메타분석의 방법론을 이해하기 쉽게 기술하고 있습니다.
Field, A. P. & Gillett, R. (2010). How to do a meta-analysis. British Journal of Mathematical and Statistical Psychology, 63(3), 665-694.
Geyskens, I., Krishnan, R., Steenkamp, J-B., & Cunha, P. V. (2009). A review and evaluation of meta-analysis practices in management research. Journal of Management, 35(2), 393-419.
Haidich, A. B. (2010). Meta-analysis in medical research. Hippokratia, 14(1), 29-37.
