통계분석 팁

다수의 구성개념(construct)을 포함하는 연구모형을 여러 개의 부분으로 나누어서 검증하면 세 가지 형태의 오류가 함께 발생합니다. 누락된 변수가 회귀계수를 왜곡하고, 검정 횟수가 증가하여 제1종 오류(Type 1 error)가 커지며, 모형 전체의 적합도를 평가할 근거가 사라지게 됩니다. 해결책은 단 하나, 모형 전체를 검증하는 것 뿐입니다.

이 글의 순서 6개 항목

1. 연구모형을 조각내면 회귀계수가 왜 달라지는가?
2. 조각낸 분석의 반복은 제1종 오류를 어떻게 키우는가?
3. 하나의 연구모형으로만 검증한다면 무엇을 더 얻을 수 있는가?
4. 만약 연구모형의 사이즈가 크다면 어떻게 분석을 해야 하는가?
5. 자주 묻는 질문 (FAQ)
6. 결론

박사과정 3년차의 연구계획 발표 장면을 상상해 보겠습니다. PPT 슬라이드를 띄운 스크린에는 12개의 변수를 화살표로 연결한 연구모형(conceptual model)이 보입니다. 발표자는 이 연구모형을 통해 9개의 가설을 설계하였고, 통계분석의 계획으로 6개의 회귀분석을 제시하였습니다. 연구가설 하나에 분석 하나씩을 배정한 것입니다. 발표가 끝나자 심사위원 한 분이 묻습니다. 연구모형은 하나인데 분석은 왜 여섯 개입니까? 발표자는 대답을 하지 못했습니다. 아마도 변수가 많으니 따로 나누어서 분석하는 것이 자연스럽다고 생각했기 때문이 아닐까요? 그런데 이 관행에는 세 가지 통계적 오류가 함께 따라 다닐 수 밖에 없습니다. 이 게시물은 그 관행에 ‘조각난 연구모형’이라는 이름을 붙이고, 연구모형을 조각내서 조각마다 따로 따로 분석을 할 때에 무엇이 잘못되는지를 문헌적인 근거를 제시하면서 하나씩 확인하겠습니다.

연구모형을 조각내면 회귀계수가 왜 달라지는가?

첫 번째 오류는 회귀계수 자체가 왜곡되는 문제입니다. 일반적으로, 연구자들은 서로 상관관계가 존재하는 변수들을 선택하고 연구모형을 설계합니다. 만약 연구모형을 조각낸다면, 애초의 연구모형을 이루는 모든 변수들 가운데 일부만 남게 됩니다. 하지만 조각이 난 부분만을 대상으로 회귀분석을 수행한다면 누락된 변수의 영향은 사라지지 않고 오차항으로 들어가, 남아 있는 변수의 계수 값을 왜곡시키게 됩니다. 관련한 문헌은 이 현상을 ‘누락변수 편의(omitted variable bias)’라고 일컫습니다. Antonakis et al.(2010)은 관련 변수가 연구모형에서 빠지면 추정치가 편향되고 일관성을 잃기 때문에 그 계수로는 인과적인 주장을 내세울 수 없다고 경고하였습니다.

매개모형에서는 이 문제가 더욱 심각해 집니다. 두 개 이상의 매개변수를 포함하는 연구모형을 매개변수별로 나누어 분석하는 관행이 대표적인 사례입니다. Preacher & Hayes(2008)는 연구모형이 다수의 매개변수로 이루어진다고 하더라도 하나의 연구모형에서 동시에 추정할 것을 권고하였습니다. 그 이유는 다른 매개변수를 통계적으로 고려해야 누락변수로 인하여 발생하는 계수의 편의(coefficient bias)가 줄어들기 때문입니다. 만약 매개변수들 사이에 유의한 상관관계가 존재한다면, 매개변수별로 하나씩 따로 검정한 간접효과의 크기는 참값(true value)에서 벗어나게 됩니다. 조각을 낸 연구모형을 분석한 결과에서는 통계적으로 유의하였던 경로가 모형 전체를 분석하면 유의수준이 사라지는 현상.. 또는 그 반대의 현상이 모두 이 원리에서 비롯됩니다.

• Antonakis, J., Bendahan, S., Jacquart, P., & Lalive, R. (2010). On making causal claims: A review and recommendations. The Leadership Quarterly, 21(6), 1086–1120. https://doi.org/10.1016/j.leaqua.2010.10.010

• Preacher, K. J., & Hayes, A. F. (2008). Asymptotic and resampling strategies for assessing and comparing indirect effects in multiple mediator models. Behavior Research Methods, 40(3), 879–891. https://doi.org/10.3758/BRM.40.3.879

조각낸 분석의 반복은 제1종 오류를 어떻게 키우는가?

두 번째 오류는 검정 횟수의 문제입니다. 유의수준 0.05(α=0.05)는 한번의 검정을 기준으로 정한 약속입니다. 연구모형을 6개의 조각으로 나누고 6번의 분석으로 여러 계수를 검정하면, 유의성 검정의 총 횟수는 수십 개로 증가합니다. 효과가 전혀 없는 모형에서도 독립적인 검정을 12번 반복하면, 적어도 하나가 우연히 유의하게 나올 확률은 약 46%까지 올라갑니다. 절반에 가까운 확률로 애초부터 없었던 유의한 효과가 하나 이상 발견되게 만드는 것입니다.

이 문제를 구조방정식모형의 맥락에서 시뮬레이션으로 확인한 연구가 바고 그 유명한 Cribbie(2007)의 논문입니다. 이 연구의 결과에서는 모수(parameter)가 많은 연구모형에서 다중성 통제(multiplicity control)를 하지 않은 채 검정만을 반복한다면 집단별 제1종 오류율(familywise Type I error rate)이 심각하게 팽창하는 것으로 나타났습니다. 하나의 연구모형 안에서도 이럴지언정, 모형을 여러 조각으로 나누어 조각마다 유의수준 0.05를 새로 적용하는 방식은 오류의 팽창을 더욱 키우게 만듭니다. Cribbie(2007)는 이 문제를 방지하기 위한 대안으로 거짓 발견율(false discovery rate) 통제 절차를 수행한다면 무통제와 과잉 보수의 절충안으로 작용한다고 주장하였습니다.

• Cribbie, R. A. (2007). Multiplicity control in structural equation modeling. Structural Equation Modeling: A Multidisciplinary Journal, 14(1), 98–112. https://doi.org/10.1080/10705510709336738

하나의 연구모형으로만 검증한다면 무엇을 더 얻을 수 있는가?

세 번째 오류는 잃어버리는 정보의 문제입니다. 만에 하나, 6개로 조각난 모형에 대해 각각 6개의 통계분석을 그럭저럭 했다고 치더라도 12개의 변수로 연결된 연구모형 전체가 이 모형을 검증하기 위해 수집한 데이터와 부합하는지는 알 수가 없습니다. 하나의 전체 모형 적합도를 평가하기 위해 계산하는 전체 적합도(overall model fit)라는 기준 자체가 부분 분석에서는 존재할 수 없기 때문입니다. Anderson & Gerbing(1988)이 제시한 2단계 접근(two-step approach)이 표준화된 절차로 자리잡은 이유가 바로 여기에 있습니다. 확인적 요인분석으로 측정모형을 먼저 평가하고, 그 다음에는 구조모형(structural model) 전체를 추정하여 카이제곱과 적합도 지수를 계산하여 연구모형과 수집한 데이터의 부합성을 판단하는 순서가 올바른 과정입니다.

간접효과의 평가를 위한 검정에서도 큰 차이가 나타나게 됩니다. 회귀분석을 단계별로 반복하는 인과단계적인 접근(causal steps approach)은 매개효과를 직접 검정하지 않습니다. MacKinnon et al.(2002)은 14개의 검정 방법을 서로 비교하였는데, 인과단계 접근은 검정력이 가장 낮은 그룹으로 분류되었습니다. 여기서 더 나아가, James et al.(2006)은 매개효과에 관한 연구가설은 회귀분석의 연쇄가 아니라 제약을 걸어 놓은 하나의 구조방정식모형으로 검정해야 한다고 주장하였습니다. 완전매개(full mediation) 모형이라면 직접효과의 경로를 0으로 고정한 모형의 적합도를 확인하는 방식입니다. 따라서 매개효과 평가를 위한 검정의 단위가 개별적인 회귀계수가 아니라 연구모형 전체가 되는 것입니다.

• Anderson, J. C., & Gerbing, D. W. (1988). Structural equation modeling in practice: A review and recommended two-step approach. Psychological Bulletin, 103(3), 411–423. https://doi.org/10.1037/0033-2909.103.3.411

• MacKinnon, D. P., Lockwood, C. M., Hoffman, J. M., West, S. G., & Sheets, V. (2002). A comparison of methods to test mediation and other intervening variable effects. Psychological Methods, 7(1), 83–104. https://doi.org/10.1037/1082-989X.7.1.83

• James, L. R., Mulaik, S. A., & Brett, J. M. (2006). A tale of two methods. Organizational Research Methods, 9(2), 233–244. https://doi.org/10.1177/1094428105285144

만약 연구모형의 사이즈가 크다면 어떻게 분석을 해야 하는가?

Preacher & Hayes(2008)는 관측변수들로 이루어진 연구모형에 한해서는 모든 변수를 포함한 회귀방정식들을 각각의 개별적인 회귀분석으로 추정한 결과와 구조방정식 모형분석을 통한 동시 추정(simultaneous estimation) 결과가 서로 유사하다고 주장하였습니다. PROCESS Macro가 개별 회귀방정식 기반의 추정 방식임에도 불구하고 광범위한 연구영역에서 널리 활용되고 있는 이유가 바로 이 때문입니다. Preacher & Hayes(2008)의 주장에 따르면, 하나의 연구모형을 여러 조각을 내어 각기 다른 회귀방정식을 수행하는 것 자체가 문제가 되지는 않습니다. 다만, 모형을 조각으로 나누는 과정에서 하나의 전체 연구모형을 이루는 변수를 제외하는 것, 각 조각마다 서로 다른 유의수준이 적용되는 것, 모형의 전체 적합도와 간접효과의 검증을 포기하는 것, 그리고 잠재변수(latent variable)의 측정오차를 무시하는 것이 문제로 지적될 수 있습니다. 아래의 다섯 단계는 이 네 가지를 사전에 차단할 수 있는 방법을 나타내고 있습니다.

• 연구가설의 수가 아무리 많더라도 연구모형은 반드시 하나의 모형으로 그립니다. 통계분석 계획서에 전체 연구모형의 동시추정을 명시합니다.
• 2단계 접근방법을 따릅니다. 즉, 확인적 요인분석을 통해 측정모형의 구성타당도(construct validity)와 모형 적합도를 평가한 후에 전체 구조모형을 추정합니다.
• 간접효과를 평가하기 위해 부트스트래핑(bootstrapping)으로 추정된 신뢰구간 값을 계산합니다.
• 만약 검정을 해야 하는 모수가 많은 연구모형은 거짓 발견율 통제와 같은 다중성 보정을 결과 해석에 적용합니다.
• 소규모의 표본 크기 때문에 전체 연구모형의 추정이 불안정하다면, 문항 묶기(item parceling)나 관측변수로만 이루어지는 경로모형을 설계하여 모수의 수를 줄이는 방법을 시도합니다. 만약 연구모형의 분할이 불가피하다면, 분할의 이유와 공통 변수의 처리 방식, 유의수준의 보정 방식 등을 논문에서 보고합니다.

가상 사례: 교육학 박사과정의 한 연구자는 12개의 변수와 9개의 연구가설로 이루어진 연구모형을 각각 6개의 개별적인 회귀분석으로 수행하겠다는 계획을 담은 연구계획서를 제출하였습니다. 연구계획서를 살펴본 심사위원은 조각이 난 연구모형의 분석 결과가 가져올 수 있는 통계적 오류의 심각성을 지적하였고, 연구모형 전체를 하나의 분석으로 수행할 것을 요구하였습니다. 이에 따라 연구자는 확인적 요인분석을 통해 측정모형의 타당도와 모형적합도를 확인하고, 구조방정식 모형분석을 수행하여 전체 연구모형을 추정하였습니다. 흥미롭게도, 부분 분석을 통해 관찰되었던 통계적으로 유의한 경로들이 모형 전체를 분석한 결과에서는 통계적 유의성을 상실하였습니다. 상관관계의 수준이 높은 다른 예측변수가 투입되어서 베타 계수의 값이 작아졌기 때문입니다. 이를 통해 연구자는 누락변수 편의의 실체를 확인할 수 있었습니다. 이와 함께, 연구자는 이 변화를 나타내는 분석 결과를 테이블에 옮겨서 보고하였고, 적합도 지수와 부트스트래핑에 의한 간접효의 검증 결과를 함께 제시하였습니다. 본심사에서 해당 심사위원은 분석의 전환 과정을 논문의 강점으로 언급하였습니다. 이 사례는 프라임 컨설팅이 실무 현장에서 체험한 상황을 참고하여 재구성한 가상의 시나리오입니다.

자주 묻는 질문 (FAQ)

Q. 연구모형의 검증은 반드시 하나의 모형으로만 해야 하나요?

A. 원칙은 전체 연구모형의 동시 추정입니다. 만약 변수들 사이에 유의한 상관관계가 존재한다면, 모형을 조각내어 분석한 연구 결과에서는 왜곡된 계수가 나타나고 검정의 횟수가 증가하게 됩니다. 분할이 불가피한 경우에는 그 이유와 분석방법을 논문에서 명시해야 합니다.

Q. 여러 번의 회귀분석과 구조방정식모형의 결과는 왜 다른가요?

A. 각 회귀분석에서 누락된 변수가 계수를 왜곡하기 때문입니다. 하지만 전체 연구모형을 분석한다면 상관된 변수들이 모두 투입되어 서로의 영향을 통계적으로 고려합니다. 그리고 잠재변수 모형이라면 측정오차의 반영 여부도 차이를 만듭니다.

Q. 표본의 크기가 작아서 전체 연구모형을 검정할 수 없으면 어떻게 하나요?

A. 연구모형을 나누기 전에 모수를 줄이는 방법부터 먼저 시도합니다. 설문문항 묶기와 관측변수만으로 이루어진 경로모형을 설계하는 것이 가장 대표적인 방법입니다. 그래도 만약 모형을 분할해야 한다면 공통 변수의 처리와 유의수준 보정을 함께 보고해야 합니다.

Q. 매개효과를 검증할 때에 왜 부트스트래핑의 사용을 권장하나요?

A. 회귀분석을 단계별로 반복하는 방식은 매개효과를 직접 검정하지 않으며 검정력도 낮습니다. 하지만 14개의 방법을 비교한 관련 연구의 결과에서는 부트스트래핑 계열이 정확한 제1종 오류율과 높은 검정력을 보이는 것으로 나타났습니다.

Q. 각 연구가설에 따른 회귀분석의 검증결과를 나타내는 테이블을 만드는 관행은 왜 위험한가요?

A. 검정의 횟수가 연구가설의 수만큼 증가하게 되어 제1종 오류가 커지게 됩니다. 각 테이블에서 누락된 변수가 계수의 값을 왜곡시키는 문제도 함께 발생합니다. 여러 개의 연구가설을 하나의 연구모형에서 동시에 검정하는 것이 통계적으로 안전합니다.

Q. PROCESS 매크로를 사용하는 것이 연구모형을 조각낸 후에 회귀분석을 하는 것인가요?

A. 그렇지 않습니다. PROCESS 매크로는 연구모형을 이루고 있는 모든 변수를 포함하는 회귀방정식 체계로 추정합니다. 문제는 각각의 서로 다른 방정식에 의한 추정이 아니라 변수를 누락시키고 조각을 내는 분할에 있습니다.

결론

연구모형은 변수들 사이에서 인과관계가 존재할 것으로 예상하는 연구자의 믿음(belief)입니다. 만약 연구자의 주장이 하나라면 그 주장을 검증하기 위해 하나의 연구모형을 검증해야 합니다. 만약 연구모형을 조각낸다면 세 가지 형태의 통계적인 오류가 발생합니다. 변수가 누락이 되어서 계수가 왜곡이 되고, 제1종 오류는 검정의 횟수만큼 증가하게 되며, 연구모형이 수집한 데이터와 부합하는지의 여부를 판단할 수 있는 근거가 사라지게 됩니다. 이 원인이 발생하는 이유는 단 하나, 연구모형을 조각을 내어 분석을 하기 때문입니다.