통계분석 9단계

통계분석의 기법을 선택하기 위해서는 변수의 측정 수준과 서로 비교하려는 집단의 수, 그리고 연구모형이 나타내는 인과관계적인 구조를 차례로 확인해야 합니다. 데이터 속성에 적합한 단 하나의 통계분석 기법을 선택하는 연역적인 과정입니다.

이 글의 순서 6개 항목

1. 통계분석 기법은 왜 데이터 수집 단계에서 결정되어야 하는가?
2. 첫 번째 확인: 변수의 값은 어떠한 측정 수준(척도)으로 수집되었는가?
3. 두 번째 및 세 번째 확인: 집단의 수와 연구모형의 구조적인 형태
4. 9단계로 구성된 통계분석 매뉴얼의 기법 대응표
5. 자주 묻는 질문 (FAQ)
6. 결론

대다수의 통계학 교재는 수많은 분석 기법을 백과사전식으로 나열하여 설명하고 있습니다. 그러나 논문을 작성해야 하는 연구자에게 정작 필요한 것은 ‘내 연구가 다루는 데이터의 속성과 부합하는 단 하나의 분석기법을 정확하게 찾아내기 위해 필요한 명확한 판단 기준’입니다.

그 판단의 기준은 세 가지로 압축됩니다. 첫째, 변수의 값이 어떠한 척도로 측정이 되었는가? 둘째, 서로 비교하려는 독립된 집단이 몇 개인가? 셋째, 연구모형을 구성하는 변수들끼리의 인과관계을 나타내는 화살표의 방향은 무엇인가? 이 세 가지 조건을 순서대로 확인한 후에는 수십 개의 통계 기법 중에서 연구자의 연구가설 검증에 부합하는 선택지가 한두 개로 좁혀지게 됩니다.

통계분석 기법은 왜 데이터 수집 단계에서 결정되어야 하는가?

통계분석 기법을 선택하는 것은 연구자의 주관적인 취향이나 학계가 추구하는 유행을 따르는 영역에 있지 않습니다. 각각의 통계 기법은 엄격하게 규정된 수학적인 전제 조건을 수집한 데이터가 충족할 때에만 정상적으로 작동하도록 설계되어 있습니다. 데이터의 수학적인 속성은 연구자가 설문지를 설계하고 표본 데이터를 수집하는 순간 이미 ‘비가역적’으로 확정됩니다. 예를 들어서, 평균의 차이를 검증하기 위해서는 평균을 산출할 수 있는 양적 데이터가 확보되어야 하고, 집단 간의 평균 차이를 비교하기 위해서는 범주화된 집단 변수가 이미 셋팅이 되었어야 합니다. 따라서 분석 단계에서 연구자가 수행해야 할 과제는 새로운 기법을 자의적으로 선택하는 것이 아니라, 수집된 데이터의 구조를 정확하게 식별하는 것입니다.

이 과정에서 가장 흔하게 발생하는 방법론적인 오류를 짚고 지적해야 할 필요가 있습니다. 바로 ‘특정한 분석 기법을 미리 정해놓고 데이터를 억지로 투입하는 역전 현상’입니다. 최신의 트렌드에 편승하여 구조방정식모형 분석(SEM)을 반드시 사용하겠다는 강박관념이 앞서게 된다면, 유효한 표본의 크기가 100명 남짓에 불과한 상황에서도 무리하게 모형 적합을 시도하게 되는 치명적인 오류를 범하게 됩니다. 그리고 논문심사 과정에서 “구조방정식 모형분석법을 사용해야 했던 방법론적인 타당성이 무엇인가?”라는 비판을 받을 수 밖에 없습니다. 연구는 철저하게 순행적(sequential)으로 수행되어야 합니다. 데이터의 속성과 표본 크기가 허락하는 통계적인 한계를 확인 한 후에 그 가용 범위 내에서 최적의 통계분석 기법을 탐색해야 합니다.

첫 번째 확인: 변수의 값은 어떠한 측정 수준(척도)으로 수집되었는가?

가장 우선적으로 점검해야 할 핵심적인 조건은 ‘변수 값의 측정 수준’입니다. 이는 변수에 부여된 숫자가 분류 기호인지, 아니면 수학적인 연산이 가능한 물리적 크기를 가지고 있는지를 규정하는 척도의 종류를 의미합니다. 크게 네 가지 범주로 분류됩니다.

척도의 구분이 통계분석 기법을 결정하는 가장 중요한 이유는 ‘평균의 계산 가능성’ 때문입니다. 만약, 성별 변수에 남성을 1, 여성을 2로 코딩했다고 해서 전체 표본의 평균 성별이 1.4라고 해석하는 것은 통계적으로 완벽한 넌센스입니다. 숫자에 크기나 간격의 의미가 담겨 있지 않기 때문입니다. 반면, 근무연수나 매출액은 수리적인 평균을 계산할 수 있으며, 사회과학 연구에서 널리 쓰이고 있는 리커트 척도(Likert Scale)의 합산 점수 역시 관행적으로 등간척도에 준하여 평균을 계산합니다.

평균과 분산을 계산할 수 있는 등간 척도와 비율 척도(연속형 변수)의 값으로 t-검정, 분산분석(ANOVA), 상관분석, 다중회귀분석 등의 모수적(parametric) 통계 기법을 사용할 수 있습니다. 반면에, 평균을 계산할 수 없는 명목척도와 서열 척도(범주형 변수)의 값은 빈도분석과 교차분석(카이제곱 검정), 로지스틱 회귀분석 등의 비모수적인(non-parametric) 기법이나 별도의 모형으로 분석해야 합니다. 특히 연구결과의 성패를 결정하는 ‘종속변수’의 값이 합격/불합격과 같은 이분형 명목척도로 측정되었다면, 선형 회귀분석을 사용할 수 없으며, 대신에 로지스틱 회귀분석을 적용해야 합니다.

두 번째 및 세 번째 확인: 집단의 수와 연구모형의 구조적인 형태

두 번째 판단 기준은, 변수의 측정 수준을 확인한 후에는 “연구가설이 독립된 집단 간의 ‘평균의 차이’를 비교하는 것인가?”를 기준으로 통계기법을 선택해야 합니다. 만약 집단 간의 평균을 비교하려는 연구라면, 비교집단이 총 몇 개인지를 확인해야 합니다. 예를 들어서, 두 집단(예., 남성 vs. 여성)을 비교할 때는 독립표본 t-검정(independent t-test)을 사용해야 합니다. 그리고 세 개 이상의 집단(예., 20대 vs. 30대 vs. 40대 이상)을 동시에 비교할 때는 일원배치 분산분석(One-way ANOVA)이 타당한 분석기법입니다. 그리고 만약 서로 다른 집단이 아니라, 동일한 표본 집단을 대상으로 교육 전과 교육 후라는 시간차를 두고 두 번 측정한 후에 그 변화량을 비교해야 한다면 대응표본 t-검정(paired t-test)이 선택할 수 있는 유일한 분석기법입니다.

세 번째 판단 기준에서는 ‘연구모형을 구성하는 화살표의 형태와 인과적인 구조’를 면밀하게 살펴야 합니다. 즉, 어떠한 변수(또는 구성개념)가 다른 변수에 미치는 영향력을 검증하는 연구가 여기에 해당합니다.

• 인과관계를 나타내는 화살표가 없이 두 변수 간의 밀접한 연관성과 증감의 방향성만을 조사하는 모형이라면 상관분석을 사용합니다.
• 다수의 독립변수(원인)에서 출발한 화살표들이 단일한 종속변수(결과)로 모이는 일방향적인 인과관계 모형이라면 다중회귀분석을 사용합니다.
• 독립변수와 종속변수 사이를 연결하는 매개 변수를 거쳐 화살표가 순차적으로 이어지는 구조를 나타내는 연구모형이라면 매개효과 분석을 수행합니다.
• 독립변수에서 종속변수로 향하는 화살표에 제3의 변수가 수직으로 개입하여 그 영향력의 세기나 방향을 변화시키는 구조라면 조절효과 분석을 사용합니다.
• 다수의 잠재변수(latent variables)가 복합적으로 얽힌 여러 경로를 구축하고 변수들 간의 직접 효과와 간접 효과를 동시에 추정해야 한다면 구조방정식 모형이 필수적입니다.

지금까지의 세 단계의 판단 과정은 반드시 엄격한 순서를 지키며 수행되어야 합니다. 변수의 측정 수준(첫 번째 조건)을 생략하고 모형의 형태(세 번째 조건)부터 임의로 구상한다면, 평균을 계산할 할 수 없는 명목 척도에 선형 회귀분석을 무리하게 적용하는 중대한 방법론적인 오류가 발생합니다. 또한 비교 집단의 수(두 번째 조건)를 무시한 채 세 집단을 비교하기 위해 t-검정을 3번 반복하여 분석을 한다면 1종 오류(type I error)가 통제가 불가능한 수준으로 증가하게 됩니다. 따라서 반드시 분산분석과 사후검정(post-hoc analysis)을 거치는 절차를 준수해야 합니다.

9단계로 구성된 통계분석 매뉴얼의 기법 대응표

앞서 기술한 세 가지 점검 과정을 완수하면, 연구자의 연구 목적에 정확히 부합하는 통계 분석 기법이 최종적으로 확정됩니다. 연구방법론의 표준을 제시하는 ‘통계분석 로드맵 9단계’는 분석을 위한 기법들을 논리적인 순서에 따라 배치하고 있으며, 각 단계에 따른 분석기법의 구체적인 대응 관계는 다음과 같습니다.

일반적으로 학술 논문은 하나의 통계분석 기법만으로는 완성되지 않으며, 여러가지 분석기법들이 상호 보완적으로 유기적인 결합을 이루어져야 합니다.

논문을 작성할 때는 연구방법론 챕터에서 ‘자료의 분석 방법’ 서브 챕터에 연구자가 선택한 분석 기법과 선택의 근거를 아래의 예문에서와 같이 기술해야 합니다.

“본 연구의 연구가설 1을 검증하기 위해 두 집단 간의 평균 차이를 분석하는 독립표본 t-검정을 수행하였다. 그리고 연구가설 2와 연구가설3이 제시하는 다중 매개 효과를 평가하기 위하 구조방정식 모형 분석과 부트스트래핑(bootstrapping) 기법을 사용하였다.”

가상 사례: 유아교육학 석사과정 학생의 통계분석 기법 변경 과정 유아교육학을 전공하는 석사과정생 A씨는 ‘보육교사의 놀이 지원 역량과 교사 효능감이 직무만족도에 미치는 영향’이라는 주제로 석사학위 논문을 준비하고 있었습니다. 최근 학계 내에서의 유행을 의식하고 있었던 A씨는 자신의 논문에서도 구조방정식모형 분석을 사용해야 한다는 일종의 강박관념을 가지고 있었습니다. 그러나 A씨의 지도교수는 구조방정식모형 분석을 사용해야 하는 당위성을 검토하기 위해 ‘3단계 진단 원칙’을 살펴볼 것을 권고하였습니다. A씨는 진단 원칙을 꼼꼼하게 살펴본 후에 나타난 결과는 다음과 같았습니다. 첫째, 모든 핵심 변수들의 값은 리커트 5점 척도로 측정이 되었으며, 따라서 평균을 계산할 수 있었습니다(등간척도 요건 충족). 둘째, A씨의 연구 목적은 집단 간 평균의 차이를 평가하는 것이 아니며, 따라서 t-검정이나 분산분석은 타당한 통계분석 기법이 아니었습니다. 셋째, 연구모형은 두 개의 독립변수(놀이 지원 역량과 교사 효능감)가 하나의 종속변수(직무만족도)에 미치는 영향을 나타내고있으며, 따라서 다중회귀분석만을 사용하더라도 A씨가 기대하는 연구결과를 얻을 수 있었습니다. A씨가 확인할 수 있었던 가장 치명적인 제약 조건은 수집한 표본의 크기이었습니다. A씨가 회수한 유효한 설문지의 수는 총 140부입니다. 여러 변수 간의 공분산 구조를 안정적으로 추정하기 위해서는 최소 200명 이상의 표본이 필요한데, A씨가 수집한 표본의 크기만으로는 구조방정식모형 분석을 사용할 수 있는 조건을 충족하지 못한다는 점을 알게 되었습니다. 이에 따라 A씨는 통계분석에 관한 계획을 전면 수정하였습니다. 과도한 유행에 따라 선택하려고 했었던 구조방정식모형 분석을 활용하려는 계획을 폐기하고, 표본의 크기와 연구모형 구조를 고려하여 다중회귀분석을 사용하기로 결정하였습니다. 아울러 교사의 근속연수에 따른 직무만족의 차이를 조사하기 위해 당초에는 계획하고 있지 않았던 일원배치 분산분석을 사용하여 분석의 깊이를 제고할 수 있었습니다. (이 사례는 통계분석 컨설팅 과정에서 경험한 스토리를 기반으로 재구성한 가상의 시나리오입니다.)

자주 묻는 질문 (FAQ)

Q. 리커트 5점(또는 7점) 척도 문항은 엄밀하게 평가한다면 서열척도 vs. 등간척도입니까?

A. 엄밀하게 판단한다면, ‘매우 그렇지 않다(또는 전혀 동의하지 않는다)(=1)’와 ‘매우 그렇다(또는 매우 동의한다)(=5)’ 사이에 존재하는 심리적인 간격이 물리적으로는 완벽하게 동일하다고 증명할 수 없습니다. 따라서 리커트 척도는 서열척도로 분류하는 것이 타당합니다. 그러나 사회과학 분야에서는 다수의 리커트 설문문항들을 합산하여 하나의 잠재 변수로 구성한다면, 이에 따라 연속성의 특징을 가지는 데이터로 인식하게 되어 이를 실용적인 등간척도로 가정하여 모수적 통계 기법을 사용하는 것이 전세계적으로 널리 퍼진 학술적인 관행으로 정착되어 있습니다.

Q. 종속변수가 ‘이직 여부(예 vs. 아니오)’나 ‘합격 vs. 불합격’과 같이 두 개의 범주로만 구성된 경우에는 일반 회귀분석을 사용할 수 있습니까?

A. 절대로 사용할 수 없습니다. 일반적인 선형 회귀분석(OLS)은 종속변수가 정규분포를 따르는 연속형 변수(평균으로 계산이 가능한 값)라는 가정을 기반으로 설계된 통계기법입니다. 만약 종속변수의 값이 이분형 명목척도로 측정이 되었다면 로지스틱 회귀분석을 사용해야 합니다. 그리고 독립변수의 값과 종속변수의 값이 모두 범주형 데이터의 특징을 가진다면 교차분석을 사용한다는 것이 원칙입니다.

Q. 세 집단의 평균 차이를 비교할 때, t-검정을 A-B, B-C, A-C 의 방식으로 3번 반복해서 검증하면 분산분석을 대체할 수 있지 않을까요?

A. 결코 권장되어서는 안되는 방법론입니다. t-검정은 한 번 수행될 때마다 유의수준(일반적으로 5%)만큼의 1종 오류를 가지게 됩니다. 따라서 검정을 3번 반복해서 수행한다면 이 1종 오류의 누적 확률이 기하급수적으로 폭증하여 분석 결과의 신뢰성이 심각하게 훼손됩니다. 따라서 세 집단 이상을 동시에 비교할 때는 집단 간에 평균의 차이가 존재하는 지의 여부를 한 번의 ANOVA 분석을 수행하여 일괄적으로 검증한 후에, 관찰된 차이가 통계적으로 유의한 것으로 나타났다면 사후검정(예., Scheffe, Tukey 등)을 수행해서 어느 특정한 집단 간에 차이가 존재하는지를 보수적으로 짚어내는 표준 절차를 철저하게 준수해야 합니다.

Q. 표본의 크기가 부족한 소표본으로는 원천적으로 적용이 불가능한 통계분석 기법이 존재하나요?

A. 존재합니다. 대표적으로 공분산 기반의 ‘구조방정식모형 분석은 모수의 안정적인 추정과 적합도 검증을 위해 최소 200명 이상, 그리고 권장하는 표본의 크기인 300명 이상의 표본을 전제 조건으로 요구합니다. 다중회귀분석 역시 모형에 투입되는 독립변수 1개당 최소 10-15개 이상의 표본이 확보가 되어야 안정적인 검정력을 발휘합니다. 만약, 표본의 크기가 100명 미만이라면 부분최소제곱을 기반으로 하는 구조방정식모형 분석(PLS-SEM)으로 방법론적인 노선을 변경하는 것이 가장 현실적인 대안입니다.

Q. 분석을 수행하는 과정에서 당초에 계획했던 분석 기법을 다른 기법으로 임의로 변경해도 연구윤리에 위배되지 않을까요?

A. 데이터로부터 특징을 확인한 후에 수학적인 가정이 충족되지 않아 정당한 사유로 변경하는 것은 일상적이고 합리적인 연구 과정입니다. 예를 들어서, 수집한 데이터로부터 편향성이 관찰되어 정규성을 위반한다면, 기존의 모수적 통계 기법 대신에 만-휘트니(Mann-Whitney) 검정이나 크루스칼-왈리스(Kruskal-Wallis) 검정과 같은 비모수 통계 분석으로 전환하는 것은 방법론적으로도 매우 타당합니다. 단, 연구자의 연구가설을 억지로 채택시키기 위해 여러가지 통계분석 기법을 활용하고, 특히 통계적 유의성(p<0.05)을 나타내게 하는 분석 기법을 취사 선택하는 이른바 ‘p-해킹(p-hacking)’ 행위는 중대한 연구부정 행위에 해당합니다. 따라서 통계분석 기법을 변경해야 할 때에는 통계적인 전제 조건의 미충족 등을 포함하는 정당한 사유를 투명하게 기술해야 합니다.

Q. IBM SPSS 프로그램을 사용하지 않고 무료 통계 소프트웨어를 사용해서 논문을 작성해도 불이익이 없을까요?

A. 전혀 불이익이 없습니다. 오히려 최근의 학계에서는 오픈소스 기반의 R이나, R을 기반으로 직관적으로 설계한 인터페이스를 제공하는 jamovi, JASP의 활용이 증가하고 있습니다. 이 프로그램들은 SPSS가 제공하는 핵심적인 분석기법들을 완벽하게 제공합니다. 특히 R은 통계 패키지의 확장성이 IBM SPSS를 압도할 만큼 뛰어난 프로그래밍 언어입니다.

결론

학술 연구에 입문하는 초보 연구자들이 가장 흔히 겪는 시행착오는 통계분석 기법을 ‘본인의 학문적인 취향’이나 ‘최신 논문들에서 나타나는 유행’에 따라 자의적으로 선택할 수 있다고 오판하는 것입니다. 그러나 통계 분석은 연구자가 임의로 고르는 것이 아니라, 수집된 데이터가 가지는 고유한 특징과 수학적 조건들의 충족 여부를 철저하게 확인한 후에 이루어져야 하는 절차입니다.

이 절차는 크게 세 가지입니다. (1) 변수들의 값을 산술평균으로 계산할 수 있는가, (2) 독립된 집단 간의 평균의 차이를 비교하기 위한 연구가설을 검증하는가, 만약 그렇다면 비교 대상의 집단은 총 몇 개인가? (3) 집단 간의 비교가 아니라면 변수들이 가질 것으로 예상되는 인과성(causality)를 평가하는 것인가.