통계분석 3단계. 신뢰도와 타당도 검증: 크론바흐 알파(Cronbach’s alpha)와 요인분석의 수행결과를 해석하는 방법

신뢰도는 측정이 일관되게 이루어졌는지를 확인하고, 타당도는 연구자가 측정하려는 개념을 측정도구가 정확하게 측정하고 있는지의 여부를 검증하는 상호 독립적인 절차입니다. 만약 연구자가 수집한 자료에 대해 크론바흐 알파(Cronbach's alpha) 계수값에 의한 신뢰도 평가와 탐색적 요인분석을 통해 나타난 잠재요인의 구조가 최소만족 기준을 충족시키지 않는다면, 어떠한 통계분석 기법으로 접근하더라도 그 자료의 분석 결과에 대해 학술적인 타당성을 인정받을 수 없습니다.

이 글의 순서 7개 항목

1. 신뢰도와 타당도의 본질적인 차이는 무엇인가?
2. 크론바흐 알파(Cronbach’s alpha)의 계산과 평가 기준
3. 신뢰도 계수 값이 저조할 때의 대처 방안
4. 탐색적 요인분석(EFA) 수행 결과의 해석 기준과 방법
5. 신뢰도와 타당도의 평가 결과를 리포팅하는 방법
6. 자주 묻는 질문 (FAQ)
7. 결론

가령 5개 문항으로 구성된 설문 도구를 활용하여 ‘직무만족’이라는 잠재 구성개념(latent construct)의 수준을 측정하는 상황을 가정해 볼 수 있습니다. 수집된 문항의 응답값을 회귀분석이나 구조방정식모형(SEM)과 같은 주분석(main analysis) 모형에 투입하기 위해서는 사전에 두 가지 검증 절차가 필수적으로 선행되어야 합니다. 첫째는 5개 문항이 모두 단일한 개념을 내적 일관성을 유지하며 안정적으로 측정하고 있는가를 확인하는 ‘신뢰도 분석(reliability analysis)’입니다. 둘째는 해당 척도가 연구자가 본래 의도했던 ‘직무만족’이라는 개념적인 실체를 정확히 포착하고 있는가를 평가하는 ‘타당도 검증(validity analysis)’입니다.

이 두 가지 평가 기준 중에서 어느 하나라도 통과기준을 충족하지 못한다면, 해당 변수는 회귀분석이나 t-검정과 같은 통계 모형의 분석 자료로 투입될 수 없습니다. 이들의 검증 절차를 무기하고 분석을 강행하여 통계적 유의확률(p-값)을 확보하더라도, 측정 자체의 결함으로 인해 도출된 분석 결과의 신뢰도와 타당성을 학술적으로 정당화하기는 불가능합니다. 따라서 측정도구에 대한 엄격한 평가는 후속하는 모든 통계 분석 결과의 신뢰성과 설명력을 담보하는 필수적인 전제 조건입니다.

신뢰도와 타당도의 본질적인 차이는 무엇인가?

두 개념은 측정의 정확성에 관하여 서로 다른 차원의 검증 기준을 제시합니다. 신뢰도(reliability)는 측정도구가 측정 오차 없이 측정하려는 대상을 얼마나 일관되게 측정하는지를 평가합니다. 반면에 타당도(validity)는 연구자가 측정하려고 의도하였던 개념을 그 도구가 얼마나 정확하게 측정하고 있는지의 여부를 평가합니다.

체중계를 예로 들면, 동일한 대상을 반복적으로 측정하였을 때 항상 ’60kg’이라는 값을 얻는다면 그 측정도구의 신뢰도는 높다고 볼 수 있습니다. 그러나 실제 체중이 55kg임에도 체중계의 결함으로 인해 오늘 측정한 체중이 50kg, 어제의 체중 값이 60kg이라면 그 체중계는 신뢰도가 결여된 도구입니다. 한편, 측정할 때마다 불규칙하게 측정하는 체중계는 측정 오차를 통제하지 못하며, 따라서 타당도를 평가할 수 있는 기반 자체가 마련되지 않습니다. 결국, 신뢰도는 타당도를 확보하기 위한 필수 전제조건입니다.

일반적으로 횡단적 연구(cross-sectional study)에서의 신뢰도는 잠재 변수의 값을 측정하기 위한 문항 간의 내적 일관성(internal consistency)으로 평가하며, 구체적으로는 크론바흐 알파(Cronbach’s alpha) 계수 값을 계산하여 기준을 충족시키는지의 여부로 판단합니다. 타당도는 복수의 문항이 연구자가 의도한 개념 단위에 부합하게 수렴하는지를 통계적으로 확인하는 탐색적 요인분석(exploratory factor analysis, EFA)을 통해 검증합니다.

신뢰도와 타당도가 이미 검증된 선행연구에서의 척도를 어떠한 수정과정도 거치지 않고 사용한다면 요인분석의 과정을 생략하고 신뢰도 계수 값만을 리포팅하는 것이 관행입니다. 그러나 연구대상의 특성이 선행연구에서의 대상과 서로 다르거나 문항의 일부를 발췌하여 수정하였다면 탐색적 요인분석을 수행해야 합니다.

크론바흐 알파(Cronbach’s alpha)의 계산과 평가 기준

SPSS 프로그램을 통해 신뢰도 계수를 계산하는 경로는 [분석] -> [척도분석] -> [신뢰도 분석]입니다. 대화 상자가 출력되면 단일 잠재 변수(예., 직무만족)에 대응하는 측정 문항들을 선택하여 항목(items)에 투입하고, 모형은 기본값인 ‘알파(Alpha)’로 설정합니다. 이때 [통계량] 메뉴에서 ‘항목 제거 시 척도(Scale if item deleted)’ 옵션을 반드시 지정해야 합니다. 이 기능은 특정한 문항을 척도에서 제외했을 때 잔여 문항의 신뢰도 계수 변화를 나타냅니다. 이를 통해 전체 신뢰도를 저해하는 문항을 식별할 수 있습니다.

분석 과정에서 흔히 발생하는 대표적인 오류는 다른 잠재 변수를 구성하는 설문 문항(예., 직무만족 5문항 + 조직몰입 5문항 + 이직의도 5문항 = 총 15개 문항)을 함께 투입해서 알파 값을 계산하는 것입니다. 크론바흐 알파 계수는 하나의 구성개념 값만을 측정하는 문항 간의 내적 일관성을 평가하는 지표입니다. 따라서 구성개념의 단위로 분리해서 신뢰도 분석을 수행해야 합니다. 물론 각 변수에 따른 독립적인 신뢰도 계수를 각각 계산한 결과를 논문에 기술해야 합니다.

표 1.은 크론바흐 알파 값에 따른 학계 내에서의 일반적인 수용 기준을 나타내고 있습니다.

신뢰도 계수 값이 저조할 때의 대처 방안

크론바흐 알파 계수 값이 수용 기준인 0.60 (또는 0.7) 미만으로 나타났을 때 신뢰도의 수준을 훼손하는 문항을 즉시 삭제하는 것은 바람직하지 않습니다. 문항 제거를 결정하기에 앞서 다음과 같은 진단 절차를 거쳐야 합니다.

• 1단계: 역코딩 문항(reverse-scored item) 확인: 신뢰도 값이 낮게 나타나는 원인의 상당수는 역코딩 문항값을 변환하지 않은 것에서 비롯됩니다. 만약 부정형으로 서술한 문항의 값을 변환하지 않는다면 문항 간의 공분산(co-variance)이 상쇄되어 신뢰도 값이 작아지게 됩니다.
• 2단계: 문항 간 상관행렬(inter-item correlation matrix) 확인: 신뢰도 분석을 수행할 때 ‘통계량’ 옵션에서 ‘문항 간 상관관계’를 확인합니다. 만약 상관행렬에서 특정한 문항이 다른 문항들과 뚜렷한 음(-)의 상관관계를 가진다면, 해당 문항이 역코딩으로 처리되지 않았거나, 또는 연구 대상의 개념에서 이탈하여 반대 방향으로 응답되었음을 시사합니다.
• 3단계: ‘항목 제거 시 크론바흐 알파’ 확인: 특정한 문항을 제거했을 때 신뢰도 값이 상승하는지를 확인합니다. 만약, 특정한 문항(예., 5번 문항)을 제거한 후에 알파 계수의 값이 개선된다면, 그 문항을 내적 일관성을 저해하는 문항으로 판정하여 최종 척도에서 제외하는 방안을 고려해야 합니다. 단, 척도에서 제거한다며 이에 관한 문헌적인 근거를 통해 그 정당성을 서술해야 합니다.

탐색적 요인분석(EFA) 수행 결과의 해석 기준과 방법

탐색적 요인분석은 다수의 설문 문항을 공통 성분으로 가지는 소수의 잠재 요인으로 축약해서 연구자가 설정한 이론적인 개념(예., 직무만족, 조직몰입)에 부합하게 문항들이 범주화되는지를 평가하는 절차입니다.

요인 추출(extraction) 방법은 주성분 분석(principal component analysis, PCA)과 최대우도법(maximum likelihood, ML)이 주로 활용됩니다. 요인 회전(rotation) 방법은 잠재 변수 사이에 상관관계의 존재를 가정한다면 사각 회전(oblique rotation) 방식인 프로맥스(Promax)나 직접 오블리민(Direct Oblimin)을 사용합니다. 또는, 요인 간 의 독립성을 가정한다면 직교회전 방법인 베리맥스(Varimax)를 사용합니다.

표 2.는 탐색적 요인분석의 수행에 관한 평가 지표를 나타내고 있습니다.

표 2.에 제시된 판정 기준을 충족하고 각 측정 문항이 연구자가 설계한 개념 구조에 수렴한다면, 측정도구의 타당도가 확보된 것으로 판단할 수 있습니다. 반면, 서로 다른 개념을 측정하는 문항들이 동일한 성분에 수렴하는 것으로 나타난다면, 응답자가 두 개념을 명확히 구분하지 못하였음을 의미합니다. 아울러 특정 문항이 복수의 요인에서 동시에 교차 적재(cross-loading)되어 있다면, 해당 문항은 두 개 이상의 속성을 동시에 내포하고 있는 이중 질문(double-barreled question)일 가능성이 높습니다.

신뢰도와 타당도의 평가 결과를 리포팅하는 방법

신뢰도와 타당도의 평가 결과는 논문의 본문에서 요약 테이블과 함께 아래의 서술문을 병행하여 제시합니다.

• 신뢰도: 본문에서는 “10개의 구성개념의 값을 측정하기 위해 사용한 설문문항에 대해 계산한 크론바흐 알파 계수는 최소값 0.78, 최대값 0.91의 범위(range)를 가지는 것으로 나타났다. 이는 최소만족 기준인 ‘0.70 이상’을 충족시키며, 따라서 본 연구가 사용한 측정도구의 신뢰도는 적절한 것으로 판단하였다“라고 서술합니다.
• 타당도: 요인분석의 수행 결과에 대해, “요인분석의 적합성은 바틀렛의 구형성 검정 (Bartlett’s test of sphericity)과 KMO (Kaiser-Meyer-Olkin) 값으로 평가하였다. 계산을 수행한 결과, 바틀렛의 구형성 검정값은 유의수준 p=0.000<0.05에서 2075.702(231)로 나타났으며, KMO=0.888으로 계산되었다. 따라서 수집된 설문 문항의 측정값들에 대해서 요인분석의 수행이 적합하다고 판단하였다. 요인분석을 수행하기 위하여 요인회전과 요인추출 방법은 각각 배리맥스 (Varimax)와 주성분분석 (principal component analysis)를 사용하였다. 본 연구에서는 요인 적재량의 값이 0.6 이상을 가진 성분을 요인추출 기준으로 선정하였다. 요인분석을 수행한 결과, 5개의 성분을 추출하였다. 모든 요인 적재량은 0.6 이상의 값을 가지며 교차적재가 나타나지 않았다. 따라서 모든 설문 문항과 측정된 값을 최종 분석에서 사용되었다.“와 같이 기술합니다.

사례 분석: 측정도구의 신뢰도 개선 과정 상담심리학을 전공하는 연구자 D씨는 4개의 구성개념 값을 측정하기 위해 사용한 설문문항에 대해 신뢰도를 분석하였습니다. 3개의 개념에 대해서 계산한 크론바흐 알파(Cronbach’s alpha) 계수 값은 모두 0.85 이상인 것으로 나타났습니다. 하지만 ‘상담사 소진(counselor burnout)’ 척도의 알파 계수는 기준에 미달하는 0.53으로 계산되었습니다. 이에 따라 연구자 D씨는 원인을 규명하기 위해 3단계 진단 절차를 수행하였습니다. 첫째, 역코딩 문항 값의 누락 여부를 확인하였지만, 척도는 애초부터 역문항을 사용하지 않았습니다. 한편, 문항 간의 상관행렬(inter-item correlation matrix)을 확인한 결과, 7번 문항만이 유일하게 다른 문항들과 음(-)의 상관관계를 가지고 있음을 확인하였습니다. 그리고 7번 문항을 제거한 후에 크론바흐 알파 값을 다시 계산한 결과, 알파 계수의 값이 0.53에서 0.81로 향상되었습니다. 7번 문항의 내용을 검토한 결과, 다른 문항들이 상담사의 전반적인 정서적 소진 상태를 측정한 반면, 7번 문항은 특정한 돌발 상황(예., “내담자가 폭언을 할 때에 스트레스를 받는다”)에 국한된 정서적인 반응을 측정하여 응답의 이질성을 유발한 것으로 분석되었습니다. (본 사례는 상담심리학 논문컨설팅 사례를 바탕으로 구성한 가상의 시나리오입니다.)

자주 묻는 질문 (FAQ)

Q. 기존의 원척도를 그대로 사용하더라도 요인분석을 다시 수행해야 하나요?

A. 원 척도의 워딩을 수정이나 축약하지 않고 표본의 인구통계학적인 특성이 선행연구의 연구대상 특징과 일치한다면, 탐색적 요인분석을 거치지 않아도 무방합니다. 그러나, 문항의 표현을 일부 수정하였거나, 조사 대상의 집단이 그 설문도구를 사용한 원문에서의 대상자 집단과 서로 다르거나(예., 성인 대상의 척도를 청소년 집단에 사용), 또는 영문으로 설계된 척도를 한국어로 번역하여 사용한다면 반드시 요인분석을 거쳐 수집한 자료에서도 척도의 타당성이 유지가 되는지의 여부를 검증해야 합니다.

Q. 크론바흐 알파(Cronbach’s alpha) 계수 값이 0.95 이상으로 크게 계산되었는데, 이것을 어떻게 해석해야 하나요?

A. 일반적으로 사회과학 연구를 다룰 때에 알파 계수 값이 지나치게 크다면(예., 0.95), 문항 간의 과도한 중복성(item redundancy)을 의심해야 하는 지표로 해석해야 합니다. 이는 측정도구를 구성하는 문항들이 어휘나 문장의 구조에 일부 변화를 주어 동일한 개념을 반복해서 측정하고 있음을 시사합니다. 이를 통해 조사 대상자가 응답을 하는 과정에서 피로도를 느꼈을 가능성을 배제하기가 어렵습니다. 따라서 척도의 문항 중에서 불필요하게 서로 반복되거나 중복되는 일부 문항을 선별하고 배제하여 문항의 간결성과 측정의 효율성을 제고해야 할 필요가 있습니다.

Q. 요인분석을 수행한 결과, 요인 적재량이 최소만족 기준에 미달해서 다수의 문항을 제거해야 할 것 같습니다. 학술적으로 허용되는 문항 삭제의 기준은 무엇인가요?

A. 삭제가 가능한 문항 수에 대한 상한선은 마련되어 있지 않으나, ‘최소 문항 수 확보의 원칙’을 준수해야 합니다. 하나의 잠재요인 값을 안정적으로 측정하고, 예를 들어서 구조방정식 모형(structural equation modeling, SEM) 분석 의 모델식별(model identification) 조건을 충족하기 위해서는 요인당 최소 3개(권장 4개 이상)의 측정 문항이 확보되어야 합니다. 만약 하나의 요인이 2개 이하의 측정변수로 구성이 된다면, 그 잠재 개념에 대해 계산된 타당도는 심각하게 저해됩니다. 따라서 잠재 변수가 아닌 관측 변수로 분석 모형을 다시 설계하거나, 분석을 대체할 수 있는 방안을 강구해야 합니다.

Q. 베리맥스(Varimax) vs. 프로맥스(Promax) 중에서 어떤 요인 회전(factor rotation) 방식을 사용해야 하나요?

A. 베리맥스는 추출된 요인 사이에 상관관계가 존재하지 않는다는(완전 독립) 가정을 전제하는 직교 회전(orthogonal rotation) 방식입니다. 반면에 프로맥스와 직접 오블리민(Direct Oblimin)은 상관관계의 존재를 가정하는 사각 회전(oblique rotation) 방식입니다. 사회과학 또는 심리학 분야에서 다루어지는 잠재 변수(예., 직무만족, 조직몰입, 이직의도)들은 개념적으로 서로 밀접한 관련성을 가지는 경우가 대부분입니다. 따라서 수집한 자료의 속성(예., 상관관계)을 타당하게 반영할 수 있는 사각 회전 방식(예., 프로맥스 등)을 사용하는 것이 일반적으로 관찰되는 패턴입니다.

Q. 확인적 요인분석(confirmatory factor analysis; CFA)은 연구의 어느 단계에서, 어떠한 경우에서 수행해야 하나요?

A. 탐색적 요인분석(EFA)은 수집된 자료의 요인구조를 바탕으로 문항 간의 결합 양상을 데이터 주도적(data-driven)으로 탐색하는 기법입니다. 반면에 확인적 요인분석은 연구자의 분석모형이 이론적으로 탄탄하게 뒷받침이 되는가의 여부를 평가할 때 사용합니다. 그리고 가설화된 측정 모형(measurement model)과 수집한 자료 간의 적합도를 모형 적합도 지수(예., CFI, TLI, RMSEA 등)를 계산하고 통계적으로 검증하는 기법입니다.

확인적 요인분석은 구조방정식모형 분석을 위한 선행 절차인 측정 모형의 타당도 평가를 위해 필수적으로 요구되는 단계입니다. 반면, 통계분석 기법으로 독립표본 t-검정이나 다중회귀분석을 수행한다면 탐색적 요인분석의 수행 결과만으로도 학술적인 타당도 보고의 기준을 충족할 수 있습니다.

결론

신뢰도와 타당도는 서로 다른 측정의 속성을 검증한 결과를 나타냅니다. 신뢰도가 측정 도구의 일관성을 의미한다면, 타당도는 도구의 정확성을 뜻합니다. 적정한 수준의 신뢰도를 확보하더라도 타당도가 결여될 수 있습니다. 하지만, 적정한 타당도를 확보하기 위해서는 적정한 수준의 신뢰도가 이미 확보되어 있어야 합니다. 따라서 신뢰도와 타당도의 검증 과정에서는 신뢰도의 평가가 우선적이어야 합니다.

크론바흐 알파 계수는 각각의 구성개념별로 분리해서 계산해야 합니다. 일반적인 신뢰도의 평가 기준은 0.70 이상일 때 양호한 수준으로 판단하며, 0.60 이상은 탐색적인 특징을 가지는 연구에 한해 수용이 가능합니다. 반면, 알파 계수의 값이 0.60 미만으로 계산되었다면 그 원인을 찾아야 합니다. 단, 알파 계수는 구성개념을 이루는 문항의 수에 영향을 받습니다. 문항의 수가 적을수록 과소추정되고, 반면에 수가 많을수록 과대추정이 됩니다. 따라서 알파계수의 수준 뿐만 아니라 척도의 특성을 종합적으로 고려해서 평가해야 합니다.

신뢰도 계수가 기준에 미달한다면, 부정형 문항의 역코딩 문항 값을 변환하였는지, 문항 간의 상관행렬을 조사해서 음(-)의 상관관계를 나타내는 문항이 있는지, 그리고 ‘항목 제거 시 크론바흐 알파’ 값을 계산해서 특정한 문항을 제거한 후 신뢰도 값의 변화 수준을 평가합니다. 문항의 최종 삭제 여부는 문항을 제거한 후 알파 계수의 개선 정도와 함께, 잔여 문항들이 구성개념의 내용 타당도(content validity)를 여전히 담보하는지의 여부를 종합적으로 판단해서 결정해야 합니다.

측정도구의 타당도는 탐색적 요인분석을 통해 평가합니다. 요인추출과 요인회전의 방법은 연구의 목적과 구성개념 간의 상관관계 여부 등을 고려해서 셋팅해야 합니다. 요인분석을 수행하기에 앞서 수행의 적합도를 평가해야 하며, 이를 위해서는 KMO 측도와 Bartlett의 구형성 검정 값을 기준으로 삼습니다. 고유값(eigenvalue) 1.0 이상을 기준으로 추출된 성분의 수를 확인하고, 요인 적재량이 0.40 이상(또는 0.5, 0.6 등)을 기준으로 각 측정문항의 성분별 소속의 여부을 판정합니다.

신뢰도의 검증 결과를 각 구성개념에 따른 측정 문항의 수와 알파 계수 값을 테이블로 기술해서 리포팅해야 합니다. 만약 정제(purification) 과정에서 일부의 문항을 제거하였다면, 그 정확한 사유와 이력, 그리고 최종 문항의 구성을 본문 또는 테이블의 각주에 기술해야 합니다.