연구방법 7단계. 변수와 측정: 모호한 개념을 통계 모형으로 전환하는 ‘조작적 정의’

연구자가 추상적인 개념의 값을 계량화된 데이터로 변환하지 못하면 통계분석을 수행할 수 없습니다. 이러한 변환의 방법론적인 타당성을 심사위원에게 입증하는 방안은 명확한 조작적 정의(operationalization)를 수립하고, 신뢰도와 타당성이 검증된 측정도구를 선택하는 것입니다.

이 글의 순서 7개 항목

1. 연재글 순서
2. 추상적인 개념의 값을 숫자로 전환하는 4단계 변환 절차
3. 변수의 역할 구분: 매개변수와 조절변수의 혼동 방지 기준
4. 측정 수준(measurement level)의 위계: 연령을 범주형으로 측정하지 말아야 하는 이유
5. 측정도구 수정의 한계와 ‘제3장. 연구의 방법’ 서술의 원칙
6. 자주 묻는 질문 (FAQ)
7. 결론

“저는 중소기업 재직자들이 느끼는 ‘행복’이 ‘성과’에 미치는 영향을 연구하겠습니다.”

연구 초기에 이와 같은 야심 찬 주제를 들고 지도교수를 찾아가면, 십중팔구 “그런데 행복을 무엇으로 어떻게 측정할 것인가? 성과는 통장 잔고인가, 아니면 인사고과인가?“라는 지적을 받을지도 모릅니다.

‘행복’이나 ‘성과’는 꽤나 철학적인 단어입니다. 누군가에게 행복은 “퇴근 후 맥주 한 캔”이고, 누군가에게는 더 높은 사회적 지위로 오르려는 “승진”입니다. 만약 연구자가 생각하는 행복과 응답자의 행복이 서로 다르다면, 어느 설문도구를 사용해서 그 값을 측정하더라도 그 데이터를 사용할 곳을 찾지 못합니다.

이와 같이 양적 연구는 모호한 개념(또는 구성개념, construct)을 누구나 동일하게 이해하고 계량화할 수 있는 변수(variable)로 구체화하는 작업에서부터 시작합니다. 눈에 보이지 않는, 또는 물리적인 도구로 값을 측정할 수 없는 추상적인 개념을 계량화해서 통계 프로그램이 다룰 수 있게 만드는 정교한 변환 작업을 학계에서는 ‘조작적 정의(operationalization)’라고 부릅니다. 만약 이 변환 작업이 부실하다면 연구의 측정 타당도는 첫 단계에서부터 훼손됩니다.

연재글 순서

1. 연구문제가 방법을 정한다: 연구방법 선택의 판단을 위한 경로
2. 양적 연구 vs. 질적 연구: 연구 패러다임의 충돌과 방법론 선택의 기준
3. 혼합연구 방법론(Mixed Methods Research): 양적연구와 질적연구의 통합적인 설계 전략
4. 설문조사 연구의 설계: 설문지를 설계하기 전에 확인해야 하는 방법론적인 청사진
5. 실험 연구의 설계: 중재 프로그램의 순 처치 효과 규명을 위한 인과 추론의 방법론적인 체계
6. 사례연구와 문헌연구: 데이터를 수집하지 않고 기존의 자료(archival data)를 활용하는 연구설계
7. 변수와 측정: 모호한 개념을 통계 모형으로 전환하는 ‘조작적 정의’
8. 타당도의 위협: 연구설계의 취약 지점과 타당도의 저해 요인
9. ‘제4장. 연구의 방법’ 작성: 재현 가능성(replicability)의 구현

추상적인 개념의 값을 숫자로 전환하는 4단계 변환 절차

연구자가 구상한 개념의 값을 측정하기 위해 설문지 문항으로 구체화하기 위해서는 다음의 4단계를 순서대로 거쳐야 합니다. 만약 2단계인 ‘하위 구성 요소의 분해’를 생략하고 선행연구로부터 측정도구를 급하게 가져와서 사용하려 한다면, ‘추상적인 개념’과 측정 도구 사이의 논리적인 연계성이 훼손됩니다.

1단계: 개념적 정의(conceptual definition)를 수립

일반적인 사전적 정의가 아니라, 해당 학문 분야에서 학술적으로 합의된 정의를 선행연구로부터 식별해서 설정합니다. (예., ‘직무스트레스’는 개인이 직무를 수행하는 과정에서 체험하는 환경적인 요구와 개인적 역량 간의 불균형으로 인해 발생하는 부정적인 심리 상태를 의미함(Smith, 2018)).

2단계: 하위 구성 요소(sub-factors)의 분해

추상적인 개념은 단일한 차원으로만 존재하지 않습니다. 따라서 철저하게 선행연구에 근거해서 개념을 구성하는 여러가지 하위 차원이나 요인으로 분해합니다 (예., 본 연구에서는 직무스트레스를 ‘역할 과부하’, ‘역할 갈등’, ‘역할 모호성’을 포함하는 3개의 하위 요인으로 구성함.)

3단계: 측정도구(scale/inventory)의 선정

2단계에서 식별한 3개의 하위 구성개념을 타당하게 측정하기 위해서는 선행연구를 통해 신뢰도와 타당도가 이미 검증된 척도를 선택해야 합니다 (예., 직무스트레스의 값을 측정하기 위해 Parker(1990)가 개발하고 김○○(2020)이 한국어 버전으로 번안과 타당화를 수행한 총 15문항으로 이루어진 척도를 활용함.)

4단계: 조작적 정의(operational definition)의 서술

변수의 값을 어떠한 과정을 거쳐 측정하였는지를 기술하고, 측정한 점수의 해석 방향을 설명합니다 (예., “본 연구가 다루는 직무스트레스는 ‘Parker(1990)의 척도를 활용하여 측정한 문항 응답의 평균 점수’로 조작적으로 정의하며, 점수가 높거나 낮을수록 응답자가 지각하는 직무스트레스의 수준이 각각 높거나 낮음을 의미함.”)

변수의 역할 구분: 매개변수와 조절변수의 혼동 방지 기준

연구자가 추상적인 개념을 변수로 전환한 후에는, 연구 모형 내에서 각 변수가 수행하는 역할을 마련해야 합니다.

경험이 많지 않은 연구자가 연구를 설계할 때 흔히 하는 고민은 “이 변수를 매개변수로 넣을까요, 아니면 조절변수로 넣을까요?“입니다. 그런데 이 고민은 통계로 해결하는 것이 아니라 변수들 사이의 시간적인 선후 관계(timeline)에 기반한 논리를 통해 해결해야 합니다.

• 매개변수의 판별 기준: 독립변수(X)의 사건이 발생한 직후에 생기거나 변화하는 내면의 상태 혹은 태도라면 매개변수로 가져가야 합니다. 예를 들어서, 갑질을 당해야(X) 자존감이 떨어집니다(M).
• 조절변수의 판별 기준: 독립변수(X)라는 사건이 발생하기 전부터 이미 존재하고 있던 개인의 고유한 특성(예., 성격, 성별)이나 외부적인 환경 요건이라면 조절변수로 설정해야 합니다. 예를 들어서, 동료의 위로나 본인의 회복탄력성은 갑질을 당하기 전부터 이미 갖추고 있었던 조건(W)입니다.

측정 수준(measurement level)의 위계: 연령을 범주형으로 측정하지 말아야 하는 이유

변수의 값을 측정할 때 부여하는 수치의 속성, 즉 측정 수준은 연구자가 접근할 수 있는 통계 분석 기법의 종류를 제한합니다. 다음의 순서에서는 아래로 내려갈 수록 정보의 수준이 높아지고, 분석의 자유도가 증가합니다.

• 명목(nominal) 변수: 값 자체에 양적인 크기나 서열의 의미가 없으며, 대상을 범주화하기 위해 부여한 분류 기호입니다(예., 1=’남성’, 2=’여성’ / 1=’영업 부서’, 2=’인사 부서’). 명목 변수 값에 대해 평균을 계산할 수 없으며, 빈도분석이나 교차분석만을 수행할 수 있습니다.
• 서열(ordinal) 변수: 대상 간의 순위는 존재하지만 측정 단위 간의 간격이 동일하지 않은 변수입니다(예., 1=’1위’, 2=’2위’, 3=’3위’ / 1=’중학교 졸업’, 2=’고등학교 졸업’, 3=’대학교 졸업’). 일반적으로 순위 상관분석이나 비모수 통계 분석 기법으로 접근합니다.
• 등간(interval) 변수: 측정값 사이에 순위가 존재하고 간격이 일정한 변수입니다. 사회과학 연구에서 널리 활용하는 변수의 형태입니다. 5점 리커트 척도(예., 1=‘전혀 그렇지 않다’, 5=‘매우 그렇다’)로 측정한 문항 값의 합산 평균 점수입니다. t-검정, 분산분석, 회귀분석 등의 모수적 통계 분석에서 종속변수의 값으로 폭넓게 활용할 수 있습니다.
• 비율(ratio) 변수: 측정 간격이 일정할 뿐만 아니라 절대 영점(0)이 존재하여 값 사이의승제(배수) 계산이 가능한 변수입니다(예., 실제 연령 28세, 월 급여 350만 원, 근속 기간 5.2년).

초심 연구자가 흔히 범하는 오류: 정보 측정 수준의 자의적인 축소

설문지를 설계할 때 응답자의 편의를 위해서 연령의 값을 “① 20대, ② 30대, ③ 40대”와 같이 범주화(서열 변수)하는 경우를 매우 흔하게 볼 수 있습니다. 하지만 이 방식으로 수집한 자료는 “연령이 1살 증가할 때 스트레스 지수가 얼마나 변화하는가?”라는 인과관계를 평가하기 위한 선형 회귀모형에 투입할 수 없습니다.

따라서 자료를 수집할 때는 가장 높은 측정 수준인 비율 변수의 형태, 즉 ‘값’을 직접 적도록 문항을 설계해야 합니다. 예를 들어서 ‘연령: (28)세’와 같이 연속형 값으로 수집한다면, 분석의 목적에 따라서는 사후에라도 연령대 범주로 다시 분류할 수 있습니다. 하지만 애초부터 범주형 값을 수집하였다면 이 값을 연속형 값으로 환원할 방법이 전혀 없습니다.

측정도구 수정의 한계와 ‘제3장. 연구의 방법’ 서술의 원칙

연구자는 원척도 개발자의 측정도구를 자신의 연구 대상과 맥락에 맞게 수정해야 하는 상황을 맞이할 수 있습니다. 예를 들어서, “해외 척도를 번역하는 과정에서 어휘가 부자연스러운데 표현을 일부 수정해도 되는가?”, 혹은 “15개의 모든 문항을 사용하기에는 문항의 수가 너무 많아서 임의로 7개 문항만을 선별해도 되는가?”와 같은 고민이 발생합니다.

어휘를 자연스럽게 다듬거나 연구 대상의 맥락을 반영해서 대상을 구체화하는 수정(예., ‘직장 상사’를 ‘수간호사’로 변경)은 일반적으로 허용되며, 도구의 내용타당도에 큰 영향을 미치지 않습니다.

그러나 연구자가 자의적으로 문항의 수를 대폭 축소하거나 서로 다른 두 학자의 척도를 임의로 혼합해서 설계하는 행위를 반드시 피해야 합니다. 이는 기존의 측정도구가 오랫동안의 연구를 거쳐 검증받아 온 신뢰도와 요인 구조를 훼손하는 원인이 됩니다. 그리고 논문심사 과정에서 크게 지적받을 수 있습니다. 만약 문항의 수를 축소한 척도를 사용해야 한다면 단축형 척도(short-form scale)를 활용해야 합니다.

논문의 ‘제3장. 연구의 방법’에서 측정도구에 관한 내용을 기술할 때에는, 각 변수마다 다음의 서술원칙을 적용해야 합니다.

[직무스트레스 변수에 관한 서술 템플릿]

① 본 연구는 직무스트레스를 ‘직무의 수행 과정에서 개인이 지각하는 부정적인 압박감’으로 정의하였다(Smith, 2018).

② 직무스트레스의 수준을 측정하기 위해 본 연구는 Parker(1990)가 개발하고 김○○(2020)이 한국어로 번안과 타당화한 척도를 바탕으로, 본 연구 대상인 간호사 직무의 특성과 맥락을 반영해서 일부 어휘를 수정 및 보완한 버전을 사용하였다.

③ 측정도구는 ‘역할 과부하’(5문항), ‘역할 갈등’(5문항), ‘역할 모호성’(5문항)을 포함하는 3개 하위 요인, 총 15개의 문항으로 이루어져 있다.

④ 각 문항은 5점 리커트(Likert) 척도(예., 1=‘전혀 그렇지 않다, 5=‘매우 그렇다)로 평정한다. 측정한 직무스트레스 값의 평균 점수가 낮거나 높을수록 응답자가 지각하는 직무스트레스 수준이 각각 낮거나 높음을 의미한다.

⑤ 김○○(2020)의 연구결과에서 나타난 신뢰도 계수(Cronbach’s α)는 .85로 평가되었다. 본 연구에서 계산된 Cronbach’s α 계수값은 .88이며, 이는 측정도구의 높은 신뢰도를 나타내고 있다.

가상 사례: 아동학 석사과정 연구자의 조절변수와 매개변수 선택의 오류 극복 과정 아동학을 전공하는 석사과정 연구자 A씨는 ‘부모의 양육 스트레스(X)가 아동의 정서 불안(Y)에 미치는 영향’이라는 연구주제로 학위논문을 준비하고 있었습니다. A씨는 독립변수와 종속변수의 관계에서 부정적인 영향을 완화할 것으로 예상되는 변수인 ‘부모의 지지(W)’의 투입 여부를 고려하고 있었습니다. 그러나 연구모형을 정교화하는 과정에서 사회적 지지를 독립변수와 종속변수 사이의 관계를 매개하는 매개변수로 투입해야 할지, 아니면 두 변수 관계의 강도를 조절하는 조절변수로 투입해야 할지 판단하는 데 어려움을 겪었습니다. 연구자 A는 지도교수의 조언에 따라 변수들 사이의 ‘시간적인 선후 관계 판별 기준’으로 접근하였습니다. “양육 스트레스가 발생한 이후에 그 결과로서 과연 사회적 지지가 형성될 수 있는가?”라는 질문에 대해 고민을 한 결과, 사회적 지지(예., 가족의 양육 지원, 지역사회 돌봄 체계 등)는 양육 스트레스가 발생하기 이전부터 이미 조성되어 있던 환경적인 조건이라는 점을 알 수 있었습니다. 이는 스트레스를 경험한 이후에 발생하는 내면의 반응이나 태도적 변화가 아니며, 따라서 사회적 지지를 매개변수로 투입하는 것은 적절하지 않다는 결론에 이르렀습니다. 변수의 시간적 선후 관계와 고유한 속성을 이해한 A씨는 ‘사회적 지지’를 조절변수로 투입하기로 결정하였습니다. 그리고 “부모의 양육 스트레스 수준이 높을수록 아동의 정서 불안이 증가하지만, 사회적 지지 체계가 양호하게 구축된 집단에서는 양육 스트레스에 의한 부정적인 영향이 완화될 것이다”라는 조절효과 가설을 설계하였습니다. (본 사례는 아동학 석사학위논문 컨설팅 후기를 바탕으로 재구성한 가상의 시나리오입니다.)

자주 묻는 질문 (FAQ)

Q. 변수의 값을 측정할 때 5점 리커트 척도보다 7점 척도를 활용하는 것이 더욱 정밀하고 우수한 연구 결과를 도출하나요?

A. 7점 척도는 측정한 값의 분산 범위가 확대되어 통계 분석 결과의 민감도를 높이는 데 유리할 수는 있으나, 응답자의 변별 한계를 함께 고려해야 합니다. 학계의 연구 결과에 따르면, 동양 문화권의 응답자들은 7점 척도를 평정할 때 양 극단(1점, 7점)의 선택을 기피하고 중간값(4점)에 응답하려는 중심화 경향(central tendency)을 강하게 나타냅니다. 반면, 5점 리커트 척도(1=‘전혀 그렇지 않다’, 5=‘매우 그렇다’)는 일반 응답자가 과도한 인지적인 노력을 투입하지 않고 각 척도 사이의 의미를 직관적으로 변별할 수 있다는 특징을 가집니다.

Q. 측정도구를 개발한 저자가 해외 학자라면, 그 척도를 연구자가 직접 번역해서 사용해도 무방한가요?

A. 경험이 많지 않은 연구자라면 반드시 지양해야 하는 접근 방식입니다. 측정도구를 설계한 원저자가 소속한 국가의 언어와 문화적인 맥락이 우리나라와 다르다면, 우리나라 연구자가 자의적으로 번역한 도구에서의 내용타당도를 보장하기 어렵습니다. 따라서 국내 선행 연구자들이 역번역(back-translation)과 전문가 감수 절차를 거쳐 한국어로 번안하고, 학술지(예., KCI 등재지)로 출판해서 타당도가 평가된 한국어 척도를 사용해야 합니다. 학술적으로 공인된 척도의 문항을 수정하지 않고 활용해야만 측정의 타당성을 둘러싼 방법론적인 논란을 예방할 수 있습니다.

Q. 설문지를 설계할 때 역코딩 문항(reverse-scored item)을 반드시 포함해야 합니까?

A. 모든 문항이 긍정문으로만 구성되면, 응답자가 문항을 읽지 않고 동일한 패턴으로 일괄 표기하는 응답 편향(response set)이 발생하기 마련입니다. 척도 개발자들은 이러한 편향을 방지하고 불성실한 응답을 선별하기 위해 부정문 형태의 역코딩 문항(예., “나는 현재의 직무를 중단하고 싶다”)을 의도적으로 배치합니다. 따라서 신뢰도가 높은 자료를 수집하기 위해서는 역코딩 문항을 포함하는 것이 안전합니다. 다만, 통계 분석을 수행하기 전에 반드시 변수 변환(코딩 변경) 기능을 사용해서 점수의 방향을 반전(1점 → 5점, 5점 → 1점)시켜야 합니다. 만약 이 작업을 누락한다면 통계분석 결과가 왜곡될 위험이 있습니다. 아래의 링크를 방문한다면 불성실한 응답이 통계분석 결과를 어떻게 왜곡하는지에 관한 자세한 정보를 얻을 수 있습니다.

불성실한 응답의 해부: 온라인 설문조사의 데이터를 오염시키는 응답자들

Q. 통제변수를 분석모형에 여러 개 투입할수록 연구의 결과가 더욱 엄밀하다고 평가받을 수 있습니까?

A. 방법론적인 오류를 유발할 수 있는 대표적인 오해입니다. 다중회귀분석에서 통제해서는 안되는 변수를 통제변수로 투입한다면 통계적 검정력이 저하되고, 모형의 복잡도가 증가하며, 본래의 독립변수가 가지는 설명력(R²)이 과도하게 희석될 수 있습니다. 통제변수는 임의로 투입하는 대상이 아니며, 선행연구를 통해 종속변수에 외생적 영향을 미친다고 입증된 변수만을 중심으로 투입해야 합니다. 아래의 링크 내용은 통제변수의 투입에 따라 분석결과가 왜곡되는 현상을 자세하게 설명하고 있습니다.

회귀분석 테이블의 함정: 통제변수(control variable)의 계수를 해석하면 안되는 학술적인 이유

통제변수(control variable)의 환상: 변수를 투입할수록 분석결과가 오염되는 역설

결론

연구에서 다루는 개념은 대개 추상적이라는 특징을 가집니다. 동일한 용어라도 사람에 따라서 다른 의미로 해석합니다. 추상적인 개념의 ‘값’을 측정하기 위해서는 조작적 정의를 마련해야 합니다. 조작적 정의는 추상적인 개념이 가지고 있는 본질적인 의미를 규명하는 작업이라기보다는, 연구에서 그 개념의 값을 구체적으로 어떻게 측정하고 다룰지를 규정하는 일종의 ‘약속’입니다.

조작적 정의를 수립하는 절차는 4단계로 진행됩니다. 첫째, 선행연구를 탐색해서 개념적인 정의를 선택하고, 둘째, 개념을 구체화하는 하위 요인을 조사해야 하며, 셋째, 이에 부합하는 측정도구를 선택한 뒤, 넷째, 조작적 정의를 서술하는 과정입니다.

연구 모형에서 변수의 역할은 연구의 목적과 설계에 따라 독립변수, 종속변수, 매개변수, 그리고 조절변수로 구분할 수 있습니다. 매개변수와 조절변수는 시간적인 선후 관계를 기준으로 식별합니다. 예를 들어서, 독립변수의 영향이 작동한 이후에 매개변수가 작동하지만, 조절변수는 독립변수의 작동 여부와는 무관한 선행조건으로 이해해야 합니다. 통제변수는 종속변수에 미치는 외생적인 영향을 통제하기 위해 모형에 투입해야 하는데, 특히 선행연구를 기반으로 통제변수 투입에 관한 타당한 근거를 제시해야 합니다.

자료를 어떤 수준으로 측정했는지에 따라, 이후에 적용할 수 있는 통계 분석 기법의 범위가 결정됩니다. 예를 들어, 종속변수의 값이 두 개의 범주로만 이룬다면 모수적 통계 기법을 사용할 수 없습니다. 따라서 연구자는 설문지를 설계하기 전에 각 변수의 측정 수준을 꼼꼼하게 확인해야 합니다. 연속형 변수로 수집한 자료는 필요할 때마다 언제든지 범주형으로 변환할 수 있습니다. 그러나 처음부터 범주형으로 수집한 자료는 다시 연속형 값으로 되돌릴 수 없습니다.

논문의 ‘제3장. 연구의 방법’에서는 측정도구와 측정하려는 변수에 관한 정보를 자세하게 기술해야 합니다. 즉, 개념적 정의와 그 출처, 조작적 정의와 점수의 해석 방향, 측정도구의 원 출처 및 총 문항 수, 척도의 형식과 하위 구성 요소, 그리고 선행연구와 본 연구에서 확인된 신뢰도 계수입니다. 본 연구에서의 신뢰도 값은 자료를 수집하고 분석한 이후에만 얻을 수 있기 때문에, 연구계획서 단계에서는 기술을 유예하고 공란으로 남겨 두어도 무방합니다.