연구방법 3단계. 혼합연구 방법론(Mixed Methods Research): 양적연구와 질적연구의 통합적인 설계 전략

혼합연구 방법론(mixed methods research)은 설문조사와 인터뷰를 병행해서 수집한 자료의 양적인 풍부함만으로는 그 타당성이 성립하지 않습니다. 특정한 자료의 쓰임새가 가지고 있는 방법론적인 한계를 다른 형태의 자료와 어떻게 상호보완적으로 연계해서 종합적인 결론에 도달하는지, 즉 '자료 간의 통합 지점(point of integration)'이 논리적이고 명확하게 설계되어야 비로소 학술적 타당성을 확보할 수 있습니다.

이 글의 순서 7개 항목

1. 단순 병렬 수집 vs. 혼합연구의 결정적인 차이: 자료 통합(Integration)의 유무
2. 혼합연구 방법에 의한 접근이 요구되는 학술적인 조건
3. 학위논문에서 혼합연구 방법론의 설계 유형 비교
4. 양적 데이터와 질적 데이터의 분석 결과가 정면으로 모순될 때의 대응 프로토콜
5. 학위논문 연구에서 혼합연구 방법론의 실행 가능성
6. 자주 묻는 질문 (FAQ)
7. 결론

몇몇 연구자는 설문조사와 심층 인터뷰를 병행하면 단일 방법론이 가지는 결함이 상쇄되어 학위논문 심사에서 보다 우수한 평가를 받을 수 있을 것으로 기대합니다. 서로 다른 두 가지 방법론을 동시에 적용함으로써 연구가 다루려는 어떠한 현상을 여러 측면에서 포착할 수 있다고 판단하기 때문입니다.

하지만 학위논문 심사에서는 상당수의 혼합연구가 방법론적인 기준을 충족하지 못한다고 판정을 내리는 경우가 많습니다. 예를 들어서, 회귀분석의 수행 결과를 제시한 후, 소수 참여자의 인터뷰 녹취록을 연계하지 않고 덧붙여서 양적 조사와 질적 조사를 모두 충실히 수행하였다고 서술하는 방식이 대표적입니다. 이는 올바른 방법론적인 통합이라기보다는, 독립적으로 분리된 두 개의 미완성 연구를 한 편의 논문에 병치(juxtaposition)한 것에 불과합니다.

혼합연구 방법론이 학술적인 타당성을 확보하기 위한 요건은 이질적인 두 자료 간의 유기적인 통합(integration)입니다. 즉, 양적 접근을 통해 얻은 연구결과에 대하여 심층적인 맥락과 원인을 질적 자료로 규명하거나(설명적 순차 설계), 질적 인터뷰를 통해 도출된 개념을 바탕으로 측정도구를 개발하여 양적으로 일반화하거나(탐색적 순차 설계), 또는 동일한 현상에 대해 두 가지 형태의 자료를 상호 대조하여 연구의 타당성을 교차 검증해야 합니다(수렴적 설계). 따라서 양적 자료와 질적 자료가 만나는 통합 지점과 상호작용의 경로를 타당하게 설계하지 않는다면, 연구 절차의 복잡성만 가중되며, 혼합연구가 가져야 할 고유의 학술적인 시너지를 창출하기 어렵습니다.

단순 병렬 수집 vs. 혼합연구의 결정적인 차이: 자료 통합(Integration)의 유무

설문 응답 200부와 인터뷰 녹취록 5건을 병행해서 수집했다고 해서 혼합연구 방법론의 학술적인 타당성이 성립하지는 않습니다. 심사위원이 평가하는 기준은 연구문제를 매개로 하여 양적 자료와 질적 자료가 상호 유기적으로 통합(integration)을 이루고 있는가의 여부입니다.

• 단순 병렬 연구의 한계: 직무스트레스가 이직의도에 미치는 영향을 다중회귀분석으로 검증한 후에, 본문에서의 독립된 절(clause)에 5명의 교사를 대상으로 교직 생활의 어려움을 면담하여 나열식으로 서술하는 구성이 대표적입니다. 이 경우 인터뷰 자료는 앞선 회귀분석을 통한 연구가설의 검증 결과와는 논리적인 인과관계를 갖지 못합니다. 결과적으로 방법론적인 통합을 달성하지 못한 채 두 개의 독립된 연구를 자의적으로 병치했다는 비판을 초래할 수 있습니다.
• 유기적인 통합으로 접근한 혼합연구의 전형: 설문 자료를 분석한 후에 문헌에서의 주장에 따라 통계적으로 유의할 것으로 기대하였던 ‘동료 지지’의 조절효과가 유의하지 않게 나타났다면, 정량화된 값만으로는 연구가설 기각의 근본적인 원인을 확인하기 어렵습니다. 이를 위해 설문조사에 참여한 응답자 중에서 이직의도의 인식 수준이 극단적으로 높은 6명을 목적적 표집(purposive sampling)하여 심층 인터뷰를 수행한다면, 학교 현장의 ‘형식적인 동료 지지(peer support)’가 도리어 심리적인 부채감과 감정노동을 가중시킨다는 맥락적인 원인을 규명할 수 있습니다. 이는 질적 자료가 양적인 분석 결과에서 나타나는 공백과 예외적 결과를 해명할 수 있는 이상적인 통합 분석모델입니다.

따라서 혼합연구를 설계할 때 연구자가 최우선으로 점검해야 할 과제는 자료 수집의 규모가 아니라, “서로 다른 두 가지 형태의 자료가 연구문제를 해결하기 위해 어떤 지점에서 결합해서 상호보완적인 시너지를 창출하는가“입니다.

혼합연구 방법에 의한 접근이 요구되는 학술적인 조건

단일 방법론(순수 양적 연구 또는 순수 질적 연구)만으로도 충분한 탐색이 가능한 연구문제를 인위적으로 혼합연구로 확장하는 것은 비효율을 초래할 수 있습니다. 혼합연구 방법론은 주로 다음과 같은 세 가지 조건에서 그 방법론적인 타당성과 정당성을 확보합니다.

연구 결과의 효과성과 변화 과정의 동태적 규명이 동시에 요구되는 경우: 특정한 중재 프로그램의 효과성 크기(사전-사후 검사 간의 통계적인 향상)를 입증하는 동시에, 참여자가 프로그램을 수행하는 과정에서 경험한 심리적인 역동과 상호작용의 구체적인 이행 경로를 심층적으로 포착해야 하는 경우입니다.

연구 대상이 인식하는 특정한 개념을 측정하는 표준화된 측정도구(scale)가 없는 경우: 신규 직무군이나 새로운 사회적, 문화적 현상, 또는 새로운 개념과 같이 조작적 정의(operationalization)와 측정도구가 아직 확립되지 않은 영역을 연구할 때 활용됩니다. 심층 인터뷰를 통해 구성 개념과 하위 개념을 먼저 식별(질적 탐색)한 후, 이를 측정도구 문항으로 설계하고 대규모 표본을 대상으로 타당도와 신뢰도를 검증(양적 일반화)하는 절차가 필수적인 경우입니다.

양적 분석 결과의 예외적 현상이나 기저 원인의 맥락적 추적이 필요한 경우: 대규모 설문조사의 분석 결과가 선행 이론의 예측과 상반되거나 특정한 경로가 통계적으로 유의하지 않게 관찰되는 등의 예상하지 못한 결과(outlier)가 발생했을 때 적용됩니다. 정량적인 데이터 자체만으로는 원인을 규명하기 어려우므로, 당사자들의 질적 인터뷰를 통해 통계적 공백에 내재된 맥락적인 원인과 메커니즘을 규명해야 하는 경우입니다.

학위논문에서 혼합연구 방법론의 설계 유형 비교

Creswell를 비롯한 연구방법론 학자들이 체계화한 모형 중에서, 학위논문에서 가장 빈번하게 활용되는 표준 설계 유형은 다음과 같습니다.

학위과정(특히 석사학위과정 또는 한정된 기간 내에 연구 완수가 요구되는 박사과정)에서는 ‘설명적 순차 설계(explanatory sequential design, QUAN → qual)’가 연구 수행의 안정성과 논리적인 완결성을 확보하기에 가장 적합합니다.

이는 1차 양적 설문조사를 완료한 후, 설문 응답자 중에서 특정한 준거를 충족하는 표본(예., 극단적 반응군이나 이상값 집단 6-8인)을 목적적으로 표집하여 2차 심층 인터뷰를 연계할 수 있기 때문입니다. 이 접근은 질적 연구 참여자의 확보를 용이하게 할 뿐만 아니라, 정량적인 분석 결과의 한계나 통계적인 공백을 질적 자료로 해명하는 ‘자료 통합이라는 당위성을 심사위원에게 가장 명료하고 직관적으로 입증할 수 있습니다.

양적 데이터와 질적 데이터의 분석 결과가 정면으로 모순될 때의 대응 프로토콜

혼합연구를 수행 과정에서 양적 분석의 결과와 질적 분석 결과가 상호 배치되는 상황이 발생할 수 있습니다. 예를 들어서, 대규모 설문조사에서는 독립변수가 종속변수에 미치는 영향이 통계적으로 유의하지 않은 것으로 나타났으나(p>0.05), 심층 인터뷰에 참여한 대상자들은 원인변수(독립변수)가 자신의 경험을 변화시킬 수 있었던 결정적인 요인으로 서술하는 경우입니다.

양적 자료와 질적 자료의 분석 결과가 정면으로 충돌한 양상을 연구의 실패로 여겨 자료를 축소하거나 인위적으로 왜곡해서는 안 됩니다. 오히려 단일한 방법론만으로는 포착하기 어려운 현상을 입체적으로 규명할 수 있는 학술적인 계기가 됩니다. 양적 자료와 질적 자료의 분석 결과가 정면으로 모순된다는 점을 확인한 후에는, 다음의 절차에 따라 분석하여 연구의 타당성과 학술적 기여도를 제고해야 합니다.

기술 예시: “본 연구의 양적 지표와 질적인 진술 사이에 나타난 뚜렷한 긴장(tension)은, 해당 제도가 거시적인 지표상으로는 정착된 것으로 관찰되더라도 미시적 현장에서 몸담고 있는 당사자의 일상적인 실천 차원에서는 여전히 유의미한 구조적 마찰을 유발하고 있음을 시사합니다.”

측정에서의 비대칭성 점검(what was measured?): 구조화된 설문 문항이 측정하려는 개념의 조작적 정의와 심층 인터뷰를 통해 관찰된 참여자의 맥락적인 경험 사이에 개념적인 괴리가 존재하는지를 확인합니다. 표준화된 척도가 현장에서 체험하는 경험을 과도하게 단순화하였다는 점을 학술적으로 규명하는 것 자체가 중요한 학술적 기여점으로 부각할 수 있습니다.

맥락적인 조건과 하위 집단의 특수성 규명(for whom?): 대규모 양적 조사의 특징은 표본 전체의 평균을 모수(parameter)로 삼아 분석이 이루어진다는 점에 있습니다. 이에 따라 특정한 하위 집단에서 볼 수 있는 맥락적인 특성이 가려지게 됩니다. 인터뷰 대상 집단이 처한 고유한 환경적인 요인이나 특수한 심리 상태가 표본 전체의 평균값에 상쇄되어 통계적 유의성에 도달하지 못했을 가능성을 논의(discussion) 챕터에서 다각도로 분석해야 합니다.

상호모순 자체를 유의미한 연구 결과로 제시(embrace the divergence): 특정한 방법론을 통해 얻은 결과에 맞춰 결론을 작위적으로 서술하지 않고, 두 자료 사이에 발생한 모순 자체를 연구결과의 핵심으로 기술합니다. 논의 및 결론 챕터에서 양적 지표와 질적 진술 사이에 나타난 학술적 긴장(tension)을 명확히 기술함으로써, 거시적인 수준(예., 정책 수행)과 미시적 현장의 수준(예., 정책 수행에 따른 심리적인 피로) 사이에 벌어진 격차를 밝히고 이를 시사점으로 승화시키는 것이 바람직합니다.

학위논문 연구에서 혼합연구 방법론의 실행 가능성

혼합연구 방법론을 수행하기 위해서는 단일 방법론과 비교하여 상당한 시간과 연구 자원이 요구됩니다. 따라서 학위논문의 연구계획서에 혼합연구에 관한 내용을 기술하기에 앞서 다음의 현실적인 실행 요건을 객관적으로 점검해야 합니다.

• 연구 기간의 충분성(최소 6개월 이상의 연구 및 집필 기간 확보): 순차적 설계를 활용한다면 [양적 측정도구 설계 → 기관생명윤리위원회(IRB) 심의 승인 → 설문지 배포 및 자료 수집 → 통계 분석 → 인터뷰 질문지 구성 → 인터뷰 참여자의 선정과 섭외 → 심층 인터뷰 및 전사(transcript) → 질적 코딩(범주화) → 자료 통합과 논의 기술]의 단계를 순차적으로 수행해야 합니다. 따라서 학위과정 기간이 수개월 밖에 남아있지 않았다면 학사 일정 내에서는 현실적으로 어려울 수 있습니다.
• 이중 방법론 역량(bilingual competence): 연구자는 회귀분석과 구조방정식모형(SEM) 분석 등의 정량적인 분석 기법과 더불어, 현상학이나 근거이론 등에 기반한 질적 텍스트 코딩과 범주화 기법을 동시에 숙지하고 있어야 합니다. 만약 두 방법론을 모두 수행할 수 있는 역량이 부족하다면, 수집된 자료가 오히려 논문의 완성도와 타당도를 저해하는 요인으로 작용할 수 있습니다.
• 지도교수와 심사위원의 방법론 수용성: 지도교수와 심사위원이 특정한 하나의 패러다임(엄격한 계량주의 또는 순수한 해석학적 질적 연구)을 고수한다면, 혼합 연구의 접근을 내세우기가 어렵습니다.
• 양적, 질적 표본 접근성(field access)의 안정적 확보: 통계적 검정력을 충족할 수 있는 표본의 규모(예., 300명 이상의 표본 크기)와, 의미있는 질적 진술을 얻을 수 있는 인터뷰 참여자(예., 6-8인)를 기한 내에 확보할 수 있는 현장 접근 권한이 사전에 명확히 확보되어야 합니다.

만약, 서술한 조건을 충족하지 못한다면, 하나의 주력 방법론(예., 순수 양적 연구 또는 순수 질적 연구)만으로 접근해서 연구를 설계하는 것이 바람직합니다.

가상 사례: 설명적 순차 설계를 통한 연구가설 기각의 원인 규명 (사회복지학 박사과정) 사회복지학 전공의 박사과정생 A씨는 ‘지역아동센터에 근무하는 사회복지사의 직무스트레스가 이직의도에 미치는 영향’을 주제로 300부의 설문 자료를 수집하고 분석을 시작하였습니다. 하지만 선행연구에서 예측 변수로 지목된 ‘보수 및 처우 만족도’가 이직의도에 미치는 영향이 통계적으로 유의하지 않은 것으로 나타났으며, 따라서 이에 관한 연구가설은 기각되었습니다. A씨는 지도교수와의 협의를 거쳐 연구 설계를 ‘설명적 순차 혼합연구방법(explanatory sequential design, QUAN → qual)’으로 전환하였습니다. 구체적으로, 1차 설문에 참여한 응답자 중에서 ‘보수 만족도는 최하의 수준이지만 이직의도의 수준이 가장 낮은 집단 중에서 4명’ 그리고 ‘보수 만족도는 평균 수준에 머무르고 있으나 이직의도의 수준이 가장 높은 집단 4명’을 목적적 표집하고 이들을 대상으로 심층 인터뷰를 수행하였습니다. 질적 분석을 수행한 결과, 열악한 보수 체계는 입사 이전부터 이미 예견하고 있었던 수용이 가능한 전제로 인식하였던 것으로 드러났습니다. 따라서 보수의 열악함은 이직을 유발하는 요인으로 작용하지 않은 것으로 해석하였습니다. 반면, ‘기관장의 권위주의적인 행위’와 ‘아동센터를 이용하는 아동과의 관계 갈등’이 열악한 보수 체계에 의한 영향을 변질시켜 결국 이직을 유도하는 원인으로 기능하고 있음이 밝혀졌습니다. A씨는 논문의 결과 챕터에서 다중회귀분석의 수행결과를 기술하고, 이를 질적 인터뷰 분석 결과와 연계하여 보수체계의 영향력이 통계적으로 유의하지 않게 나타난 원인을 인터뷰 참여자들이 진술한 결과를 근거로 삼아 서술하였습니다. (본 사례는 사회복지학 논문컨설팅의 실무 경험에 기반하여 재구성한 가상 시나리오입니다.)

자주 묻는 질문 (FAQ)

Q. 혼합연구 방법론이 학술적인 타당성을 확보하기 위해서는 질적 인터뷰의 참여자 수가 어느 정도 되어야 할까요?

A. 양적인 분석 결과와 연계시키기 위해 ‘설명적 순차 설계(explanatory sequential design)’를 활용한다고 가정하면, 순수한 질적 접근에서와 유사하게 15-20인 이상의 대규모 표본을 확보할 필요는 없습니다. 일반적으로 6-10명 내외의 목적적 표집(극단적인 사례 표집 또는 전형적인 사례 표집)만으로도 정량적인 통계분석 결과에서 나타난 원인과 함께 원인으로 이어진 메커니즘을 규명하기에 충분합니다. 단, 양적인 분석 결과에서 나타난 통계적인 특이점을 대표할 수 있는 적합한 참여자를 선정하였는지의 여부가 중요합니다.

Q. 양적 연구를 위해 설계한 설문지의 가장 마지막 부분에 1-2개의 개방형(주관식 서술형) 문항을 포함시켜 수집한 텍스트 자료도 혼합연구 방법론에서의 질적 자료로 인정받을 수 있을까요?

A. 학술적으로는 혼합연구 방법론이 활용할 수 있는 질적인 연구 요소로 인정받기 어렵습니다. 개방형 문항을 통해 수집된 서술형 텍스트는 일반적으로 응답 분량이 적고 지극히 단편적이며 파편화되는 특징을 가집니다. 따라서 질적 연구가 요구하는 심층성, 연구자와 참여자 간의 상호작용성, 현장의 특징을 나타내는 맥락의 풍부성을 포함하는 방법론적인 기준을 충족하기가 어렵습니다. 이는 엄밀한 의미에서의 질적 연구라기보다는, ‘일부 개방형 설문 문항의 설계를 통한 보조적인 내용분석(content analysis)’ 수준에 가깝습니다.

Q. 혼합연구 방법론으로 접근한 연구를 기반으로 학위논문을 집필할 때, 양적인 연구 결과와 질적 연구 결과를 어떻게 배치해야 할까요?

A. 혼합연구의 설계 유형에 따라 목차의 체계가 달라집니다. 단, 학위논문에서 가장 널리 활용되는 ‘설명적 순차 설계’를 통해 얻어진 연구결과를 배치하기 위한 장(chapter)와 절(clause)의 구성 체계는 다음과 같습니다.

• 제3장 연구의 방법
  • 3.1 양적 연구 설계(표본 추출, 측정도구, 통계분석 기법 등)
  • 3.2 질적 연구 설계(인터뷰 참여자 선정 준거, 자료 수집 절차, 코딩 방식)
  • 3.3 양적 자료와 질적 자료의 연계 및 통합 절차
• 제4장 연구의 결과
  • 4.1 제1단계: 연구가설의 검증 및 통계분석 결과
  • 4.2 제2단계: 심층 인터뷰 분석 결과
  • 4.3 제3단계: 양적 분석 결과와 질적 분석 결과의 통합
• 제5장 논의 및 결론
  • 5.1 연구결과 요약 및 자료 통합에 따른 종합적 논의
  • 5.2 학술적, 실무적 시사점
  • 5.3 연구의 한계 및 후속 연구를 위한 제언

특히 제4장(연구의 결과) 말미(4.3절)에는 양적인 통계 수치와 그에 대응하는 질적 인터뷰 인용구를 하나의 테이블에서 좌우로 대조하고 병기하는 ‘조인트 디스플레이(joint display)’를 배치해야 합니다. 이를 통해 양적 자료와 질적 자료가 어떻게 상호보완적으로 융합되어 연구문제를 탐색하였는지를 나타내기 위해 구체적인 통합 양상을 시각적이고 논리적으로 명확하게 입증할 수 있습니다.

Q. 혼합연구 방법론으로 접근한 연구의 결과를 일반 학술지에 투고한다면, 심사 과정에서 또는 편집장의 선별 과정에서 ‘지면 분량의 제한’이라는 이유로 불리하게 작용할 가능성이 있지 않을까요?

A. 타당한 방법론적인 우려입니다. 대다수의 학술지는 인쇄본을 기준으로 20-25 페이지 내외의 분량 제한을 투고 규정에 두고 있습니다. 제한된 지면으로 양적, 질적인 분석 절차와 결과를 모두 기술한다면, 각 방법론에 의한 분석 과정이 과도하게 압축되어 학술적인 가치가 결여되었다는 평가를 받을 가능성이 큽니다. 따라서 학술지 게재를 목표로 한다면, 다음과 같은 접근을 고려해야 합니다.

• 개별 연구로 분할 투고: 학위논문을 완결한 후에 연구 일체를 양적 연구와 질적 연구로 분할해서 각 방법론적인 특징에 부합하는 학술지에 독립적으로 투고하는 방안입니다. 단, 중복게재와 자기표절의 가능성을 방지하기 위해 각 연구가 제시하는 연구문제와 접근 방법을 명확하게 차별화해야 합니다.
• 혼합연구 방법론만을 다루는 전문 학술지를 선정: 여러 연구방법론의 유기적인 융합과 자료 통합을 적극적으로 권장하고 많은 지면에도 관대한 혼합연구 전문 학술지(예., Journal of Mixed Methods Research) 또는 융복합 분야의 저널을 타겟으로 선정하는 방안을 고려할 수 있습니다.

결론

혼합연구 방법론은 서로 다른 두 유형의 자료를 병행해서 수집했다는 사실만으로는 성립하지 않습니다. 두 자료는 연구문제를 매개로 상호 유기적으로 연계되어야 하며, 상호 참조나 통합의 과정이 없이 독립적으로 병치된 구성은 두 편의 개별 연구를 물리적으로 묶어 놓은 것에 불과합니다.

방법론적인 혼합이 정당성을 얻기 위한 조건은 크게 세 가지로 요약됩니다. 첫째, 단일 방법론만으로는 연구의 결과에서 관찰되는 맥락을 충분하게 해석하기 어려운 경우입니다. 둘째, 연구자가 관심을 가지는 개념의 수준을 측정할 수 있는 표준화된 도구가 없어 그 개념을 이루는 여러 요소들을 질적으로 탐색해야 하는 경우입니다. 셋째, 정량적인 분석 결과를 가져온 맥락적인 원인과 메커니즘을 반드시 추적해야 하는 경우입니다.

혼합연구의 설계는 탐색적 순차 설계(질적 선행), 설명적 순차 설계(양적 선행), 수렴적 설계(동시 수행)라는 세 가지 유형으로 구분됩니다. 일반적으로 학위논문을 위한 연구에서는 연구의 안정성을 제공하는 설명적 순차 설계로 접근합니다. 이는 1차 설문조사 결과에서 통계적 해명이 요구되는 특이점이나 한계점을 식별한 후에 후속의 심층 인터뷰를 통해 규명하는 방식입니다. 양적 설문 응답자의 집단으로부터 인터뷰 참여자를 목적 표집할 수 있다는 장점을 가지고 있습니다.

혼합연구로 접근해서 학위논문을 완성하기 위해서는 연구 기간이 충분해야 하고, 이중(double) 방법론에 대한 연구자의 분석과 실행 역량이 뛰어나야 합니다. 특히, 지도교수는 혼합연구 방법론으로 연구 지도한 경험을 가지고 있어야 합니다. 이와 함께, 양적 표본과 질적 면담을 위한 연구대상자를 안정적으로 표집할 수 있는 경로를 확보해야 합니다. 이 중에서 어느 하나의 요건이라도 충족되지 않는다면, 양적 연구 또는 질적 연구 중에서 하나의 주력 방법론만으로 연구 설계를 단일화해야 합니다. 그리고 수집한 이질적인 자료는 논의 챕터에서 보조적인 해석의 근거 자료로 제한하여 활용하는 것이 현실적인 대안입니다.