질적연구 8단계. 엄격성의 확보: 주관성 비판에 대응하는 학술적인 전략

질적연구에서의 엄격성(rigor) 수준을 신뢰도 계수나 유의확률로 입증할 수 없기 때문에, 질적 패러다임에 부합하는 고유한 평가기준과 절차가 요구됩니다. 이 글에서는 양적연구의 평가 잣대를 적용할 수 없는 인식론적인 이유와 이를 대체하는 Lincoln & Guba의 4대 기준(신빙성, 전이 가능성, 의존 가능성, 확인 가능성)을 살펴봅니다. 나아가, 이 기준을 질적연구 과정에 구현하는 방법론적인 절차와 함께 심사과정에서 제기되는 주관성 비판에 대응하는 전략을 설명합니다.

이 글의 순서 8개 항목

1. 연재글 순서
2. 양적 연구의 평가 기준을 왜 그대로 적용할 수 없는가?
3. 질적연구는 무엇으로 학술적인 신뢰를 입증하는가?
4. Lincoln & Guba(1985)의 엄격성 기준
5. 엄격성을 확보하기 위한 방법론적인 절차
6. 심사위원의 지적에 대응하는 논리적인 답변 전략
7. 자주 묻는 질문 (FAQ)
8. 요약: 질적연구에서의 엄격성 확보와 심사 대응을 위한 원칙

질적연구로 접근한 논문을 심사받는 과정에서 연구자가 흔하게 접하는 질문은 “이 분석 결과는 결국 연구자 개인의 주관적인 해석에 불과한 것이 아닌가요?“라는 지적입니다.

이 지적에 빠르게 대응하기가 어려운 이유는, 질적연구의 방법론적 특징인 연구자의 주체적인 해석이 분석 과정에 필연적으로 개입한다는 점을 부정할 수 없기 때문입니다. 질적연구의 결과물은 연구자가 텍스트 자료를 독해하고 의미를 구조화한 결과물입니다. 한편, 다른 연구자가 동일한 자료를 분석한다면 해석의 초점이나 결이 바뀔 가능성도 존재합니다.

하지만 질적연구가 가지는 고유의 속성탓으로 ‘주관적’이라는 한계를 ‘순순히’ 시인한다면, 연구의 정당성을 내세울 수 없습니다. 질적연구 역시 방법론적인 엄격성(rigor)을 평가하는 기준과 이를 체계적으로 세우는 절차를 갖추고 있습니다. 다만 그것이 계량화된 값으로 나타나지 않을 뿐입니다. 질적연구에서의 엄격성이란, 연구자의 해석이 어떠한 객관적인 경로를 거치며 이루어졌는지를 투명하게 입증하는 작업입니다.

연재글 순서

1. 질적연구를 위한 네 가지 방법론: 내 연구문제에 맞는 최적의 ‘해석 프레임워크’ 선택하기
2. 질적연구를 위한 참여자 선정: 일반화를 거부하고 ‘이론적 포화’에 도달하는 심층 표집의 기술
3. 질적연구 연구자의 위치성(positionality)과 연구윤리: 도구가 된 연구자, 자신을 어떻게 통제할 것인가 (IRB & 성찰 가이드)
4. 질적연구 인터뷰의 설계: “왜?”라고 묻지 않고 진실을 수집하는 인터뷰 가이드의 기술
5. 관찰과 문서 자료: 인터뷰의 사각지대를 밝히는 ‘삼각검증’과 데이터 수집의 기술
6. 전사와 자료 정리: 연구 참여자의 구술 발화를 분석이 가능한 텍스트로 구축하는 기술
7. 코딩과 주제 식별: 수백 페이지의 녹취록을 학술적 이론으로 전환하는 분석 절차
8. 엄격성의 확보: 주관성 비판에 대응하는 학술적인 전략
9. 질적 연구결과의 서술과 해석적 글쓰기: 참여자의 언어를 학술적인 텍스트로 변환하는 전략

양적 연구의 평가 기준을 왜 그대로 적용할 수 없는가?

양적 연구에서의 ‘신뢰도(reliability)’는 동일한 측정 도구로 반복해서 측정하더라도 동일한 값을 얻을 수 있는지의 여부를 의미합니다. 그러나 질적연구에서는 동일한 연구를 반복하더라도 동일한 결과를 얻을 수 없는 것이 오히려 자연스럽습니다. 다른 연구자가 다른 시점에서 동일한 연구 참여자를 인터뷰하더라도, 당시의 맥락과 라포(rapport)의 깊이에 따라 새로운 진술이 등장할 수 있기 때문입니다.

이는 연구의 결함이 아니라 질적연구가 가지는 본질적인 속성입니다. 질적연구는 보편적인 법칙을 추구하는 기법이 아니며, 특정한 맥락속에서 대상자가 체험한 주관적인 경험과 이 과정에서 드러나는 의미를 탐색하는 방법론입니다. 따라서 맥락이 달라짐에 따라 얻게 되는 자료가 변화하는 것은 너무나도 당연한 귀결입니다. 엄격한 통제를 따르면서 기계적인 재현을 요구하는 것 자체가 질적연구가 삼는 인식론적인 전제와는 전혀 맞지 않을 따름입니다.

‘타당도(validity)’ 역시 마찬가지입니다. 양적 연구에서는 측정도구가 측정하려는 구성개념(construct)의 값을 정확하게 측정하는지의 여부를 통계적인 기법으로 접근해서 평가합니다. 반면, 질적연구에서는 ‘연구자 자신’이 측정 도구(researcher-as-an-instrument)이기 때문에 양적으로 접근하는 타당화 평가 공식이 성립할 수 없습니다.

이에 따라 질적연구에서는 반복 측정에 의한 재현성(replication/reproducibility)을 평가하지 않습니다. 대신에, “연구의 결과로부터 나타난 결론이 원시자료로부터 얼마나 체계적인 과정을 거치면서 도출되었는지를 입증할 수 있는가“의 여부를 평가하는 독자적인 ‘엄격성’ 기준을 내세우게 됩니다.

질적연구는 무엇으로 학술적인 신뢰를 입증하는가?

질적연구에서의 학술적 신뢰성은 다음의 세 가지를 통해 입증되어야 합니다.

1. 원시자료와의 유기적인 연계성: 연구자의 해석이 원시자료에서의 어느 곳을 근거하고 있는지를 제시해야 합니다. ‘제4장. 연구의 결과’에 참여자의 생생한 언어(In Vivo 인용문)를 배치하는 이유가 바로 여기에 있습니다. 독자와 심사위원은 인용문을 통해 연구자가 수행한 개념화와 범주화가 자의적인 비약이 아님을 직접 확인할 수 있습니다.
2. 분석 절차의 단계별 공개: 연구자가 자료를 수집하고 코딩을 거치며 주제를 도출하기까지의 모든 과정을 구체적으로 서술해야 합니다. “본 연구에서는 질적 코딩을 수행하였다”라고만 기술해서는 안됩니다. 원시자료의 의미 단위를 어떻게 추출하고, 어떤 기준에 따라 하위 범주와 상위 주제로 유목화(clustering)를 하였는지에 관해 단계별로 서술해야 합니다.
3. 타자(他者)의 검증 개입: 연구자 혼자서의 주관적인 판단에만 의존하지 않고, 연구 참여자, 동료 연구자, 질적연구 전문가 등 다양한 주체에 의한 교차 검증이 이루어졌음을 기록으로 입증해야 합니다.

Lincoln & Guba(1985)의 엄격성 기준

자연주의적 탐구(naturalistic inquiry)를 위한 진실성의 기준을 체계화한 대표적인 학자가 Egon G. Guba입니다. Guba(1981)와 Lincoln & Guba(1985)는 양적연구에서의 평가 잣대를 질적연구에 적용할 수 없다고 주장하였습니다. 그리고 이들 연구자는 양적연구에 대응하는 질적 엄격성의 기준을 마련하였습니다. ‘내적 타당도’는 신빙성(credibility)으로, ‘외적 타당도’를 전이 가능성(transferability)으로, ‘신뢰도’를 대신해서 의존 가능성(dependability)으로, 그리고 ‘객관성’ 대신에 확인 가능성(confirmability)을 제안하였습니다. 이 기준은 오늘날 질적연구의 신뢰도를 가늠하는 표준으로 활용되고 있습니다.

• Lincoln, Y. S., & Guba, E. G. (1985). Naturalistic Inquiry. Beverly Hills, CA: Sage Publications, Inc.

• Guba, E. G. (1981). Criteria for assessing the trustworthiness of naturalistic inquiries. Educational Communication and Technology Journal, 29(2), 75-91. https://doi.org/10.1007/BF02766777

• 전이 가능성 vs. 통계적 일반화와의 차이: 전이 가능성은 양적연구에서의 ‘통계적 일반화’와는 근본적으로 다릅니다. 전이 가능성은 질적연구의 결과가 다른 모든 집단에 보편적으로 적용된다는 주장을 내세우는 것이 아니라, 독자나 후속 연구자가 자신이 체험한 현장에서의 맥락을 대리로 경험할 만큼 연구의 전 과정이 풍부하게 기술(thick description)이 되었는가를 의미합니다. 즉, 일반화의 판단 주체가 연구자가 아닌 ‘독자’라는 점에서 방법론적인 차이가 나타납니다. 따라서 전이 가능성을 제고하는 방법은 표본의 크기를 늘리는 것이 아니라, 연구 참여자의 사회문화적인 배경과 상황적 맥락을 치밀하고 상세하게 기술하는 것입니다.
• 확인 가능성의 입증: 원시 자료에서 출발한 코딩과 하위 범주의 식별, 그리고 마지막 단계에서의 핵심 주제 도출로 이어지는 추상화 경로를 자료로 남기는 작업입니다. 이는 질적 분석의 궤적을 확보하는 것을 의미하며, 연구자의 선입견을 통해서가 아닌 철저한 자료를 근거로 연구결과가 나타났다는 점을 소명할 수 있어야 합니다.

엄격성을 확보하기 위한 방법론적인 절차

Lincoln과 Guba가 제시한 네 가지 기준은 질적 연구의 현장에서 표 2.가 나타내는 방법론적인 절차를 통해 구체화됩니다. 모든 절차를 수행할 필요는 없으며, 연구의 성격과 현실적인 여건을 고려해서 2-3개의 핵심 전략을 수행해야 합니다.

• 구성원 확인을 위한 팁: 연구 참여자에게 방대한 전사본 전체를 보내는 것은 참여자에게 과도한 부담을 주는 것이며 비효율적입니다. 분석을 통해서 나타난 주제와 이를 뒷받침하는 주요 인용문, 그리고 간략한 요약본을 전달하는 것이 바람직합니다. 만약 참여자가 “이 해석은 내 본래의 취지와는 다르다“라는 의견을 제시한다면, 그 대목을 다시 확인해야 하며, 2-3인의 참여자로부터 확인을 거친 경과와 반영 내용을 논문에 기술하는 것만으로도 충분합니다.
• 감사 추적의 작성 방법: 분석 과정에서 코드를 생성한 이유와 유사한 다수의 코드를 상위 범주로 통합했는지, 분류 과정에서는 어떠한 갈등을 겪었는지를 연구 노트의 형태로 꼼꼼하게 기록해야 합니다. 이 기록은 제3자가 연구자의 분석 경로를 역추적해서 검증할 수 있는 강력한 감사의 증거로 활용할 수 있습니다.
• 동료 검증의 실행: 동일한 전공 영역에서의 연구자 또는 질적연구를 수행한 경험이 있는 연구자에게 전사본의 10-20% 분량을 독립적으로 코딩하게 한 후에 나타난 범주를 서로 비교합니다 또는, 연구자가 식별한 주제가 원문과 비교해서 논리적으로 타당한지를 제3자로부터 의견을 받는 방식으로 동료 검증을 수행합니다.

심사위원의 지적에 대응하는 논리적인 답변 전략

질적연구로 접근했다라는 이유만으로 논문심사 현장에서 흔히 받는 비판적인 질의에 대비해서 표 3.에서와 같이 답변 전략을 마련해야 합니다.

답변을 할 때에 반드시 견지해야 하는 원칙

1. 방어적이거나 위축된 사과를 철저하게 지양: “표본이 적어 죄송하다“거나 “주관이 개입되었을 수 있다“라는 식의 수세에 몰린듯한 시인은 질적연구 방법론의 정당성을 스스로 훼손하는 것입니다. 부족함의 문제가 아니라 양적연구와는 ‘인식론적인 접근 패러다임이 서로 다른 것’이라는 확신을 가지고 당당하게 소명해야 합니다.
2. 주관적인 확신 대신에 ‘수행한 절차’로 입증: “연구자의 주관을 최대한 배제하려고 노력했다“라는 추상적인 다짐을 나타내는 대신에, “연구를 착수하기 전에 연구자의 선이해를 문서화하였고, 코딩에 관한 결정 사항을 메모화해서 감사 추적을 위한 근거로서 보존하였으며, 나아가서는 참여자 확인과 동료 검증을 위한 절차를 수행하였다“와 같이 철저하게 방법론적인 절차를 근거로 삼으며 답변해야 합니다.

가상 사례: 간호학 박사과정 연구자의 질적 연구에서의 엄격성 확보 과정과 심사의견의 방어 간호학 박사과정에 재학 중인 연구자 G씨는 중환자실(ICU)에서 근무하는 임상 간호사들이 연명의료 중단 과정에서 겪는 도덕적 고뇌의 본질을 탐색하기 위해 현상학적 연구(phenomenological study)를 수행하였습니다. 예비심사 과정에서 한 심사위원으로부터 “연구자가 주장하는 주제들이 연구 참여자들의 경험이라기보다는, 연구자 본인의 임상 경험과 주관적인 생각으로 비롯된 결과가 아닌가요?“라는 지적을 받았습니다. 이에 대해서 연구자는 연구 설계와 분석을 수행하는 과정에서 이미 마련해 두었던 질적 방법론적인 절차를 다음과 같이 소명하였습니다. 첫째, 연구를 착수하기 전에 연구자 자신의 5년간의 중환자실 임상 경험이 자료 해석에 선입견으로 작용하지 않도록 ‘성찰 일지(reflexive journal)’를 작성하였다는 점을 밝혔습니다. 아울러, 연구자의 사전 이해와 편견을 ‘괄호치기(bracketing)’ 하였다는 점을 드러내었습니다. 둘째, 분석 과정에서 식별된 의미의 단위와 범주화에 관한 모든 판단 근거를 연구 메모로 기입한 ‘감사 추적(audit trail)’ 자료를 제시하였습니다. 셋째, 질적연구를 전공한 박사과정 동료 연구자와 함께 2건의 전사본을 교차 코딩해서 범주의 네이밍과 해석의 타당성을 상호 검증하는 ‘동료 검증(peer debriefing)’을 수행하였음을 설명하였습니다. 나아가, 가장 마지막 단계에서 식별한 5개의 주제와 인용문 요약본을 연구에 참여한 3인에게 회람하는 ‘구성원 확인(member checking)’을 수행하였다는 점을 밝혔습니다. 더불어, “이 주제의 이름은 당시에 우리가 느꼈었던 죄책감보다는 무력감에 더 가깝다“라고 언급한 간호사의 진술을 받아들여 이미 식별한 주제의 명칭을 수정하였던 경과를 소명하였습니다. (※ 본 사례는 간호학 박사학위논문 컨설팅을 수행한 사례를 바탕으로 재구성한 가상의 시나리오입니다.)

자주 묻는 질문 (FAQ)

Q. 질적연구에서도 연구결과의 신뢰도를 통계 값이나 정량적인 지표로 제시할 수 있는 방법이 있나요?

A. 복수의 분석자가 독립적으로 자료를 코딩한 후에 평가자 간 일치도를 계량화하는 ‘평가자 간 일치도(inter-coder reliability)'(예., Cohen’s Kappa, Holsti 지수 등)를 계산하는 방법으로 접근할 수 있습니다. 다만 이 방법은 주로 텍스트를 범주별로 계량화하는 내용분석(content analysis)으로 접근할 때 주로 활용합니다. 만약 현상학이나 근거이론, 내러티브 탐구와 같은 해석적인 방법으로 접근할 때에는 감사 추적이나 동료 검증과 같은 투명성 확보 절차를 더욱 가치있게 평가합니다.

Q. 구성원 확인(member checking)은 연구에 참여한 모든 대상자를 삼아서 수행해야 하나요?

A. 전수 조사가 필수는 아닙니다. 연구 참여자 전체를 대상으로 하기보다는, 자신의 경험을 풍부하게 진술한 2-3명의 주요 참여자를 선별하고 이들로부터 검증을 받는 것만으로도 신뢰성을 충분하게 드러낼 수 있습니다. 단, 연구 주제가 트라우마, 사내 비리, 심각한 소진 등 참여자에게 정서적인 고통이나 심리적 부담을 다시 유발할 수 있는 특징을 가진다면 구성원의 확인 범위와 방식을 신중하게 판단해야 합니다.

Q. 구성원 확인 과정에서 연구 참여자가 연구자의 해석에 동의하지 않으면 어떻게 대처해야 하나요?

A. 원시자료를 원점에서 다시 검토해야 합니다. 이를 통해 연구자가 이론의 틀에만 매몰되어 참여자의 경험을 왜곡했을 가능성을 확인해야 합니다. 만약 연구자의 해석에서 오류가 나타나는 것으로 확인이 된다면, 참여자의 의견을 수용하고 해석을 수정해야 합니다. 그러나 연구자의 해석을 그대로 유지해야 한다는 타당한 근거가 있다면, 참여자의 이견과 연구자의 해석적인 근거를 논문에 병기해서 서술하는 것이 학술적인 깊이를 드러낼 수 있습니다.

Q. 동료 검증(peer debriefing)을 부탁할만한 적임자는 어떤 기준으로 선정해야 하나요?

A. 질적연구 방법론에 대한 이해도가 높고 연구 주제의 맥락을 충분하게 이해하는 동료 대학원생(가능하다면 박사과정 학생)이나 경험이 풍부한 연구자가 이상적입니다. 지도교수 외에 제3자적인 위치에서 비판적인 질문을 제기할 수 있는 동료를 섭외해야 합니다. 그리고 논문의 ‘제3장. 연구의 방법’에 동료 검증에 참여한 사람의 학문적인 배경(예., “간호학 박사과정에 재학 중인 질적연구를 경험한 1인”)과 검증 횟수, 주요 검토 내용을 기술해야 합니다.

Q. 감사 추적(audit trail)은 연구 노트에 구체적으로 어떤 내용을 기록해야 하나요?

A. 자료 수집에 관해서 정리한 메모(현장 노트), 개방형 코딩을 하는 과정에서 특정한 이름을 부여한 이유, 유사한 코드들을 상위 범주로 군집시키거나 분리를 시키게 된 이론적인 근거, 분석을 수행하는 과정에서 연구자가 느꼈던 혼란, 그리고 의사결정의 궤적을 일자별로 기록해야 합니다. 이 기록물은 심사위원이 질적연구의 과정에서 품었던 의문을 제기할 때 원시자료로부터 최종적으로 주제와 범주가 식별되었던 모든 과정을 소명할 수 있는 자료로 활용할 수 있습니다.

Q. 엄격성 확보 절차의 6가지를 학위논문을 위한 연구에서 모두 이행해야 하나요?

A. 모두 이행할 필요가 전혀 없으며, 현실적으로도 어렵습니다. 자신의 연구 설계와 현실적인 여건에 가장 적합한 2-3가지의 주요 전략(예., 성찰 기록 + 동료 검증 + 구성원 확인)를 선별해서 이행하는 것이 바람직합니다. 중요하게 부각해야 할 점은, 연구자가 선택한 절차를 얼마나 엄격하게 적용했는지의 여부를 ‘제3장. 연구의 방법’에 구체적인 입증 자료와 함께 투명하게 기술하는 것입니다.

요약: 질적연구에서의 엄격성 확보와 심사 대응을 위한 원칙

질적연구는 맥락적인 상호작용 속에서 생성되는 주관적인 의미를 다루는 방법론입니다. 따라서 양적 연구가 추구하는 기계적인 반복의 재현성(신뢰도)이라는 기준을 그대로 적용할 수 없습니다. 대신, 질적연구에서의 신뢰성은 연구자의 자의적인 해석을 철저하게 배제하고 결론에 도달하기까지의 분석 경로를 입증하는 ‘방법론적인 투명성’을 통해 드러내어야 합니다.

질적연구에서의 신뢰는 자료와의 유기적인 연계, 분석 절차의 투명한 공개, 그리고 제3자의 검증 개입이라는 접근으로 드러낼 수 있습니다. 이는 Lincoln과 Guba가 마련한 4대 기준인 신빙성, 전이 가능성, 의존 가능성, 그리고 확인 가능성으로 구체화될 수 있습니다. 질적 연구자는 이를 구현하기 위해 구성원 확인과 동료 검증, 삼각검증, 풍부한 기술, 감사 추적, 성찰 일지의 작성 중에서 일부 실행계획을 연구의 설계 단계에서부터 수립해야 합니다.

심사 과정에서 제기되는 ‘주관성’에 관한 비판에 대해서 위축되어서는 안됩니다. 오히려 질적 연구가 추구하는 패러다임을 바탕으로 연구자 자신이 수행한 엄격성의 확보 절차와 감사 추적을 입증하는 자료를 제시하며 소명해야 합니다.