분석의 결과가 반드시 인과성(causality)을 입증하는 것은 아닙니다. 처치 효과 외에 제3의 변수에 의한 영향력이 개입되어 있거나(내적 타당도), 그 결과를 다른 집단과 맥락으로 일반화하기에는(외적 타당도) 한계를 가질 수 있습니다. 내적 타당도와 외적 타당도를 훼손하는 위협 요인, 그리고 이들을 연구설계의 단계에서 선제적으로 통제하기 위한 방법론적인 대비책, 나아가서는 논문에서 연구의 한계점을 서술하는 방법을 안내합니다.

이 글의 순서 8개 항목

연재글 순서
타당도의 개념과 구분: 측정의 타당도와 설계의 타당도
내적 타당도를 위협하는 6대 요인
외적 타당도를 위협하는 4대 요인
연구설계 단계에서의 방법론적인 대비 전략
논문 결론부에서 ‘연구의 한계점’ 작성 원칙과 형식
자주 묻는 질문 (FAQ)
결론

논문심사 위원은 연구결과가 연구자가 의도한 독립변수(또는 실험 처치) 외에 ‘제3의 요인으로 설명될 여지는 없는가’를 생각할 수 있습니다. 예를 들어서, 교육 프로그램 참여자의 성취도 점수가 사후에 유의수준에서 향상되었다고 하더라도, 그것이 프로그램의 순수한 처치 효과인지, 아니면 시간의 경과에 따른 자연스러운 발달(성숙) 때문인지, 혹은 사전 검사를 거치며 평가 문항에 익숙해진 시험 효과 때문인지를 구분해야 합니다.

나아가, 특정한 표본 집단(예., A 학교의 학생)에서 검증된 결과를 다른 학교나 일반 대중에게도 동일하게 적용할 수 있는가는 전혀 다른 차원의 문제입니다.

전자의 물음이 ‘내적 타당도(internal validity)’의 영역이라면, 후자의 물음은 ‘외적 타당도(external validity)’에 해당합니다. 어느 연구자라도 두 타당도를 저해하는 위협 요인들을 연구설계의 단계에서 반드시 숙지하고 있어야 합니다.

연재글 순서

타당도의 개념과 구분: 측정의 타당도와 설계의 타당도

학술 연구에서 ‘타당도(validity)’라는 개념은 크게 두 가지 측면에서 논의됩니다. 첫째는 측정의 타당도(measurement validity)이며, 둘째는 설계의 타당도(design validity)입니다.

측정의 타당도: 측정 도구가 애초부터 측정하려고 의도한 구성개념(construct)을 실제로 정확하게 측정하고 있는지의 여부를 의미합니다. 예를 들어서, 직무만족도 척도가 직무몰입이나 조직몰입이 아닌 순수한 직무만족을 측정하는지의 여부입니다. 측정 타당도의 수준을 평가하기 위해서는 탐색적 요인분석(exploratory factor analysis)와 확인적 요인분석(confirmatory factor analysis) 등의 분석절차를 거쳐야 합니다.
설계의 타당도: 연구 결과가 인과적 관계를 입증하고, 나아가서는 일반화 가능성을 가지는지의 여부를 뜻합니다.

이 구분을 체계화한 대표적인 학자가 Donald T. Campbell입니다. Campbell(1957)은 사회 현장에서 수행하는 실험 연구의 질적인 평가 기준을 마련하였는데, 특히 연구 설계를 평가하기 위해 다음의 두 가지 지표를 제시하였습니다.

내적 타당도: 연구에서 적용한 독립변수(실험 처치)가 종속변수의 변화를 실제로 유발했다고 단정할 수 있는 정도(인과적 추론의 엄밀성)입니다.
외적 타당도: 연구에서 관찰된 효과를 다른 모집단, 시점, 환경적인 맥락 또는 변수로까지 일반화할 수 있는 범위와 타당성을 뜻합니다.

Campbell은 내적 타당도와 외적 타당도가 서로 대립 관계에 놓여 있음을 지적하였습니다. 예를 들어서, 실험실 환경에서 외생변수를 엄격히 통제할수록 제3의 대안적인 설명이 배제되어 내적 타당도의 수준은 높아지지만, 지나치게 인위적인 통제 상황은 현실의 생태계와는 괴리되기 때문에 외적 타당도(생태학적 타당도)의 수준이 떨어지기 때문입니다. 반대로, 인간의 실생활 환경을 그대로 반영해서 실험을 수행하면 현실성은 확보가 되어 외적 타당도의 수준이 상승하나, 통제되지 않은 수많은 외생변수로 인해 내적 타당도가 훼손됩니다.

Campbell, D. T. (1957). Factors relevant to the validity of experiments in social settings. Psychological Bulletin, 54(4), 297-312. https://doi.org/10.1037/h0040950

따라서 두 타당도를 동시에 극대화할 수 있는 연구 설계는 지구상에 존재하지 않습니다. 연구자는 자신의 연구가 인과관계의 규명(내적 타당도)과 현실에서의 일반화(외적 타당도) 중에서 어느 측면에 주안점을 두고 있는지를 미리 설정해야 합니다. 만약 연구를 설계하는 과정에서 두 타당도 중에 어쩔 수 없이 한쪽을 등한시할 수 밖에 없었다면 논문의 ‘연구의 한계’에서 한계점을 기술하는 것이 가장 현실적이고 학술적인 대응입니다.

내적 타당도를 위협하는 6대 요인

내적 타당도를 위협하는 요인이란, 종속변수의 변화가 실험 처치나 독립변수가 아닌 ‘다른 외생적인 요인’에 의해 발생했다고 판단할 수 있는 설명들을 의미합니다. Campbell이 제시한 대표적인 6대 위협 요인은 표 1.이 나타내는 바와 같습니다.

표 1. 연구설계에서 발생하는 내적타당도 위협요인과 취약한 설계의 유형

위협 요인	개념과 발생 메커니즘	주로 발생하는 연구설계
역사 효과 (History)	연구 진행 기간 중 연구자가 통제할 수 없는 외부 사건이 발생하여 결과에 영향을 미침	사전-사후 검사를 포함하는 종단/실험 설계
성숙 효과 (Maturation)	처치와 무관하게 참여자가 시간 경과에 따라 신체적·심리적으로 자연 성장하거나 피로해짐	장기간에 걸쳐 진행되는 연구 설계
검사 효과 (Testing)	사전 검사를 경험한 참여자가 문항에 친숙해지거나 기억을 학습하여 사후 검사 점수가 상승함	동일 도구로 사전-사후 측정을 반복하는 설계
측정도구의 변화 (Instrumentation)	측정 도구, 채점 기준, 또는 관찰자의 관찰 태도나 평가 척도가 연구 도중 변경됨	질적 관찰, 면접, 주관적 평가가 개입되는 설계
선발 편향 (Selection)	실험집단과 통제집단의 참여자가 무작위로 배정되지 않아 초기 특성에 체계적 차이가 존재함	무작위 배정이 불가능한 유사실험설계(준실험설계)
실험 참여자 탈락 (Mortality/Attrition)	연구 진행 도중 탈락하거나 중도 이탈한 사람들의 특성이 끝까지 남은 사람들과 체계적으로 다름	장기 추적 조사, 다회기 프로그램 개입 연구

학위논문 심사에서 가장 흔하게 지적받는 취약점은 선발 편향과 참여자 탈락입니다. 교육, 복지, 임상 등 현실의 현장에서 수행하는 연구에서는 무작위 배정(random assignment)을 실현하기가 현실적으로 불가능합니다. 이에 따라 이미 마련된 학급이나 기관 집단을 그대로 활용하는 경우가 대부분이고, 프로그램 회기가 거듭될수록 중도 이탈자가 발생하기 때문입니다.

개입 기간이 길어질수록, 역사 효과(history effect)와 성숙 효과(maturation effect)가 나타날 가능성도 함께 커집니다. 만약 프로그램이 한 학기 이상으로 길게 이어진다면 교내외 행사나 학사 일정의 변경 등 외부 사건이 개입되거나 참여자의 자연적인 발달이 점수 향상에 기여할 가능성이 커지게 됩니다. 이러한 외생 요인의 영향력은 비교가 가능한 적절한 통제집단(control group)을 배치해서 상당 부분을 통제할 수 있습니다. 왜냐하면 통제집단 역시 동일한 외부 사건을 겪고 동일한 시간 동안 함께 성숙하기 때문입니다.

설문조사 기반의 횡단 조사연구(cross-sectional study)는 위에서 기술한 실험적 위협 요인이 동일하게 적용되지는 않습니다. 다만, 독립변수와 종속변수의 값을 동일한 시점에서 일회 측정하기 때문에 인과적인 선후관계를 입증하기가 어렵습니다. 또한, 통제되지 않은 제3의 잠재변수가 두 변수를 공변시켜 ‘허위 상관(spurious correlation)’이 발생할 가능성을 배제할 수 없습니다.

외적 타당도를 위협하는 4대 요인

외적 타당도를 위협하는 요인은 연구를 통해 도출된 결론을 표본의 범위를 넘어서 다른 인구집단이나 시점, 또는 다른 환경에 일반화하기 어렵게 만드는 제약 요인을 뜻합니다.

표 2. 연구결과의 일반화를 저해하는 외적타당도 위협요인과 대표적인 발생 상황

위협 요인	개념과 발생 메커니즘	대표적인 발생 상황
표본의 편중 (Selection Bias)	특정 특성이나 인구학적 배경을 지닌 대상에 편중되어 표본이 추출됨	특정 지역, 단일 기업, 단일 학교 중심의 편의표집(Convenience Sampling)
상황의 특수성 (Context Specificity)	연구가 진행된 시점이나 환경적 맥락이 매우 특수하여 보편적 상황에 적용되지 않음	위기 상황(예: 재난 직후), 제도 변화 직후 등 특수한 사회적 계기
처치의 특수성 (Treatment Interaction)	프로그램 효과가 특정 진행자의 역량, 카리스마, 특수한 물리적 환경과 결합하여 발생함	연구자가 직접 교육·상담 프로그램을 전담 진행한 경우
측정의 반응성 (Hawthorne Effect)	관찰이나 조사 대상이 되고 있음을 인지한 참여자가 평소와 다르게 반응하거나 행동함	공개 관찰 연구, 참여자 스스로가 실험 목적을 인지한 경우

학위논문에서 드러나는 가장 보편적인 외적 타당도의 한계는 바로 표본의 편중입니다. 특정한 지역이나 특정한 기관의 표본만을 편의표집(convenience sampling)해서 얻어진 결과를 모집단 전체로 일반화하는 것은 비약(jumping)에 해당합니다. 확률적 표집(probabilistic sampling)이 가장 이상적이기는 하나 현실적으로는 매우 어렵기 때문에, 표본에서의 인구통계적인 특성을 논문에 기술하고 연구결과의 적용 범위를 한정하면서 해석해야 합니다.

처치의 특수성 또한 주의 깊게 고려해야 하는 요인입니다. 연구자가 직접 프로그램을 수행하였다면, 연구의 결과에서 관찰되는 긍정적인 성과가 순수한 프로그램에서 비롯된 것인지, 또는 연구자의 역량이나 열정에 의해서 나타난 결과인지를 분리해서 식별하기가 어렵습니다. 즉, 다른 일반 강사가 동일한 매뉴얼을 적용한 경우에도 동일한 효과가 재현(replicate)되는지의 여부를 장담하기 없습니다.

측정의 반응성(호손 효과)은 관찰 연구에서 두드러지게 나타나는 위협요인입니다. 즉, 누군가가 자신을 관찰하고 있다는 인식이 행동의 변화를 유발하기 때문에, 관찰 기간을 충분히 설정하거나 비간섭적인 기록 자료를 교차로 활용해서 호손효과를 완화해야 합니다.

연구설계 단계에서의 방법론적인 대비 전략

타당도를 위협하는 요인을 100% 제거할 수는 없습니다. 하지만 다음의 여러 조치들을 통해서 그 파급력을 억제할 수는 있습니다.

통제집단의 배치: 실험집단과 동일한 성격을 가지는 통제집단을 함께 운영한다면 역사 효과, 성숙 효과, 검사 효과를 어느정도 통제할 수 있습니다. 두 집단이 동일한 기간 동안 동일한 환경변화를 체험하고 동일한 측정도구로 평정하기 때문입니다.
사전 검사(pre-test)의 수행: 사전 검사를 통해 두 집단의 초기 동질성을 검증하고 선발 편향을 확인할 수 있습니다. 만약 측정한 사전 점수에서 유의한 차이가 나타난다면, 공분산분석(ANCOVA) 등으로 접근해서 사전 점수의 차이를 통계적으로 통제할 수 있습니다.
다기관, 다지역을 대상으로 분산 표집: 단일한 기관을 대상으로 하는 표집을 지양하고, 복수의 기관이나 다양한 배경을 가진 집단으로부터 표본을 추출하면 고유한 맥락과 특수성이 희석되어 표본 편중을 크게 완화할 수 있습니다.
절차의 표준화와 매뉴얼화: 인터뷰 질문지를 구조화하고 프로그램 수행 절차를 매뉴얼로 표준화하면 처치의 특수성을 감소시킬 수 있습니다. 이는 제3자가 동일한 처치를 재현하더라도 동일한 개입을 가능하게 하기 때문입니다.
탈락자 특성의 분석(attrition analysis): 장기적인 연구를 설계할 때에는 표본 탈락을 예상해서 초기에 표집해야 하는 표본의 크기를 여유 있게 확보해야 합니다. 아울러, 중도에 이탈하는 집단과 잔류 집단끼리의 초기 특성을 비교해서 두 집단 간에 차이가 없음을 입증한다면 이탈에 따른 내적 타당도의 저해 위험을 소명할 수 있습니다.

논문 결론부에서 ‘연구의 한계점’ 작성 원칙과 형식

연구의 설계 단계에서 통제하지 못한 위협 요인을 결론 챕터에서 ‘연구의 한계점’으로 기술해야 합니다. 연구의 한계점을 서술하는 것은 연구의 흠결을 드러내는 것이 아니며, 연구 결과가 타당하게 해석될 수 있는 학술적인 경계(boundary)를 제공하는 작업입니다.

표 3. 연구 설계상의 제약사항에 따른 결과해석의 한계와 후속연구의 제언

제약 사항	결과 해석상의 한계	후속 연구를 위한 제언
특정 지역 소재 1개 기관 대상의 편의표집	표본의 대표성이 부족하여 전국 단위의 대상자로 일반화하는 데 한계가 있음	지역적·인구학적 다양성을 고려한 표본 다변화 및 층화표집 실시 제언
횡단적(Cross-sectional) 설문 자료 수집	변인 간의 상관성은 확인하였으나 엄밀한 인과적 선후관계를 입증하기 어려움	시간의 흐름에 따른 변인 간 인과경로를 규명하기 위한 종단적(Longitudinal) 추적 연구 제언
자기보고식(Self-report) 설문 척도 활용	주관적 왜곡이나 사회적 바람직성 편향(Social Desirability)이 개입되었을 가능성 존재	객관적 관찰 지표, 제3자 평가(상사·동료), 또는 정량적 기록 자료와의 다각화 병행 제언

[‘연구의 한계점’을 서술할 때에 유의해야 할 3가지]

진부한 일반론을 나열하는 것을 지양: “표본의 크기가 작아 일반화에 한계가 있다”라는 전혀 의미없는 ‘문장’만을 나열하는 것은 방법론적인 성찰을 전혀 보여주지 못합니다.
한계점을 과도하게 나열하는 것을 지양: 연구의 한계점을 3-4개 이상으로 장황하게 나열한다면 연구 자체의 학술적인 가치와 기여도를 스스로 무력화시키는 것입니다. 가장 핵심적인 쟁점을 다루면서 심도 있게 서술해야 합니다.
결론에서 서술한 내용과 체계성을 유지: 연구의 한계점에서는 일반화의 한계를 드러내고 있는데, 결론과 시사점 영역에서는 “모든 집단에 적용되어야 한다”라고 일반화를 지향한다면 서로 논리적인 모순이 발생합니다.

아래의 링크를 방문하면 ‘연구의 한계점’을 올바르게 작성하는 방법에 대해 많은 정보를 얻을 수 있습니다.

가짜 ‘연구의 한계’ vs. 진짜 ‘연구의 한계’: 논문에서 올바른 ‘연구의 한계점’ 작성 방법

가상 사례: 평생교육학 박사과정 연구자의 타당도 위협요인의 분석과 연구설계의 보완

평생교육학을 전공하는 박사과정 연구자 E씨는 중장년 성인 학습자를 대상으로 ‘학습 지속 의지 증진을 위한 프로그램’의 효과성을 검증하기 위해 준실험 연구설계를 기획하였습니다. 한편, 연구 계획서를 검토하는 과정에서 연구설계에 드러날 수 있는 세 가지 유형의 타당도 위협 요인을 식별할 수 있었습니다.

첫째, 평생학습관 한 곳에 등록한 연구대상자를 중심으로 하는 편의표집은 표본의 편중을 발생시켜 외적 타당도를 위협할 수 있습니다. 둘째, 연구자가 직접 프로그램을 운영하기 때문에 연구결과에서 나타나는 프로그램의 효과성이 프로그램의 우수성 자체 때문인지, 아니면 연구자 개인의 역량(예., 처치의 특수성)에서 비롯되는 것인지를 구분하기가 어렵다는 점이었습니다. 셋째, 12주에 걸쳐 프로그램을 운영하는 과정에서는 외부 사건(역사 효과)과 참여자의 자연적 동기 변화(성숙 효과)가 개입될 수 있다는 점이었습니다.

이에 따라 연구자는 타당도를 훼손하는 여러 위협요인을 제거하기 위해 다음의 보완책을 강구하였습니다. 역사효과와 성숙 효과를 통제하기 위해 프로그램에 참여하지 않은 동일한 센터에서 활동하는 성인 학습자들을 섭외해서 ‘대기 통제집단(Wait-list Control Group)’을 구성하고, 사전-사후 검사를 동일하게 수행하였습니다. 또한, 프로그램 처치의 특수성을 완화하기 위해 프로그램의 세부 활동과 발화 지침을 표준화한 ‘교수자 운영 매뉴얼’을 제작하고 이를 논문 부록(Appendix)에 기재하였습니다. 한편, 단일 기관을 대상으로 하는 표본의 편중 문제를 해결하기에는 현실적으로 많은 한계점을 가지고 있었습니다. 이에 따라 연구 참여자들의 인구통계학적 특성과 배경, 그리고 학습 이력을 본문에 상세히 리포팅하고, 논문에서의 ‘연구 한계점’에 관련 내용을 투명하게 기술하였습니다.

(※ 본 사례는 평생교육학 박사학위논문 컨설팅의 경험을 바탕으로 재구성한 가상의 시나리오입니다.)

자주 묻는 질문 (FAQ)

Q. 내적 타당도와 외적 타당도를 모두 완벽하게 확보하는 연구 설계가 가능한가요?

A. 현실적으로는 불가능합니다. 내적 타당도를 높이기 위해서는 완벽하게 통제된 실험실 환경의 수준에서 외생변수를 엄격하게 통제하면 현실 맥락으로의 일반화 가능성(외적 타당도)이 저하됩니다. 반대로 외적 타당도를 확보하기 위해 일상생활과 관련된 현실 데이터를 그대로 사용한다면 통제되지 않은 수많은 교란 요인으로 인해 내적 타당도가 약화됩니다. 따라서 연구자는 본인의 연구 목적이 인과경로의 규명에 있는지, 아니면 현장 적용을 위한 일반화에 있는지를 먼저 판단해야 합니다.

Q. 비실험 설계의 특징을 가지는 설문조사 연구로 접근해도 타당도가 위협받을 수 있나요?

A. 물론 위협받을 수 있습니다. 실험 연구와는 방법론인 측면에서 서로 다르지만, 주로 횡단 연구에서 발생하는 인과관계 해석의 모호성, 즉 동일 시점에서 동일한 도구로 측정하였기 때문에 독립변수의 값과 종속변수의 값의 선후관계가 분명하지 않은 점이 타당도를 위협할 수 있습니다. 또한, 통제되지 않은 제3의 잠재적인 외생변수가 유발하는 ‘허위 상관’, 편의표집으로 인한 표본의 편향성, 그리고 응답자의 자기보고 편향 등이 타당도를 위협하는 대표적인 요인으로 작용합니다.

Q. ‘연구의 한계점’에서 자신의 연구 한계를 솔직하게 드러내면 논문심사 위원으로부터 부정적인 평가를 받지 않을까요?

A. 그렇지 않습니다. 연구의 한계점을 객관적이고 투명하게 기술하는 것은 연구자 본인이 자신의 연구 설계에서 드러난 한계와 연구결과가 가지는 유효한 적용 범위를 정확하게 이해하고 있음을 보여주는 전문성의 지표입니다. 오히려 한계점을 기술하지 않거나, 어느 누구라도 말할 수 있는 진부한 일반론만을 나열한 논문이야말로 심사 과정에서 가혹한 비판과 지적을 받게 됩니다.

Q. 종단 연구나 다회기 프로그램 연구에서 참여자 이탈이 발생했을 때 결과를 그대로 보고해도 되나요?

A. 분석과 보고는 가능하지만, 사전에 ‘이탈 편향 분석(attrition bias analysis)’을 반드시 수행해야 합니다. 중도 이탈자 집단과 최종 잔류자 집단 간의 초기 특성(예., 인구학적 특성, 사전 점수 등)에 통계적으로 유의한 차이가 있는지를 독립표본 t-검정이나 교차분석 등으로 검증해야 합니다. 만약 두 집단 간의 차이가 관찰되지 않는다면, 이탈로 인한 내적 타당도의 훼손 정도가 크지 않음을 입증할 수 있습니다. 또는, 통계적으로 유의한 차이가 나타난다면 체계적 편향성에 관해 한계점을 서술하고 연구결과 해석의 범위를 엄격하게 제한해야 합니다.

Q. 연구자가 자신이 직접 개발한 프로그램을 현장에서 운영해도 학술적으로 인정을 받을 수 있나요?

A. 교육, 상담, 임상 현장 연구에서 흔히 나타나는 접근 방식입니다. 다만 연구자의 전문성, 열의, 교수 스타일이 프로그램의 효과성과 혼재되어 ‘처치의 특수성’이라는 외적 타당도가 훼손될 수 있습니다. 이를 완화하기 위해서는 프로그램 수행에 관한 매뉴얼과 운영 지침을 문서화하고 이를 논문의 부록(Appendix)에서 제시해야 합니다. 또한, 제3자에 의한 재현 가능성(replicability/reproducibility)이 제한적이라는 점을 논문에서 드러내어야 합니다.

결론

연구설계에 관한 타당도는 독립변수의 순수한 처치 효과를 의미하는 ‘내적 타당도’와 연구 결과를 다른 대상과 맥락으로 일반화할 수 있는지를 평가하는 ‘외적 타당도’로 양분됩니다. 내적 타당도를 위협하는 요인에는 역사효과, 성숙효과, 검사 효과, 측정도구 변화, 표집 편향, 참여자 탈락이 있으며, 학위논문에서는 특히 표집 편향과 참여자 탈락이 주요한 결함으로 지적됩니다. 외적 타당도를 저해하는 요인에는 표본의 편중, 상황의 특수성, 처치의 특수성, 측정 반응성(호손 효과)이 존재합니다.

연구자는 설계 단계에서 통제집단 배치, 사전 검사 수행, 다기관으로부터의 분산 표집, 프로그램 수행 절차의 표준화 등을 통해 이들의 위협을 완화해야 합니다. 나아가, 해소하지 못한 잔여 위협은 연구의 결함으로 숨기지 말고, ‘연구의 한계점 – 해석의 제약 – 후속 연구’라는 구조화된 서술을 통해 연구의 한계점으로 객관화함으로써 연구에서의 신뢰성을 드러내야 합니다.

연구 로드맵