연구방법 제5단계. 실험 연구의 설계(Experimental Design): 중재 프로그램의 순 처치 효과 규명을 위한 인과 추론의 방법론적인 체계

교육 훈련이나 임상적 중재 프로그램의 처치 이후에 측정 점수가 향상되었다는 사실만으로는 프로그램의 고유한 처치 효과를 인과적으로 입증하기 어렵습니다. 관측된 점수의 상승은 중재의 효용에 비롯된 것 뿐만 아니라, 시간의 경과에 수반되는 대상자의 자연스러운 발달과 변화에 의한 성숙 효과, 실험 처치 기간 중에 발생한 외생적 사건의 개입(역사 효과), 혹은 동일한 측정 도구의 반복 노출에 따른 검사 친숙도(검사 효과) 등 내적 타당도를 저해하는 외생 변인들의 혼재로 나타났을 가능성이 있기 때문입니다.

이 글의 순서 8개 항목

1. 연재글 순서
2. 인과관계(Causality) 성립을 위한 3대 조건과 실험의 목적
3. 실험 연구의 설계를 구성하는 3대 핵심 장치
4. 실험 설계 유형의 비교: 전실험 vs. 유사실험 vs 진실험
5. 현장 기반의 실험 연구에서 발생하는 내적 타당도의 저해 요인과 통제 전략
6. 비동등 집단 간의 사전 편차 보정을 위한 공분산분석(ANCOVA)의 통계적인 메커니즘
7. 자주 묻는 질문 (FAQ)
8. 결론

교육학, 간호학, 심리학, 사회복지학 등의 응용실천적인 학문 분야에서 연구자가 가장 매력을 느끼는 연구방법론적인 주제는, 자체 개발하였거나 현장에 도입한 중재(intervention) 프로그램이 대상자의 인지적, 정서적인 태도나 역량을 긍정적으로 변화시켰는가를 탐색하는 데 있습니다.

그러나 학술계에서 비판이 제기되는 곳 역시 이러한 연구 설계의 방법론에 있습니다. 초심 연구자들은 종종 30명 내외의 단일 집단을 모집해서 사전 검사를 수행하고, 8주 또는 16주 간의 중재 프로그램을 진행한 후에 사후 검사를 시행하는 단일집단 사전사후설계(one-group pretest-posttest design)로 접근합니다. 그리고 만약, 측정한 점수가 3.2점에서 4.5점으로 유의미하게 상승하였다는 검정값에 근거하여 프로그램의 탁월한 효과성이 입증되었다고 성급히 결론을 내립니다. 하지만 이 결론에서는 내적 타당도(internal validity)가 결여된 허위 인과(spurious causality)에 의해 해석할 위험이 높습니다.

이는 종속변수의 측정값에서 나타나는 긍정적인 변화가 순수한 프로그램 처치 효과에 비롯되지 않았을 가능성이 있기 때문입니다. 프로그램 개입이 진행된 8주의 기간 동안 연구 대상자의 내부에서 자연스럽게 발현된 성숙 효과(maturation)나 동일한 측정도구의 반복적인 노출로 유발된 검사 효과(testing effect)가 측정 점수의 상승을 견인했을 개연성을 배제할 수 없습니다. 그리고, 프로그램에 자발적으로 지원할 만큼 동기가 고양된 대상자들로 구성된 표집 편향(selection bias)이 외생적인 혼란 요인으로 작용했을 가능성 또한 배제하기 어렵습니다.

실험 연구(experimental research)의 본질은 중재 프로그램의 수행 자체 뿐만 아니라 프로그램 처치 외에 종속변수의 변화를 설명할 수 있는 모든 경쟁적인 대안 요인, 즉 외생변인(extraneous variables)의 혼입을 연구 설계의 단계에서 체계적으로 통제하는 데 있습니다. 외생변인의 통제 메커니즘이 연구 설계 안에서 구조화되어 있지 않다면, 수개월에 걸친 현장 실행이라는 학술적인 가치는 처치가 결과로 이어지는 인과관계를 규명하는 데 실패할 수 있습니다.

연재글 순서

1. 연구문제가 방법을 정한다: 연구방법 선택의 판단을 위한 경로
2. 양적 연구 vs. 질적 연구: 연구 패러다임의 충돌과 방법론 선택의 기준
3. 혼합연구 방법론(Mixed Methods Research): 양적연구와 질적연구의 통합적인 설계 전략
4. 설문조사 연구의 설계: 설문지를 설계하기 전에 확인해야 하는 방법론적인 청사진
5. 실험 연구의 설계: 중재 프로그램의 순 처치 효과 규명을 위한 인과 추론의 방법론적인 체계
6. 사례연구와 문헌연구: 데이터를 수집하지 않고 기존의 자료(archival data)를 활용하는 연구설계
7. 변수와 측정: 모호한 개념을 통계 모형으로 전환하는 ‘조작적 정의’
8. 타당도의 위협: 연구설계의 취약 지점과 타당도의 저해 요인
9. ‘제4장. 연구의 방법’ 작성: 재현 가능성(replicability)의 구현

인과관계(Causality) 성립을 위한 3대 조건과 실험의 목적

사회과학 연구에서 독립변수(A)와 종속변수(B) 간의 인과관계를 규명하기 위해서는, 존 스튜어트 밀(John Stuart Mill)이 주장한 세 가지 인과 추론의 전제 조건이 예외 없이 충족되어야 합니다.

설문조사 연구가 변인 간의 공변 관계만을 확인하는 수동적인 관찰 형태라는 특징을 가진다면, 실험 연구는 연구자가 연구 환경과 처치의 조건을 능동적으로 통제하여 시간적 선행성과 외생변인의 배제라는 인과 추론의 요건을 구현하는 적극적인 방법론입니다.

실험 연구의 설계를 구성하는 3대 핵심 장치

실험 연구에서 인과 추론의 타당성을 확보하기 위해 연구자는 다음 세 가지 장치를 설계에 포함해야 합니다.

1. 독립변수의 조작과 실험 처치(manipulation / treatment) 실험 처치란 연구자가 통제된 환경 속에서 대상자에게 의도적으로 투입하는 독립변수의 개입을 의미합니다. 교육 훈련 프로그램, 심리 상담, 특수 교수 모형, 임상적 중재 등이 이에 해당합니다. 연구자는 처치의 개시와 종결 시점, 노출의 빈도 및 투입 강도(dosage)를 계획된 연구 프로토콜에 따라 일관되게 통제할 수 있어야 합니다.

2. 비교 준거로서의 통제집단 설정(control group) 통제집단은 실험 처치를 배제하거나 통상적인 표준 처치(standard care)만을 유지하는 대조군입니다. 시간 경과에 수반되는 대상자의 자연스러운 발달(성숙 효과)이나 실험 기간 중에 외부 환경에서 유입되는 우발적인 사건(역사 효과) 등의 외생 요인은 실험집단과 통제집단 모두에 균등하게 작용합니다. 따라서 처치가 종결된 후에 두 집단 간에 나타나는 종속변수의 측정 값을 서로 대조함으로써 외생적인 혼란 요인을 상쇄하고, 중재 프로그램에 따른 순 처치 효과(net treatment effect)만을 평가할 수 있습니다.

3. 기저 동질성을 담보하는 대상자 배정(assignment) 배정이란 표집한 연구 대상자를 실험집단과 통제집단에 분할하고 할당하는 절차를 의미합니다. 중재가 개시되기 전에 두 집단 간의 인구사회학적 배경(예., 성별, 연령 등)이나 인지적, 심리적인 특성(예., 지능, 사전 역량, 참여 동기 등)에서 편차가 존재한다면, 사후 측정에서 관측된 점수의 격차가 프로그램의 효용에서 비롯된 것인지, 혹은 기저에서 내재된 집단 간의 초기에서 관찰된 차이때문인지를 판별하기가 어렵습니다. 따라서 표본을 배정하는 단계에서 두 집단 간의 사전 동질성(baseline equivalence)을 확보해야 합니다.

실험 설계 유형의 비교: 전실험 vs. 유사실험 vs 진실험

실험 연구는 현장 통제의 수준과 독립변수의 조작, 통제집단 설정, 대상자 배정에 관한 구비 여부에 따라 세 가지 유형으로 구분됩니다.

그러나 학위논문이라는 연구의 맥락을 고려한다면, 진실험 설계(true experimental design)의 제반 요건을 구현하는 데에는 현실적인 한계가 따릅니다. 예를 들어서, 교육 현장에서 연구 목적을 위해 기존의 학급 편성을 임의로 해체하고 학생들을 무작위로 배정하는 것은 현실적으로 어렵기 때문입니다. 아울러 의료와 임상 현장에서 효용이 기대되는 중재 처치를 특정한 환자군에만 무작위로 적용하고 대조군을 배제하는 행위는 기관생명윤리위원회(IRB)의 윤리적인 심의 기준에 저촉될 소지가 큽니다.

따라서 석사학위 또는 박사학위 논문을 위한 연구에서는 이들의 제약을 극복하는 방법론으로서 유사실험 설계(quasi-experimental design), 특히 비동등 통제집단 사전사후 설계(nonequivalent control group pretest-posttest design)가 널리 활용되고 있습니다. 이 설계는 이미 구조화된 기존 집단(intact groups)을 표본 단위로 활용하는데, 예를 들어서 A학급(또는 A병동)을 실험집단으로, B학급(또는 B병동)을 통제집단으로 설정하는 방식을 취합니다. 다만 무작위 배정을 적용하지 못함으로써 발생하는 선택 편향(selection bias)이라는 취약성을 보완해야 합니다. 이를 위해 처치 투입을 하기 전에 사전 검사를 수행하고 두 집단 간 종속변인 및 주요 통제변인의 기저 수준에 통계적인 차이가 존재하지 않음을 확인하는 사전 동질성 검증(baseline equivalence test)을 필수적인 절차로 운용합니다.

현장 기반의 실험 연구에서 발생하는 내적 타당도의 저해 요인과 통제 전략

현장을 기반으로 하는 실험 연구를 기획하고 수행하는 과정에서 연구자가 지속적으로 직면하게 되는 대표적인 내적 타당도(internal validity)의 위협 요인과, 인과 추론의 타당성을 확보하기 위한 방어 전략은 다음과 같습니다.

1. 처치의 확산 및 오염(diffusion of treatment)

• 발생 메커니즘: 실험집단과 통제집단이 동일한 교육 시설, 병동, 사업장 등의 물리적인 공간을 공유할 때 빈번하게 발생합니다. 실험집단 참여자가 일과 중에 대조군의 구성원에게 프로그램 유인물을 공유하거나 주요 활동의 내용을 구전으로 전파할 경우, 통제집단 역시 간접적인 중재 처치에 노출되는 교란이 일어납니다. 이에 따라 사후 측정 단계에서 두 집단 간 종속변수의 통계적인 격차가 상쇄되어 프로그램의 효용이 왜곡됩니다.
• 통제 전략: 지리적, 공간적 격리가 확보된 독립 집단을 실험군과 대조군으로 선정해야 합니다. 예를 들어서, 본관 병동과 별관 병동, 혹은 서울 캠퍼스와 경기 캠퍼스처럼 구성원 사이의 일상적인 접촉 경로가 차단된 기관 단위를 표본으로 배정하여 정보 유출을 통제합니다.

2. 통제집단 배정에 따른 윤리적인 쟁점(ethical issues)

• 발생 메커니즘: 심리적인 디스트레스 완화, 우울증 개선, 핵심 학업 역량의 증진 등 유익한 편익이 명백하게 기대되는 중재를 통제집단에 일방적으로 제한하는 배정 방식은 기관생명윤리위원회(IRB)의 심의에서 피실험자 보호와 관련한 결격 사유로 지적될 소지가 큽니다.
• 통제 전략: 대기자 통제집단(waitlist control group)을 설계합니다. 실험을 수행하는 과정에서는 통제집단이 기존의 일상적인 상태를 유지하도록 하되, 사후 검사가 완료 직후 통제집단을 대상으로 참여를 원하는 희망자 전원에게 동일한 프로그램을 무상으로 제공한다는 보상 계획을 IRB 연구계획서와 피실험자 설명문 및 동의서에 구체적으로 명시하여 윤리적인 쟁점을 사전에 차단합니다.

3. 연구 대상자의 중도 탈락(experimental mortality / attrition)

• 발생 메커니즘: 중재 프로그램이 장기간 수행되는 과정에서 피실험자의 동기 저하, 이사, 전직 등으로 인해 사후 측정에 불참하는 결손이 발생할 수 있습니다. 특히 사전에 측정한 값이 극단적으로 낮게 평가되었던 대상자들이 이탈한다면, 잔류 피실험자들로부터 수집한 사후 점수가 자연 상승한 것처럼 왜곡되는 생존자 편향(survivorship bias)이 유발됩니다.
• 통제 전략: 표본의 추출 단계에서 검정력을 확보하기 위한 기준 표본의 크기 (집단당 20-30명)에 20-30% 수준의 결손 예상치를 반영하여 과표집(over-sampling)을 합니다. 만약 이탈자가 발생한다면 최종 분석에 앞서 중도 탈락 집단과 잔류 집단의 사전 측정값을 독립표본 t-검정으로 비교함으로써, 탈락에 따른 표본의 편향성이 개입되지 않았음을 객관적인 검증절차로 제시해야 합니다.

4. 처치 충실도의 변동성(treatment fidelity)

• 발생 메커니즘: 중재 진행자(program facilitator)의 숙련도나 당일에 처한 환경 조건에 따라 특정한 회기에서 프로그램 모듈이 누락되거나, 예상하지 못한 돌발변수가 발생한다면 처치의 동질성이 훼손되어 종속변수의 변화 요인을 명확히 귀인하기가 어렵습니다.
• 통제 전략: 회기별 표준 교수 매뉴얼과 운영 지침서를 사전에 정형화하고 배포합니다. 각 회기가 종료될 때마다 중재 진행자가 처치 충실도 점검표(fidelity checklist)를 작성하도록 규정하고, 점검 결과를 논문의 부록(appendix)에 첨부하여 중재 과정에서 이루어진 절차적인 일관성을 입증합니다.

5. 호손 효과(hawthorne effect) 및 검사 효과(testing effect)

• 발생 메커니즘: 호손 효과는 대상자가 자신이 관찰 연구의 표본으로 선정되었다는 사실을 인지함으로써 평소와는 다른 인위적인 주의를 기울여 수행 역량을 개선하는 현상을 의미합니다. 그리고 검사 효과는 사전 검사를 이루고 있는 문항에 대한 기억과 친숙도가 사후 측정 점수를 상향으로 견인하는 왜곡을 뜻합니다.
• 통제 전략: 통제집단을 완전 무처치 상태로 격리하기보다는 동일한 시간 동안 일반 교양 강좌나 자율 학습 과제와 같은 플라시보(placebo) 처치를 병행합니다. 이를 통해 연구 참여 의식에 따른 심리적인 반응성을 양 집단 간에 균등하게 분산시켜 외생적인 편향을 상쇄합니다.

비동등 집단 간의 사전 편차 보정을 위한 공분산분석(ANCOVA)의 통계적인 메커니즘

비동등 통제집단 설계를 적용한 유사실험 데이터를 처리할 때 연구자가 흔히 범하는 오류는, 각 집단의 사전-사후의 차이 점수(gain score 또는 change score)를 개별적으로 계산한 후에 그 변화량에 대해 독립표본 t-검정을 적용하는 방식입니다.

그러나 이 방식은 대상 집단 간의 기저 수준에 내재된 초기의 편차를 통계적으로 통제하지 못하는 구조적인 결함을 가지게 됩니다. 특히 사전 검사에서 측정한 값이 상대적으로 낮았던 집단은 평균으로의 회귀(regression toward the mean) 경향이나 측정상의 왜곡으로 인해 미세한 점수 변화만으로도 증가의 폭이 과대 추정될 위험이 있습니다.

따라서 초기 편차를 상쇄하고 중재 프로그램의 순 처치 효과를 식별하기 위해서는 공분산분석(Analysis of Covariance; ANCOVA)으로 접근해야 합니다. 공분산 분석 모형을 이루는 변수 구조는 다음과 같습니다.

• 독립변수(independent variable): 집단의 분류 범주(예., 실험집단=1, 통제집단=0)
• 종속변수(dependent variable): 사후 측정 점수
• 공변량(covariate): 사전 측정 점수 및 사전 동질성 검증 결과로부터 통계적으로 유의미한 차이가 나타난 인구사회학적인 배경 변수(예., 연령, 경력 등)

공분산분석을 수행하는 본질적인 목적은 다음을 검증하는 것입니다.

“두 집단의 사전 점수가 완전히 동일하다고 가정한다면(즉, 사전의 차이를 수학적으로 통제하고 보정한다면), 사후 점수에서 두 집단 간에는 여전히 통계적으로 유의한 차이가 존재하는가”

공분산분석은 공변량이 종속변인에 미치는 공통 변량을 분리하여 제거한 후에 순수하게 처치 변인에 기인하는 주효과를 F-통계량과 유의확률(p-값)을 기준으로 판정합니다. 논문에서는 연구방법과 결과 챕터에 ANCOVA 결과 테이블을 제시하고 보정평균(adjusted mean)을 기술해야 합니다. 이를 통해 비무작위 표집에서 비롯되는 내적 타당도의 저해에 대한 지적에 대해 설득력 있는 근거를 제시할 수 있습니다.

실무 사례: 비동등 통제집단 유사실험 설계를 적용한 임상 중재 연구 작업치료학을 전공하는 연구자는 ‘가상현실(VR) 기반의 상지 재활 훈련이 뇌졸중 환자의 일상생활 수행능력(ADL)에 미치는 영향’이라는 연구주제로 임상 연구를 설계하였습니다. 그러나 연구 대상으로 선정한 병원의 임상 운영 지침과 환자 보호자의 우려로 인해 피실험자를 물리적으로 무작위 배정하는 진실험 설계를 적용하기가 어렵게 되었습니다. 이에 따라 연구자는 실무 환경을 고려하고 동시에 가설 검증의 타당성을 확보하기 위해 이미 모집한 환자군을 활용하는 비동등 통제집단 사전사후 유사실험 설계로 접근하기로 하였습니다. 연구 대상자의 배정과 환경 통제는 다각적인 외생변인 차단 방안을 구성하였습니다. 예를 들어서, 3층에 위치한 입원 병동 환자 18명을 실험집단으로 선정하고 4주간에 걸쳐 전통적인 재활 치료(프로그램 A)와 VR 기반의 중재 훈련(프로그램 B)을 병행하였습니다. 그리고 생활 동선이 완전히 분리된 5층 입원 병동 환자 18명을 통제집단으로 편성하여 같은 기간동안 프로그램 A만을 처치하였습니다. 아울러, 특정한 집단에만 유익한 중재가 편중됨으로써 발생하는 연구 윤리적인 결격 사유를 통제하기 위해, 실험이 종료된 즉시 통제집단의 참여 희망자 전원에게 프로그램 B 세션을 무상으로 제공한다는 대기자 통제집단 프로토콜을 연구계획서에 기재하였습니다. 이를 통해 연구자는 기관생명윤리위원회(IRB)로부터 승인을 취득하였습니다. 연구자는 분석의 객관성을 입증하기 위해 두 집단 간 사전 동질성 검증의 결과를 담은 테이블을 논문에서의 ‘제4장. 연구의 결과’ 챕터에 배치하였습니다. 이를 통해 피실험자의 연령과 유병 기간, 발병 부위 등을 포함하는 임상적 배경의 변인값에서 두 집단 간에는 통계적으로 유의한 편차가 존재하지 않는다는 결과를 기술하였습니다. 또한, 중재 프로그램이 종료된 후에 사전 측정 점수를 공변량으로 보정한 공분산분석을 수행하여, VR 중재를 병행한 실험집단의 사후 일상생활 수행능력이 통제집단에 비해 유의한 수준에서(p<.05) 향상되었음을 확인하였습니다. 이 과정을 통해 연구자는 VR 기반의 중재 프로그램에 의한 고유의 순 처치 효과를 규명할 수 있었습니다. (위의 실무 사례는 작업치료학 논문컨설팅의 수행 경험을 바탕으로 재구성한 가상의 시나리오입니다.)

자주 묻는 질문 (FAQ)

Q1. 통제집단을 확보하기가 현실적으로 어렵습니다, 만약 단일집단 사전사후 설계로 접근해야 한다면 학위논문의 심사 통과가 어려울까요?

A. 연구 설계의 태생적인 한계로 인해 내적 타당도 방어에 제약이 따를 수 있지만, 연구 대상의 특수성에 따라 제한적으로 승인될 수 있습니다. 우선 통제집단 설정이 불가능했던 현실적이고 임상적인 제약 사유(예., 전국 등록 환자 수가 극소수에 불과한 희귀질환 대상 연구)를 근거와 함께 구체적으로 소명해야 합니다. 아울러 분석 결과를 기술할 때 중재 프로그램의 순 처치 효과를 확정적으로 단정해서는 안 됩니다. 예를 들어서, “중재 전후를 통해 통계적으로 유의한 향상이 관찰되었다, 다만 비교 준거 집단을 설정하지 않아 성숙 효과 또는 역사 효과 등의 외생 요인을 배제하기 어렵다는 한계를 가진다“로 서술해서 해석의 수위를 완화해야 합니다.

Q2. 사전 동질성 검증을 수행한 결과, 주요 종속변수의 사전 점수에서 두 집단 사이에 유의한 차이가 관찰되었습니다. 그렇다면 실험을 다시 설계해야 하나요?

A. 실험을 전면적으로 다시 설계할 필요는 없습니다. 사전 동질성이 확보되지 않은 결과를 연구 결과 챕터에 제시하는 것이 우선입니다. 다만, 사후 점수만을 비교하는 독립표본 t-검정을 지양하고, 사전 측정값을 공변량으로 투입하여 공분산분석을 수행해야 합니다. 한편, 집단과 측정한 시점 간의 상호작용 효과(interaction effect)를 검증하는 이원 반복측정 분산분석(two-way repeated measures ANOVA)을 병행할 수 있습니다. 두 집단의 출발점이 서로 다르더라도 중재 기간의 경과에 따라 점수 변화율을 나타내는 기울기의 크기가 실험집단에서 큰 것으로 관찰된다면 프로그램 처치의 효과를 뒷받침할 수 있습니다.

Q3. 실험 연구를 위해 검정력을 고려한 집단별 최소 표본 크기는 어느 정도입니까?

A. G*Power 프로그램의 분산분석 기준(ANCOVA: Fixed effects, main effects and interactions)에서 유의수준(alpha)=.05, 중간 효과크기(f)=.25, 검정력(1-beta)=.80을 입력한 후에 출력되는 최소 표본의 크기는 총 34-40명 내외(집단당 약 17-20명)입니다. 다만 임상 현장과 특수교육 현장에서 발생하는 중도 탈락(약 20-30%)을 감안한다면, 실험집단과 통제집단을 각 20-25명씩으로 구성하는 프로토콜을 권장합니다.

Q4. 대기자 통제집단을 운영할 때, 대조군을 대상으로 사후 검사를 수행하기에 앞서 실험군에 적용한 중재 프로그램을 선제적으로 제공해도 무방한가요?

A. 사후 검사가 이루어지기 전의 중재 제공은 방법론적으로 절대로 허용되지 않습니다. 대기자 통제집단은 실험집단의 중재 기간이 공식적으로 종료되고 두 집단에서 동일한 시점에 사후 검사가 완료될 때까지, 무처치 또는 통상적인 처치 상태를 일관적으로 유지해야 합니다. 사후 검사가 종결된 후에 비로소 대조군에 참여한 피실험자들을 대상으로 보상의 차원에서 중재 프로그램을 제공해야 처치의 확산과 정보 오염을 방지할 수 있습니다.

결론

인과관계를 규명하기 위해서는 세 가지의 전제 조건이 충족되어야 합니다. 원인이 결과보다 시간적으로 앞서 발생해야 한다는 시간적 선행성, 두 변수가 통계적으로 연동하여 변동하는 공변 관계, 그리고 제3의 외생변인에 의한 대안적인 설명이 배제되어야 한다는 비허위성입니다. 횡적 설문조사 연구(cross-sectional survey)는 변인들 사이의 공변 관계를 확인하는 수준에 머무른다는 방법론적인 한계를 가지고 있습니다. 반면, 실험 설계는 위의 세 가지 조건을 모두 충족시키는 분석의 틀을 제공합니다.

실험 연구에서의 방법론적인 타당성을 뒷받침하는 메커니즘은 세 가지로 구성됩니다. 연구자가 능동적으로 조작과 개입하는 독립변수의 실험 처치, 처치를 가하지 않는 비교 준거로서의 통제집단, 그리고 두 집단 간의 사전 동질성을 확보하는 표본 배정입니다. 이 중에서 어느 한가지라도 누락이 된다면 인과추론에 관한 내적 타당도가 훼손됩니다. 예를 들어서, 통제집단을 설정하지 않고 단일 집단의 사전-사후 점수만을 비교하는 단일집단 사전사후설계는 시간의 경과에 따른 종속변수의 변화 여부만을 관측할 수 있을 뿐, 관측된 변화가 순수한 실험 처치에서 비롯된 것임을 입증하기 어렵습니다.

피실험자의 무작위 배정 충족 여부에 따라 실험 설계는 진실험 설계와 유사실험 설계로 구분할 수 있습니다. 현실적으로는 연구 대상자를 인위적으로 무작위 분할하기가 어려우며, 따라서 학위논문을 위한 연구에서는 유사실험 설계가 주로 활용됩니다. 특히 이미 형성된 집단을 표본 단위로 활용하는 비동등 통제집단 설계가 널리 활용되고 있습니다. 이 설계에서는 사전 측정이 두 집단 사이의 기저 차이를 식별하고 통제하는 역할을 담당합니다. 만약 사전 동질성 검증의 결과를 통해 집단 간에 통계적으로 유의한 차이가 관찰된다면, 사전 점수를 공변량으로 투입하는 공분산분석을 수행해서 초기 편차를 보정해야 합니다.

현장 중심의 실험 연구를 수행할 때 연구자가 통제해야 하는 주요 쟁점은 다섯 가지로 집약됩니다. 첫째, 실험집단에 적용된 처치 내용이 통제집단으로 유출되거나 모방되는 처치 확산을 물리적인 격리를 통해 방지해야 합니다. 둘째, 유익한 중재 프로그램의 혜택을 특정 집단에만 제한함으로써 발생하는 연구 윤리적인 쟁점을 해소해야 합니다. 이는 연구가 종료된 후에 통제집단에 참여한 피실험자에게 동일한 프로그램을 제공하기 위한 대기자 통제집단을 설계해서 해결할 수 있습니다. 셋째, 사전-사후 검사 기간 중에 발생하는 피실험자의 중도 탈락과 이에 수반되는 표본의 왜곡을 최소화하기 위해서는 충분한 표본의 크기를 확보해야 합니다. 넷째, 중재가 사전에 규정한 절차와 투입 강도에 부합하게 이루어졌는지를 확인하기 위해 처치 충실도를 평가해야 합니다. 다섯째, 인간을 대상으로 수행하는 연구는 자료를 수집하기 앞서 반드시 기관생명윤리위원회(IRB)로부터 승인을 취득해야 합니다.