설문지는 데이터를 수집하는 물리적인 도구일 뿐입니다. 따라서 그 도구가 유효하게 작동하기 위해서는 설문지를 만들기 전에 설문조사 연구의 설계(design)가 이루어져야 합니다. 연구방법의 측면에서 구체적으로 세 가지 질문에 답해야 합니다. 첫째, "이 설문으로 무엇에 답할 수 있는가". 둘째, "조사를 몇 번 수행할 것인가". 셋째, "누구를 어떤 방식으로 표집할 것인가". 이 세 가지 물음에 대한 답이 정해진 뒤에야 비로소 설문지는 도구로서의 본래 기능을 발휘할 수 있습니다.

연구방법 4단계. 설문조사 연구의 설계: 설문지를 설계하기 전에 확인해야 하는 방법론적인 청사진

이 글의 순서 7개 항목

연재글 순서
설문조사 연구가 답할 수 있는 질문 vs. 답할 수 없는 질문
설문조사 설계의 4대 성립 조건과 자기보고식 측정의 한계
시점의 선택: 횡단설계(cross-sectional) vs 종단설계(longitudinal)
표본추출(Sampling)의 5대 기법과 실무 적용
표본의 크기와 대표성에 관한 방법론적 타당성과 심사 방어를 위한 프로토콜
결론

양적 연구를 처음 접하는 연구자들은 설문조사 연구의 설계에 관한 충분한 이해가 없이 설문 문항을 성급하게 만들어서 배포하는 오류를 자주 범합니다. 선행연구로부터 측정 문항들을 가져와(adaptation) 정밀한 조작적 정의를 거치지 않고 주변의 지인이나 온라인 커뮤니티에 무작위로 배포하는 방식이 대표적입니다. 결국 연구자가 수집한 데이터는 신뢰성과 타당성의 측면에서 학술적인 가치를 잃게 됩니다.

설문지(questionnaire)는 변수의 값을 관찰이 가능한 지표로 측정하기 위해 만들어진 측정도구에 불과합니다. 한편, 그 도구를 논리적으로 사용할 수 있도록 뒷받침하는 방법론적인 체계가 바로 설문조사 연구의 설계(survey research design)입니다.

방법론의 이해가 결여된 상태에서 성급하게 문항을 만든다면 반드시 구조적인 모순이 발생합니다. 대표적으로, 시간의 흐름에 따른 ‘변화’나 ‘동태적 인과성’을 규명해야 하는 연구문제에서 단일 시점에의 값을 측정하는 횡단설계(cross-sectional design)를 적용하거나, 또는 특정한 직무 집단에 국한되어야 하는 척도를 일반인 대상의 표본에게 배포하는 경우가 이에 해당합니다. 따라서 설문지를 배포하기에 앞서, 연구자는 검증하려는 연구의 유효 반경(예., 현황, 차이, 관계 vs. 인과, 경험)과 자료수집의 시점(예., 횡단 vs. 종단), 그리고 표본추출(예., 확룔표집 vs. 비확률표집)의 방법론적인 타당성을 확인해야 합니다.

연재글 순서

설문조사 연구가 답할 수 있는 질문 vs. 답할 수 없는 질문

설문조사 연구는 인위적인 실험 처치나 조작을 가하지 않고, 자연적인 상태에 존재하는 모집단에서 표본을 추출하여 자기보고식(self-rated) 설문을 통해 변인들의 기술적인 분포와 상호 관련성을 관찰하는 대표적인 비실험적(non-experimental) 연구 설계입니다.

이 비실험적인 속성으로 인해 설문조사 연구가 학술적으로 검증할 수 있는 연구문제의 유효 반경과 방법론적인 한계선은 매우 명확합니다. 설문조사 연구는 특정 집단의 실태와 현황 파악, 인구통계학적인 배경에 따른 집단 간 평균 차이의 검증, 그리고 변수 간의 상관관계 또는 통계적인 영향력을 탐색하는 데 최적화되어 있습니다.

그러나 연구자가 독립변수를 임의로 조작하거나 제3의 외생변수(exogenous variable)를 완벽히 통제할 수 없기 때문에, 원인과 결과 사이의 선행성 확보와 허위 관계의 배제를 전제로 하는 순수한 ‘인과관계(causality)’를 단정하는 데는 본질적인 한계가 존재합니다. 따라서 연구자는 설문조사 연구의 내적 타당도(internal validity)가 가지는 한계를 사전에 인식하고, 연구문제의 범위를 인과적인 확증이 아닌 변수 사이의 상호관계와 관련성 검증으로 설정해야 합니다.

표 1. 연구문제의 성격에 따른 설문조사 연구 적용가능의 여부 및 학술적인 이유와 한계점

연구문제의 성격	설문조사 연구로 답할 수 있는가?	학술적인 이유와 한계점
1. 현황 및 실태 파악	가능 (최적)	대상 집단의 특정한 태도, 행동의 빈도, 인식 수준의 평균(M)과 분포(%)를 기술통계로 명확히 제시할 수 있습니다.
2. 집단 간 차이 비교	가능 (최적)	성별, 연령, 직급, 경력 등 인구통계학적인 특성에 따라 종속변수의 점수 차이가 통계적으로 유의한지의 여부를 t-test 또는 ANOVA를 통해 비교할 수 있습니다
3. 변수 간 상관 및 영향	가능 (최적)	독립변수와 종속변수가 통계적으로 함께 움직이는 공변성(covariation)과 상대적인 설명력(R², β)을 회귀모형에 투입해서 검증할 수 있습니다.
4. 엄격한 인과관계 추론	원칙적으로 제한	설문조사 연구는 연구자가 외생변수를 인위적으로 통제하거나 독립변수를 조작(manipulation)하지 않으므로, “A가 B의 절대적인 원인이다”라고 단정할 수 없습니다.
5. 현상의 맥락과 심층 경험	불가능	리커트 척도로 규격화된 문항은 응답자가 왜 그렇게 응답했는지에 관한 내면의 맥락과 고유한 체험 구조를 담아내지 못합니다. (질적 접근이 필요)

단일 시점에 수행한 횡단적 설문조사 연구(cross-sectional survey)의 데이터를 바탕으로 분석을 수행했음에도 불구하고, 결론의 챕터에서 “직무스트레스가 이직의도를 유발하는 근본 원인임을 입증하였다“와 같이 직접적인 인과관계를 과도하게 단정하는 서술은 심사 현장에서 가장 빈번하게 지적받는 방법론적인 오류 중 하나입니다. 독립변수와 종속변수의 값을 동시에 측정하는 횡단설계는 원인과 결과 간의 시간적 선행성(temporal precedence)을 구조적으로 확보할 수 없습니다. 그리고 측정하지 않은 제3의 외생변수를 완벽히 통제할 수 없기 때문에 내적 타당도(인과성)를 단정하지 못합니다.

따라서 비실험적인 설문조사 연구의 결과를 보고하고 논의할 때는 확정적인 인과적 어휘(예., “~의 원인이다”, “~을 발생시킨다”)의 사용을 엄격하게 지양해야 합니다. 대신 “A가 B를 통계적으로 유의미하게 설명(또는 예측)하는 경향이 확인되었다” 또는 “A가 B에 통계적으로 유의한 영향력을 미치는 것으로 나타났다”와 같이 통계적 연관성과 설명력에 기반한 용어를 선별해서 서술해야 합니다. 아울러 횡단설계의 특성상 도출된 결과가 변수 간의 동태적인 인과관계를 완전히 확증하는 것은 아니라는 점을 연구의 한계점으로 다루어야 합니다.

설문조사 설계의 4대 성립 조건과 자기보고식 측정의 한계

자기보고식 설문조사는 대규모 표본으로부터 정량적인 데이터를 신속하게 수집할 수 있다는 장점이 있습니다. 하지만 응답자의 주관적인 판단과 인지적 한계에 의존하므로 방법론적인 엄밀성을 사전에 검증해야 합니다. 설문조사 연구의 설계를 타당하게 성립시키기 위해서는 다음의 네 가지 필수 조건을 사전에 충족해야 합니다.

공인된 표준화 척도의 확보: 측정하고자 하는 이론적인 잠재변수(construct)는 연구자가 임의로 작성한 문항이 아닌, 선행연구를 통해 신뢰도와 구성타당도(construct validity)가 이미 학술적으로 공인된 척도를 기반으로 해야 합니다. 개념에 대한 조작적 정의와 검증된 도구를 탐색할 수 없다면, 측정 오차(measurement error)가 커져서 통계분석 결과의 타당성이 훼손됩니다.
응답자의 연구 적격성(eligibility) 확보: 표집 대상은 자신이 처한 조직적 환경이나 심리 상태, 혹은 업무 행동을 왜곡하지 않고 인식하여 객관적으로 보고할 수 있는 경험을 갖추고 있어야 합니다. 연구 단위와는 무관하거나 특정한 현상에 대한 충분한 관찰 경험이 없는 응답자를 대상으로 한다면 표본의 질적 결함이 발생합니다.
통계적 검정력을 담보하는 표본 수급의 실행 가능성: 다중회귀분석이나 구조방정식 모형(SEM) 분석 등 가설 검증을 위해 접근해야 하는 다변량 통계 기법이 요구하는 최소한의 유효 표본(예., 150-300 이상)을 정해진 연구 기한 내에 확보할 수 있는 현실적인 표집 경로가 전제되어야 합니다. 데이터 수급망이 결여된 연구 설계는 검정력 저하에 따른 제2종 오류(Type-2 error)를 초래합니다.
사회적 바람직성 편향(social desirability bias)의 통제 가능성: 부정부패, 직장 내 괴롭힘이나 가해 경험, 개인의 직무상 무능력 등의 응답자가 솔직하게 응답할 때 불이익이 예상되는 민감한 주제는 자기보고식 설문으로 측정하기에 매우 부적합합니다. 이들 주제는 응답자가 자신의 방어 기제를 활성화시키기 때문에 사회적으로 바람직한 방향으로 왜곡된 ‘정상 데이터’만을 양산할 가능성이 매우 큽니다. 따라서 익명성을 보장하거나 투사법의 활용, 혹은 2차 자료와 병행하여 편향을 통제하기 위한 방안이 마련되어야 합니다.

특히, 모든 설문 문항을 동일한 한 명의 응답자에게 동일한 시점에 모든 문항값을 측정하게 하는 자기보고식 설계는 동일방법편의(Common Method Bias, CMB)라는 체계적인 측정 오차(systematic measurement error)를 필연적으로 유발합니다. 이는 동일한 측정 맥락과 응답자의 인지적인 일관성 유지 동기(consistency motif)로 인해, 실제 변인 간의 관계보다 상관관계 및 통계적 영향력이 인위적으로 과대 추정(spurious inflation)되는 현상입니다.

동일방법편의는 통계적으로는 사후 검증(예., Harman’s single factor test)만으로는 완전히 해결하기 어려우며, 따라서 설문지의 설계 단계에서 다음과 같은 교정 장치를 사전에 구축해야 합니다.

평가 불안의 완화와 익명성 보장: 설문지의 안내문에 정답과 오답이 존재하지 않음을 밝히고, 연구의 목적 이외에는 수집한 자료를 일체 사용하지 않는다는 철저한 비밀 보장을 명시함으로써 사회적 바람직성 편향과 인지적 방어 기제를 완화합니다.
측정 문항의 심리적/물리적 분리: 독립변수와 종속변수 문항을 인접하게 연속적으로 배치하지 않고, 완충 문항(filler items)이나 인구통계학적 문항을 중간에 배치하거나 문항의 제시 순서를 무작위화하여 응답자가 연구 가설의 인과적인 맥락을 쉽게 유추하지 못하도록 사전에 차단합니다.
척도 앵커(scale anchors)의 차별화: 독립변수에는 동의 정도(예., ‘전혀 그렇지 않다’, ‘매우 그렇다’)를 측정하는 5점 리커트 척도를 적용하고, 종속변수에는 발생 빈도나 중요도(예., ‘전혀 발생하지 않음’, ‘매우 자주 발생함’)를 묻는 7점 리커트 척도를 사용하는 등 응답 척도의 체계와 앵커 문구를 서로 다르게 설계하여 관성적인 일괄 체크를 효과적으로 억제합니다.

시점의 선택: 횡단설계(cross-sectional) vs 종단설계(longitudinal)

자료 수집의 시점(wave)은 연구의 인과 추론력과 방법론적인 타당성을 결정하는 매우 중요한 기준입니다.

횡단설계(단일 시점): 경제성과 신속성이 높아 현상의 실태와 상관관계 분석에 적합하지만, 시간적인 선행성을 입증하기가 불가능하여 인과 추론에 한계가 있으며 동일방법편의에 취약합니다.
종단설계(복수 시점): 패널, 코호트 등 다수의 시점에서 측정하여 시간적인 선행성을 확보함으로써 인과적 타당성을 극대화하고 동일방법편의를 완화하지만, 표본의 탈락과 자원 소모의 한계가 따를 수 밖에 없습니다.
선택 및 보완 전략: 변수 간의 정적인 관계를 규명할 때에는 횡단설계를 선택하지만 인과적인 단정을 지양해야 합니다. 반면, 인과적인 메커니즘 규명이 필수적인 연구에서는 공공 패널 데이터(예., 2차 자료)를 활용하거나, 2-4주 간격의 시차 설계(time-lagged)를 절충안으로 적용하는 것이 바람직합니다.

표 2. 횡단설계 vs. 종단설계의 주요 특성 및 장단점 비교

비교 항목	횡단설계	종단설계
조사 시점	단일 시점 (1회성 수집)	동일한 표본을 대상으로 2회 이상 시계열 추적
학술적 장점	시간과 비용이 극도로 절약되며, 특정 시점의 변수 간 상관구조를 신속하게 파악이 가능	시간적 선후관계(t₁ → t₂)가 확보되어 인과관계의 추론력이 비약적으로 상승
취약점/한계	시간적인 선후성을 증명하기가 불가능	패널 탈락: 2차 조사에서 응답자가 대거 이탈하여 표본의 소실 위험이 발생
학위논문 권장	석사학위 논문 및 일반 박사학위 논문 중에서 90% 이상이 횡단설계로 접근	1회성 교육 프로그램을 적용한 이후의 사전 vs. 사후 평가

석사학위 또는 박사학위 논문에서 횡단적 설계가 널리 사용되는 결정적인 이유는 학사 일정을 고려한 물리적인 시간 제약 때문입니다. 비교적 짧은 심사 기한 내에 동일한 표본을 수개월의 시차를 두고 반복해서 추적하는 접근으로는 응답자의 이직이나 연락 두절, 참여 거부 등으로 인해 표본이 탈락할 가능성이 큽니다.

하지만 종단적 연구를 학위논문에서 구현할 수 있는 대안은 사전-사후 조사(pre-post survey)입니다. 이 조사는 직무 교육이나 역량 강화를 위한 연수, 또는 심리 상담 프로그램이라는 개입(intervention)이 관여해서 특정한 집단을 표본으로 삼는다는 특징을 가집니다. 예를 들어서, 프로그램을 수행하기 이전인 ‘연수 시작 시점(T₁)’과 프로그램이 완료되는 ‘연수 수료 직후 시점(T₂)’에 동일한 측정도구로 연구참여자의 특성을 반복해서 측정하고, 사전 점수 vs. 사후 점수 사이에서 관찰되는 차이의 통계적 유의성을 평가합니다. 사전-사후 조사는 조사 간격이 2-4주 이내라는 단기간의 특징을 가지기 때문에 응답자 유실에 따른 표본 탈락률을 최소화할 수 있다는 장점을 가집니다. 그리고 시간이 경과함에 따라 처치 개입에 따른 변수 값의 변화량을 포착할 수 있습니다. 수집된 데이터에 대해 대응표본 t-검정이나 이원 반복측정 분산분석(two-way repeated measures ANOVA)로 접근하여 횡단설계의 한계를 극복하고 연구의 내적 타당도를 입증할 수 있습니다.

표본추출(Sampling)의 5대 기법과 실무 적용

아래의 그림은 확률 표집 vs. 비확률 표집의 특징과 비교를 요약하여 나타내고 있습니다.

표본추출은 모집단의 특성을 왜곡없이 추정하고 연구결과의 외적 타당도를 확보하기 위한 방법론적인 절차입니다. 표집틀(sampling frame)의 확보 여부와 무작위 추출 원칙의 준수 여부에 따라 확률표집 vs. 비확률표집으로 구분되며, 학계에서 널리 쓰이는 표본추출법의 종류와 특징은 다음과 같습니다.

단순 무작위 표집(simple random sampling): 모집단을 구성하는 모든 개별 요소가 표본으로 추출될 확률을 동일하게 부여하는 가장 이상적인 확률표집 방식입니다. 통계적 편향을 최소화할 수 있다는 강점이 있으나, 이를 위해서는 모집단 전체 구성원의 명단(예., 표집틀)을 사전에 확보하고 있어야 합니다. 예를 들어서 ‘대한민국의 중소기업에 근무하는 모든 사람’을 대상으로 삼아 표집을 수행하기 위해서라면, 모집단의 명부를 개별 연구자가 이미 확보하고 있어야 합니다.

층화 무작위 표집(stratified random sampling): 모집단을 특정한 기준(예., 성별, 직급, 경력 등)에 따라 상호 배타적이고 동질적인 하위 층(strata)으로 분류한 후, 각 층 내에서 표본을 무작위로 추출하는 확률표집 방식입니다. 집단의 특성 비교가 연구의 목적일 때 유용합니다. 예를 들어서, 종합병원에 근무하는 간호사를 수간호사, 책임간호사, 일반간호사로 층화한 뒤 그 비율에 맞게 표집함으로써, 특정한 희소 직급의 표본 수가 극소수(3-4명)에 그쳐 집단를 비교하는 과정에서 통계적 검정력(power)이 와해되는 문제를 방지할 수 있습니다.

편의표집(convenience sampling): 연구자가 물리적인 접근이 용이하거나 협조를 구하기에 비교적 쉬운 표본(예., 회사 동료, 산학협력 기관에 종사하는 재직자, 상업적 온라인 패널 등)으로부터 표집하는 방식입니다. 물론 비확률적인 표집(non-probablistic sampling)이라는 특징을 가지며, 시간과 비용의 제약이 많은 학위논문의 집필 과정에서 널리 활용되는 방식입니다. 단, 표본이 특정한 지역, 특정한 기업의 조직문화에 노출되어 있거나, 혹은 특정한 성향을 가지는 응답자로 편중되는 선택 편향(selection bias)의 가능성을 배제하지 못한다는 단점을 가집니다.

목적표집(purposive / judgmental sampling): 연구자가 연구가설 검증에 부합하는 적격성 기준(eligibility criteria)을 설정하고, 이에 완전히 일치하는 대상자만을 의도적으로 선별하여 표집하는 방식입니다. 예를 들어서 “최근 1년 이내에 업무상 번아웃을 경험하고 다른 부서로 이동한 중등학교 교사”와 같이 특정한 조건이나 현상을 경험한 표본만을 한정하여 표집한다는 특징을 가집니다.

눈덩이표집(snowball sampling): 공식적인 명부가 존재하지 않거나, 사회적 낙인에 의한 인식, 또는 신분 노출을 극도로 꺼려 접근이 어려운 특수한 집단을 조사할 때 사용하는 비확률적 표집 기법입니다. 예를 들어서, 학교 밖 외톨이 청소년, 희귀질환을 앓는 환우, 내부고발자 등이 대표적인 대상입니다. 연구자가 1차 접촉 대상자(key informant)와의 라포를 형성하고 데이터를 수집한 후에, 1차 대상자로부터 추천을 받거나 소개를 통해 연쇄적으로 다음 응답자를 섭외해 나가는 방식으로 표본을 확보합니다.

표본의 크기와 대표성에 관한 방법론적 타당성과 심사 방어를 위한 프로토콜

표본의 크기와 표본의 대표성은 서로 치환될 수 없는 방법론적인 개념이며, 따라서 엄격하게 구분하여 서술해야 합니다.

표본의 크기: 통계적 가설 검정력(power)을 확보하기 위한 양적 기준입니다. G*Power 프로그램(예., 유의수준 alpha=0.05, 효과크기 f²=0.15, 검정력=0.80)에 의한 계산을 통해 얻은 최소 표본의 크기를 명시해야 합니다.
표본의 대표성: 표본이 연구 대상을 대표하는 모집단의 특정을 반영하는가의 여부를 다루는 외적 타당도를 의미합니다. 만약 기관 한 곳에서 N=1,000을 수집하여 표본의 크기를 충족하더라도, 모집단(예., 전국의 임금근로자)의 특성을 대표하지 못한다면 대표성에 결함이 발생하였다고 판단합니다.

[편의표집이 가지는 대표성 한계를 방어하는 3단계 학술 서술 프로토콜]

학위논문을 위한 연구에서 비확률적 편의표집(non-probablisitic convenience sampling)으로 접근한 것 자체가 방법론적인 결함으로 귀결되는 것은 아닙니다. 다만 문제는, 연구자가 표본의 대표성을 의도적으로 제약하였음에도 불구하고 분석 결과가 마치 모집단의 특징을 보편적으로 해석할 수 있다는 과도한 일반화에 있습니다. 따라서 편의표집의 취약성을 방어하기 위해서는 논문의 전반에 걸쳐 다음의 3단계 프로토콜을 체계적으로 적용해야 합니다.

1단계: 인구통계학적 특성의 전수 보고: 제4장(연구결과)의 서두에 등장하는 기술통계 영역에서 표본의 성별과 연령대, 최종 학력, 근속연수, 고용형태, 소속 기업 규모 등의 분포를 빈도와 백분율로 그 값을 기술합니다. 이를 통해 표본의 구성적인 실체를 투명하게 공개합니다.
2단계: 국가 공인 통계(모집단)와의 벤치마킹 비교 대조: 통계청의 ‘경제활동인구조사’나 교육부의 ‘교육통계연보’와 같이 모집단을 대표하는 공인 통계 자료의 모수 분포와 본 연구가 표집한 표본의 구성비를 대조합니다. 예를 들어서, “본 연구가 표집한 표본 중에서 여성 재직자가 차지하는 비율(58%)은 통계청이 조사한 ‘경제활동인구조사’에 나타난 전체 재직자 중에서 여성이 차지하는 비율(44%)보다 다소 크게 표집되었다“로 서술하여, 표본 선택에 따른 편향을 연구자가 스스로 분석하였다는 점을 드러내어야 합니다.
3단계: 연구 한계점을 선제적으로 명문화: “본 연구는 서울 및 수도권에 소재한 제조기업에 종사하는 재직자를 중심으로 N=500명을 편의표집하였다. 이에 따라 본 연구의 결과를 지방에 소재한 중소기업이나 서비스 직군으로 확대해서 일반화하는 데는 주의가 요구된다“라는 연구의 한계점을 선제적으로 명시한다. 이는 잠재적인 취약점을 연구자가 자발적으로 인정하고 나아가서는 향후 연구과제로 제시함으로써 심사위원의 지적을 사전에 무력화하는 효과적인 방어 전략입니다.

가상 사례: 교육학 석사과정 연구자의 횡단설계 접근과 사전-사후 조사로의 전환 과정

교육학을 전공하는 석사과정 학생인 A씨는 ‘교원 원격 직무연수 프로그램이 초등교사의 디지털 교수 효능감에 미치는 영향’을 연구주제로 석사학위 논문을 준비하고 있었습니다. A씨는 횡단설계로 접근하여 참여 교사 200명으로부터 설문조사 자료를 수집할 계획을 가지고 있었습니다. 연수가 종료되는 시점에서 연수 만족도와 디지털 교수 효능감의 수준을 측정하는 것입니다.

이에 대해 A씨의 지도교수는 연구설계에서 드러나는 내적 타당도의 결함을 지적하였습니다. 구체적으로, 연구가설의 검증을 통해 주장하려는 본질은 프로그램 처치로 인한 효능감의 변화량을 평가하는 것인데, 횡단조사에 의해서는 수료 시점에서 측정한 효능감이 연수 프로그램의 참여에 의해 나타난 효과인지, 아니면 참여 교사들의 사전 디지털 역량이 원래부터 우수했던 것에 비롯한 것인지를 입증할 수 없기 때문입니다. 즉, 원인과 결과 사이의 시간적 선행성을 입증할 수 없다는 한계를 지적하였습니다.

이에 따라 A씨는 단일집단 사전-사후 유사종단설계로 연구설계를 전환하였습니다. 그리고 교육연수원과는 행정적인 협의를 거친 후에 4주 동안 운영하는 원격 직무연수의 개시일(T₁)에 온라인 설문조사로 기초 디지털 교수 효능감을 측정하고, 4주 후의 연수가 이수되는 시점(T₂)에 동일한 측정도구를 사용해서 사후 측정을 수행하였습니다. 수집한 시계열 데이터를 대상으로 대응표본 t-검정을 수행한 결과, 교사들의 디지털 교수 효능감의 수준은 연수에 참여하기 전과 비교하여 연수에 참여한 후에 측정한 수준이 높으며, 이 차이는 통계적으로 유의한 것으로 나타났습니다.

(위의 사례는 교육학 논문컨설팅의 실무 경험을 바탕으로 다시 구성한 가상 시나리오입니다).

자주 묻는 질문 (FAQ)

Q. G*power 프로그램으로 계산한 표본의 크기보다 최종 샘플링한 표본의 크기가 작다면 논문심사에서 불리한 판정을 받을까요?

A. 사전에 계산한 표본의 크기에 다소 미달한다고 해서 학위논문의 심사 결과가 반드시 부정적인 판정으로 이어지는 것은 아닙니다. 다만, 실제로 효과가 존재함에도 불구하고 검증의 결과가 ‘효과가 없다’고 판단할 확률, 즉 제2종 오류(Type 2 error)의 값이 커지기 때문에 통계적 검정력(1−β)에 대해 심사위원이 지적할 수 있습니다.

구체적인 예로서, 사전 검정력 분석(a priori power analysis)을 수행한 결과에서 표본의 크기가 140명이었으나 유효한 표본의 크기가 110명에 그쳤다고 가정을 하겠습니다. 그렇다면 유효 표본의 크기인 110명을 기준으로 사후 검정력 분석(post-hoc power analysis)을 수행하고 현재의 표본 수준에서 검정력의 값을 제시하는 것이 좋습니다.

Q. 온라인 설문조사 대행 기관에 의뢰해서 수집한 데이터의 연구결과를 학위논문에 담아서 작성해도 큰 문제가 없을까요?

A. 공식적으로 인정받을 수 있을 뿐만 아니라, 최근의 국내외 학술지와 학위논문 심사에서 표본의 대표성을 제고하기 위한 방법론적인 대안으로 널리 활용하고 있습니다.

연구자 개인의 인맥이나 주변 조직에 의존하여 데이터를 수집하는 비확률 편의표집은 표본 선택에 의한 편향을 피하기 어렵습니다. 표본이 특정한 연령대나 직군, 또는 특정 지역에 과도하게 쏠리는 현상이 나타나기 때문입니다. 반면, 전문 데이터 수집 에이전시가 운영하는 온라인 패널 조사는 비례할당표집(proportional quota sampling)이 가능합니다. 우리나라의 행정안전부가 관리하는 주민등록인구 통계와 같이 공인된 국가 모수 데이터를 기준으로 성별과 연령대, 거주 지역별 비율을 통제할 수 있기 때문입니다. 따라서 에이전시를 통한 데이터 수집은 연구자가 임의로 수집한 편의표본과 비교하여 표본의 모집단 대표성을 높인다는 강점을 가집니다.

이에 대해, 논문의 제3장(또는 제4장)(연구의 방법)에 “본 연구는 우리나라 설문조사 대행 업체인 OOO사에 의뢰하여 온라인 패널 풀(panel pool)을 통해 설문자료를 수집하였다. 그리고 국가통계에 기반하여 지역과 연령의 범위를 고르게 안배한 비례할당 표집으로 접근하여 데이터의 대표성을 확보하였다“라고 서술해야 합니다.

Q. 설문 문항의 수가 과도하면 불성실한 응답의 수가 증가하는 것으로 알고 있습니다. 그렇다면 학술연구를 목적으로 하는 설문조사 연구에서 권장되는 적정한 문항의 수와 응답에 필요한 소요 시간의 기준은 무엇입니까?

A. 온라인을 기반으로 하는 자기보고식 설문조사를 기준으로, 응답자의 피로도를 최소화하고 자료의 신뢰도를 안정적으로 확보할 수 있는 권장 소요 시간과 문항의 수는 각각 10분 내외와 60문항 내외입니다. 만약 설문 문항의 수가 60개를 초과하거나 소요 시간이 10분 이상으로 길어지면 설문 후반부로 갈수록 응답자들은 질문을 정독하지 않고 기계적으로 선택하는 ‘일자응답(straightlining)’이나 ‘무작위 응답(random response)’ 비율이 증가합니다. 따라서 설문지의 설계과정에서는 연구의 목적과 관련성이 낮은 부수적인 문항을 배제하고, 가능한 단축형 척도(short-form measures)를 선별해서 사용하는 것이 바람직합니다. 아래의 링크를 방문하면 불성실한 응답에 관한 더욱 자세한 내용을 이해할 수 있습니다.

불성실한 응답의 해부: 온라인 설문조사의 데이터를 오염시키는 응답자들

Q. 동일방법편의(CMB)가 이미 수집한 설문 데이터를 위협하는지의 여부를 사후에 통계적으로 확인할 수 있는 방법이 있나요?

A. 동일방법편의의 수준을 평가하는 대표적인 통계적 기법은 하만의 단일요인 검정(Harman’s single factor test)입니다. 측정한 모든 설문문항의 값을 요인분석 모형에 투입하고 주성분 분석(principal component analysis)을 수행한 후에 설명력이 가장 큰 첫 번째 성분이 전체 분산의 50% 이상을 차지하지 않는다면, 동일방법편의가 수집한 데이터를 위협하지 않는다고 판단합니다.

결론

설문조사 연구의 설계는 설문지 제작에 선행하여 연구의 범위와 측정 조건을 규정하는 상위 아키텍처입니다. 비실험적인 특징을 가지는 설문 조사는 현황, 집단 간 차이, 변수들 사이의 관계를 평가하는 데 적합한 연구 방식입니다. 하지만 인과관계에 대한 단정적인 해석과 자기보고식 평가라는 태생적인 편향을 극복하는 데에는 한계가 뒤따릅니다. 타당한 설문조사를 수행하기 위해서는 공인된 척도의 확보, 응답자의 적격성, 표집을 위한 안정적인 수급망, 그리고 설문조사가 답할 수 있는 유효 반경이라는 네 가지 조건이 전제되어야 합니다.

설문조사의 방식은 측정한 시점에 따라 횡단설계와 종단설계로 구분됩니다. 만약 학위논문을 위해 횡단설계를 선택한다면 인과관계의 추론에서 한계를 가질 수 밖에 없다는 점을 논문에서 기술해야 합니다. 사전-사후 설계와 같은 유사 종단설계로 접근할 때에는 표본 탈락에 대비해야 합니다. 더불어, 학위논문에서 널리 사용되는 편의표집 또는 층화무작위표집을 선택한 근거를 서술하고, 표본의 크기와는 무관하게 발생하는 대표성의 한계를 드러내어야 합니다.

연구 로드맵