이 글에서는 학술 연구를 위한 설문조사 설계(survey design) 및 표본 추출(sampling)의 핵심 원칙을 다룹니다. 설문조사 준비를 위한 5단계 표준 절차를 제시하고, 선행연구 기반의 측정 도구 선정 기준, 리커트 척도의 설계 원리와 설문지 구성 방안, 통계적 검정력을 담보하는 적정 표본 크기 산정 및 자료 수집 전략을 기술합니다. 아울러 설문지 배포에 앞서 연구자가 확인해야 할 사전 점검표(checklist)를 함께 안내합니다.

이 글의 순서 7개 항목

연재글 순서
설문 조사를 설계하기 위해서는 어떤 순서로 준비해야 하나요?
측정도구를 선택하는 구체적인 방법은 무엇인가요?
설문지를 구성하는 방법은 무엇인가요?
표본은 몇 명을 어떻게 섭외하나요?
자주 묻는 질문 (FAQ)
결론

설문조사 설계(survey design)는 학위논문 연구의 여타 절차와 구별되는 뚜렷한 비가역적인(irreversible) 특성을 가집니다. 본문의 문장 수정이나 통계 분석의 재실행은 연구의 진행 과정에서 언제든지 반복할 수 있습니다. 하지만 설문지는 대상자에게 배포되는 즉시 사후 수정과 회수가 사실상 불가능합니다.

만약 특정한 설문 문항이 누락되었다면 해당 문항으로 측정하고자 했던 변인 전체를 통계 분석에서 온전히 활용할 수 없습니다. 그리고 척도(scale)의 구성에 결함이 발생하였다면 수집된 원시자료(raw data) 자체의 타당성을 상실하게 됩니다. 이러한 구조적인 오류를 교정할 수 있는 유일한 대안은 설문조사를 전면 재실시하는 것뿐이므로, 설문조사의 성패는 사후 문제를 해결할 수 있는 역량보다 사전에 오류를 차단할 수 있는 역량에 의해 결정됩니다. 이 글에서는 설문지를 배포한 이후에 발생할 수 있는 손실을 미연에 방지하기 위한 체계적인 설계 원칙과 단계별 예방 절차를 설명합니다.

연재글 순서

설문 조사를 설계하기 위해서는 어떤 순서로 준비해야 하나요?

설문조사 설계는 사전에 체계화된 5단계 표준 절차를 준용하여 수행해야 합니다. 설문지 배포는 전체 절차의 최종 단계이며, 이에 선행하는 4개 단계는 자료의 수집 과정에서 발생이 가능한 비가역적 오류를 차단하기 위한 사전 예방 장치에 해당합니다.

측정도구(scale)의 확정: 변인을 객관적으로 조작화하여 측정할 수 있도록, 선행연구를 통해 신뢰도와 타당도가 검증된 측정도구를 선별하여 최종 확정합니다.
설문지의 체계적인 구성과 문항 배치: 확정된 개별 척도들을 설문지로 통합하고, 응답자의 응답 피로도를 최소화하고 집중도를 유지할 수 있도록 문항을 논리적으로 배치합니다.
예비조사(pilot test) 실시: 본 조사의 수행에 앞서 연구 대상과 유사한 소수의 표본을 대상으로 설문지를 배포합니다. 이는 문항의 명확성과 가독성, 어휘의 모호함, 그리고 완료까지 소요되는 응답 시간을 객관적으로 측정하기 위함입니다.
표본 크기의 산정과 모집 경로의 구축: 통계적 검정력을 확보할 수 있는 적정한 표본 크기를 산정하고, 목표 대상자에게 접근하여 표본을 추출할 수 있는 구체적인 섭외 경로를 마련합니다.
설문지 배포와 회수 관리: 최종 감수를 마친 설문지를 표집 경로를 통해 배포하고, 회수율 제고와 불성실한 응답을 방지하기 위한 관리를 수행합니다.

선행문헌에 기초하여 측정도구가 확정되면 전체 설문 문항의 수가 결정됩니다. 이를 통해 피조사자의 평균 응답 소요 시간을 예측할 수 있습니다. 특히 예비조사는 설문지를 배포하기 전에 문항에서 드러나는 결함이나 척도를 구성하는 과정에서 발생하는 오류를 교정할 수 있는 마지막 점검 기회를 제공합니다. 만약 예비조사라는 절차를 생략한 채 설문지를 성급하게 배포하여 결측 문항이나 척도 왜곡 등의 문제가 발생한다면, 사후 교정이 불가능하기 때문에 이미 회수된 자료 전체를 폐기하고 전면 재조사를 수행해야 한다는 치명적인 손실로 이어지게 됩니다. 그리고 연구자는 1학기 이상의 기간을 다시 투자해서 설문조사를 다시 수행해야 한다는 상황을 맞이하게 됩니다.

측정도구를 선택하는 구체적인 방법은 무엇인가요?

측정도구 선정의 제1원칙은 관련한 학술 문헌을 통해 타당도가 이미 검증된 공인 도구를 선택하는 것입니다. 학위논문 과정에서 연구자가 설문 문항을 임의로 직접 설계하는 방식은 엄격하게 지양해야 합니다. 연구자가 독자적으로 설계한 문항은 신뢰도와 타당도 측면에서 구조적인 결함이 노출되기 쉬우며, 이러한 도구로 수집된 자료의 분석 결과는 심사 과정에서 학술적인 엄밀성을 인정받기가 어렵습니다. 따라서 연구자는 연구의 목적, 조사 대상, 연구 맥락을 종합적으로 고려하여 선행연구 고찰을 바탕으로 적합한 척도를 선별해야 합니다. 이를 위한 구체적인 절차는 다음의 4단계로 구성됩니다.

개념 정의 및 조작적 정의와의 일치성을 확인: 측정도구가 포괄하는 본래의 개념이 연구에서 설정한 조작적 정의(operationalization)와 정확히 일치하는지를 검토해야 합니다. 변수의 이름이 동일하더라도 선행연구마다 조작적 정의의 세부 기준과 측정 범위가 서로 다른 사례가 빈번하므로 면밀한 대조가 필수적입니다.
선행연구에서의 신뢰도 계수 확인: 기존 문헌들에서 보고된 해당 도구의 신뢰도 값을 확인합니다. 사회과학에 관한 연구에서는 내적 일관성 계수인 Cronbach’s alpha 계수 값이 0.7 이상인 도구를 선택하는 것이 보편적인 관행입니다. 따라서 선행연구 전반에서 0.7 이상의 신뢰도 계수를 일관되게 확보한 척도를 선별하는 것이 합리적입니다.
조사 대상 집단과의 적합성을 검토: 해당 도구가 본 연구의 표집 집단과 유사한 성격을 가지는 조사 대상자에게 적용된 사례가 존재하는지를 검토합니다. 특히 해외의 선행연구에서 설계된 외래 척도를 도입할 때에는 한국어 번안 과정과 및 신뢰도 및 타당도 검증 절차를 공식적으로 거친 한국어판 척도를 사용하는 것이 측정 오차를 방지하는 표준 절차입니다.
설문 문항 수 및 응답 소요 시간 평가: 개별 변인에 관한 도구들을 하나로 취합했을 때 전체 문항의 규모가 응답자가 집중력을 유지하며 완수할 수 있는 범위인지를 평가해야 합니다. 일반적으로 전체 응답 시간이 15분을 초과하는 설문지는 피로도로 인한 불성실 응답의 비율을 급격히 높여 원시자료의 품질을 저해하는 요인이 됩니다.

불성실한 응답의 해부: 온라인 설문조사의 데이터를 오염시키는 응답자들

설문 문항의 수정은 도구 본연의 신뢰도와 타당도를 저해하지 않도록 엄격한 원칙 아래에서 수행이 되어야 합니다. 연구 대상자의 직군 명칭이나 조직 환경에 맞추어 문항 내에서의 일부 단어를 치환하는 수준의 변경은 수용될 수 있습니다. 다만, 수정된 세부 내용과 정당한 사유는 연구방법론의 본문에 반드시 명시되어야 합니다. 연구자의 임의적인 판단으로 척도 문항을 삭제 혹은 축약하거나 서로 다른 도구를 조합하는 행위는 측정 오차를 유발하고 연구의 타당도를 훼손하는 결함으로 작용합니다. 아울러 설문에 적용된 모든 척도는 공인된 학술 인용에 관한 양식에 따라 원저자와 타당화 연구의 출처를 본문에 분명히 밝혀야 합니다.

설문지를 구성하는 방법은 무엇인가요?

측정도구를 학술적으로 왜곡 없이 운용하기 위해서는 리커트 척도(Likert scale)의 메커니즘을 정확하게 이해하는 것이 중요합니다. 리커트 척도는 응답자에게 제시된 문항에 대하여 동의하는 수준을 정량화된 복수의 점수 구간 중에서 하나로 평정하도록 유도하는 측정 기법입니다. 사회과학 영역에서의 설문조사는 대부분 리커트 척도를 기반으로 합니다. 국내의 연구 환경에서는 5점 척도를 기본으로 최저점(1점)을 ‘전혀 그렇지 않다/전혀 동의하지 않는다’, 그리고 최고점(5점)을 ‘매우 그렇다/매우 동의한다’로 평가하는 방식이 일반적입니다. 이때 4점, 5점, 7점 등의 점수 척도의 선택은 연구자의 자의적인 판단에 의해서 결정되는 것이 아니라, 선행연구에서 도구의 타당도와 신뢰도가 사전에 입증되었을 때 활용된 원래의 척도 단계를 변형 없이 계승하는 것이 원칙입니다.

설문 문항을 설계할 때에는 측정의 신뢰성을 확보하고 응답 오류를 방지하기 위해 다음 세 가지 사항을 반드시 준수해야 합니다.

단일 개념 측정 원칙: 하나의 설문 문항은 오직 하나의 개념만을 물어야 합니다. 예를 들어 “상사는 공정하고 유능하다”라는 문항은 ‘공정성’과 ‘유능함’이라는 서로 다른 속성을 동시에 묻는 이중 질문(double-barreled question)입니다. 응답자가 상사를 공정하다고 느끼지만 유능하지 않다고 평가할 경우 응답 왜곡이 발생하므로, “상사는 공정하다”와 “상사는 유능하다”라는 두 개의 독립된 문항으로 명확히 분리하여 설계해야 합니다.
유도성 표현 및 정보 노출을 배제: 연구자가 기대하는 응답 패턴을 얻기 위해 특정한 방향성을 암시하거나 유도하는 표현을 사용하지 말아야 합니다. 예를 들어서, 설문지의 특정 영역에 “이 영역은 직무 만족도를 측정하기 위한 문항입니다”와 같은 설명을 직접 노출하면, 응답자가 연구자의 의도를 의식하여 응답 편향(bias)을 유발하게 됩니다.
역문항(reverse-coded item)의 체계적인 기록과 변환: 역문항은 측정 개념과는 반대 방향으로 진술된 문항을 뜻하며, 무성의한 일괄 응답을 식별하고 방지하는 데 유용합니다. 역문항은 설문조사를 완료하고 자료를 통계 분석에 투입하기 전에 점수를 정상 방향으로 변환해야 합니다. 5점 리커트 척도를 기준으로 삼는다면 5점은 1점으로, 4점은 2점으로 점수를 다시 계산하는 역코딩 절차를 거쳐야 합니다. 따라서 사전에 어떠한 문항이 역문항으로 설계되었는지를 기록해 두어야 최종 분석 단계에서 발생하는 혼선을 예방할 수 있습니다.

설문지 전체의 흐름과 배치를 구성할 때에도 조사 대상자의 심리적인 저항을 줄이는 순서를 고려해야 합니다. 첫 페이지에는 연구의 학술적인 목적, 자발적 참여 원칙, 비밀 보장과 익명성 유지, 개인정보 보호 대책을 기술한 안내문을 배치합니다. 이어서 연구 변인을 측정하는 주요 문항들을 논리적인 단위에 따라 차례대로 배열합니다. 응답자의 연령과 성별, 소득, 직급 등의 인구통계학적인 배경을 묻는 질문은 설문지의 맨 마지막 페이지에 배치하는 것이 원칙입니다. 민감한 개인 신상 정보를 설문 전면에 먼저 배치할 경우에는 응답자가 거부감을 느껴 조사를 중도에 포기할 위험이 높기 때문입니다.

아울러 단일 시점에서 동일한 응답자에게 모든 변수의 값을 측정하는 자기보고식 설문 조사는 수집된 자료에서 동일방법편의(common method bias)가 발생할 가능성이 높습니다. 따라서 설문지 안내문에는 “모든 문항에는 정답이나 오답이 존재하지 않으며, 평소 느끼는 바를 솔직하게 응답해 주시기를 바랍니다”라는 문구를 기재하여 심리적인 압박으로 인한 왜곡을 사전에 완화해야 합니다.

설문지의 초안을 완성한 후에는 본 조사를 예비조사(pilot test)를 필수적으로 거쳐야 합니다. 예비조사는 조사 대상자와 유사한 특성을 지닌 소수 표본을 대상으로 소규모 조사를 먼저 수행하는 과정입니다. 문항의 어휘 이해도, 가독성, 질문의 모호함 여부를 점검하고, 설문을 완료하는 데 소요되는 시간을 사전에 파악하는 데 목적이 있습니다. 예비조사 과정에서 나타난 피드백과 결함을 설문지의 최종 수정본에 반영함으로써 설문 배포를 위한 모든 사전 준비를 완결할 수 있습니다.

표본은 몇 명을 어떻게 섭외하나요?

표본의 크기(sample size)를 산정하는 기준은 적용하려는 통계분석 기법의 특성에 의해 좌우됩니다. 즉, 연구모형과 연구가설을 검증하기 위해 어떠한 분석 도구를 사용하느냐에 따라 수집해야 하는 최소 표본의 규모가 결정됩니다.

학술 연구의 실무현장에서 경험적인 기준(rule of thumb)으로 널리 통용되는 지침에 따르면, 다중회귀분석(multiple regression analysis)의 경우에는 모형에 투입되는 독립변수 1개당 대략 10명에서 20명 수준의 표본 수를 확보하는 방식을 취합니다. 반면 구조방정식 모형(structural equation modeling) 분석을 사용할 때에는 전체 모형의 계수를 안정적으로 추정하기 위하여 최소 200명 이상의 유효 표본을 확보하는 것이 일반적인 권장 사항입니다. 아울러 독립표본 t-검정이나 일원배치 분산분석(ANOVA)과 같이 둘 이상의 집단 간 평균 차이를 비교하는 분석 기법에서는 통계적인 신뢰성을 확보하기 위해 각 비교 집단별로 최소 30명 이상의 표본을 고르게 배정해야 합니다.

나아가 이러한 관행적 기준 외에도 널리 활용되는 통계 검정력 분석 프로그램인 G*Power를 이용하면 유의수준, 효과의 크기, 통계적 검정력(power)을 바탕으로 연구모형에 부합하는 최소 표본 크기를 객관적이고 체계적으로 산출할 수 있습니다.

통계적 기준에 따라 계산된 표본의 크기가 곧 실제 배포해야 하는 설문지의 부수를 반드시 의미하지는 않습니다. 설문지 배포 이후의 미회수율과 결측치, 불성실한 응답의 비율을 사전에 감안한다면, 계산된 유효 표본의 크기보다 최소한 15%의 여유분을 확보하여 배포를 계획해야 합니다. 예를 들어서, 최종 통계 분석에 투입할 유효 표본의 크기가 250명이라고 가정한다면, 실제로는 대략 300명에서 350명 규모의 응답 자료를 안정적으로 확보할 수 있도록 배포 수량을 설정해야 합니다.

아울러 설문 대상자를 섭외하고 표본을 추출할 수 있는 구체적인 모집 경로를 준비해야 합니다. 특정한 기업이나 공공기관 등의 조직에 소속된 구성원을 대상으로 조사할 때는 조사 협조를 구하는 공문을 발송해야 하고, 이 후에는 담당 부서의 행정적인 승인 절차가 이루어져야 하는데, 이러한 과정은 상당한 시일이 소요됩니다. 만약 연구자가 접근하기 어려운 특정한 집단으로부터 자료를 수집해야 한다면, 전문 조사 대행 기관이 보유한 패널(panel)을 활용하는 방안을 현실적인 대안으로 검토할 수 있습니다. 한편 연구자의 개인적인 인맥이나 지인을 매개로 응답자를 소개받는 편의표집(convenience sampling)이나 눈덩이 표집(snowball sampling) 방식을 활용한다면 표본에 접근하기는 용이하지만 표본이 특정한 방향으로 왜곡될 가능성이 높아지게 됩니다. 이들의 표집 방식이 가지는 방법론적인 한계점을 논문 본문에서 구체적으로 기술해야 합니다.

설문지를 배포하기 전에 다음의 점검 사항을 확인하는 것이 좋습니다.

연구모형이 다루는 모든 변수를 측정하려고 하는 문항이 설문지에서 서술되고 있는가
모든 측정도구의 출처를 확인할 수 있는 연구문헌이 논문에서 인용되어 있고, 문항의 수정 이력이 별도로 관리되어 있는가
역코딩으로 설계한 문항의 목록을 별도로 관리하고 있는가
예비조사를 수행한 후에 설문문항의 이해도와 가독성, 응답에 필요한 시간을 확인하였는가
특정한 통계적 기법을 기준으로 계산한 표본의 크기와 약 15% 이상의 마진을 반영하였는가
응답자의 모집 경로를 확보하기 위한 협조와 조치가 이루어졌고, 설문조사를 수행하기 위해 IRB 승인이 완료되어 있는가

가상 시나리오: 행정학을 전공하는 한 석사과정 연구자는 지방공무원이 인식하는 조직공정성이 직무몰입에 미치는 영향에 관한 연구주제를 담은 연구계획서를 준비하였습니다. 연구자는 연구가설을 검증하기 위하여 다수의 잠재변수를 유기적으로 다룰 수 있는 구조방정식 모형 분석 기법을 사용하기로 계획하였습니다. 연구에 필요한 변수를 측정하기 위한 도구로는 국내 선행연구를 통해 한국어로 타당성이 이미 입증된 척도를 선택하였습니다. 모든 설문 문항을 단일 설문지로 통합한 뒤 전체 소요 시간을 예측한 결과, 응답을 완료하는 데 걸리는 시간은 10분 미만으로 파악되었습니다.

본조사에 들어가기에 앞서 연구자는 15명의 공무원을 대상으로 사전 예비조사를 먼저 수행하였습니다. 수집된 응답 자료와 대상자들의 피드백을 면밀하게 검토한 결과, 역방향으로 질문을 구성한 두 개 문항의 의미를 응답자들이 명확하게 이해하지 못한다는 점을 발견하였습니다. 이에 따라 연구자는 역문항의 표현을 보다 직관적이고 이해하기 쉬운 문장으로 수정하였습니다.

이와 함께, 통계분석 기법의 기준에 부합하는 적정한 표본의 크기를 계산하기 위하여 G*Power 프로그램을 사용하였습니다. 이를 통해 통계적 검정력을 충족하는 최소 표본의 크기가 250명인 것으로 계산되었습니다. 연구자는 설문지를 배포한 후에 회수되지 않을 가능성과 불성실한 응답의 비율을 사전에 고려하여, 계산된 표본의 수를 초과하는 총 320부의 설문지를 배포하기로 결정하였습니다. 아울러, 조사 대상자를 확보하기 위하여 지방자치단체에 조사의 협조를 구하는 공문을 공식적으로 발송하였으며, 이를 통해 전문 교육과정에 입교한 공무원들을 조사 대상자로 섭외할 수 있었습니다. 최종적으로 회수된 설문지 중에서 유효한 271부의 응답 자료를 수집하고 이를 최종 통계분석에 투입하였습니다.

(본 사례는 컨설팅 현장의 경험을 참고하여 재구성한 가상의 시나리오입니다.)

자주 묻는 질문 (FAQ)

Q. 설문 문항을 직접 설계해서 사용해도 무방할까요?

A. 전혀 권장하지 않습니다. 도구의 타당도와 신뢰도의 평가과정을 엄밀하게 거치지 않고 연구자가 스스로 설계한 문항은 통계분석의 결과와 결과의 해석을 훼손할 가능성이 매우 높습니다. 척도 개발(scale development)을 위해서는 (1) 정교한 문헌고찰, (2) 조사 대상자를 특정한 예비문항의 선별, (3) 델파이(Delphi) 등의 전문가 평가를 통한 예비문항의 타당도 평가, (4) 탐색적 요인분석의 수행을 통한 잠재요인(latent variable)의 구조 분석, (5) 확인적 요인분석을 통해 측정모형(measurement model)의 적합도 및 구성타당도 평가, (6) 준거 타당도(criterion validity) 평가, 그리고 (7) 검사-재검사 신뢰도(test-retest reliability) 평가 등의 일련의 체계적인 과정을 거쳐야 하는 독립적인 연구입니다. 석사 및 박사학위 논문에서는 기존의 관련 문헌에서 널리 사용되고 있는 신뢰도와 타당도가 이미 평가된 검증된 도구를 사용하는 것이 정석입니다.

Q. 리커트 척도(Likert scale)를 구성할 때 5점 척도와 7점 척도 가운데 어느 척도를 선택하는 것이 바람직합니까?

A. 두 척도 사이에 절대적인 우열은 존재하지 않습니다. 5점 척도는 응답자가 질문의 뜻을 직관적으로 파악하여 쉽게 답변할 수 있게 한다는 이점이 있는 반면, 7점 척도는 응답의 폭을 넓혀 자료의 분산을 세밀하게 확보할 수 있다는 통계적인 장점을 가집니다.

Q. 표본의 크기는 최소 몇 명이 필요한가요?

A. 필요한 표본의 크기는 통계분석 기법에 의해서 결정됩니다. 다만, 회귀분석을 수행하기 위해서는 변수 1개당 10-20명 정도, 구조방정식 모형분석에 필요한 크기는 약 200명 이상, 그리고 집단 간의 비교를 위해서는 각 집단이 30명 이상을 필요로 한다는 것이 관행으로 사용하는 기준입니다. G*Power를 사용해서 계산한 크기를 연구계획서에서 근거로 제시하는 것을 적극 권장합니다.

Q. 온라인 설문 vs. 오프라인 설문 (페이퍼 설문) 중에서 어떤 설문을 선택하는 것이 좋은가요?

A. 조사 방식을 결정하는 가장 중요한 기준은 연구 대상 집단의 고유한 특성과 표본에 얼마나 쉽게 접근할 수 있는가에 달려 있습니다. 온라인 설문조사는 시공간의 제약 없이 설문지를 빠르게 배포하고 회수할 수 있어 조사에 소요되는 시간과 비용을 크게 줄일 수 있습니다. 또한 응답자가 입력한 내용이 전산 자료로 즉시 저장되기 때문에 연구자가 수기 설문지를 컴퓨터에 직접 입력하는 과정에서 생기는 오류를 근본적으로 차단할 수 있습니다.

반면 종이 설문지를 직접 배포하는 오프라인 설문조사는 디지털 기기 활용에 익숙하지 않은 고령층이나 인터넷 접근이 제한적인 시설 거주자처럼 온라인 조사가 어려운 집단을 조사할 때 효과적입니다. 아울러 면대면 상황에서 조사의 취지를 상세하게 안내할 수 있어 응답의 완결성을 확보하는 데 유리합니다.

따라서 연구자는 표본 집단의 정보 매체 접근성과 편의성을 종합적으로 검토하여 조사 방식을 결정해야 합니다. 연구의 환경에 따라 온라인 조사와 페이퍼 조사를 병행하여 표본을 수집하는 혼합 방식(mixed-mode survey)을 적용하는 것도 좋은 대안이 됩니다.

Q. 설문조사를 완료한 후에 불성실하게 작성된 응답 자료를 가려내고 선별하는 구체적인 방법에는 어떠한 것들이 있습니까?

A. 수집된 설문 자료의 신뢰성을 확보하기 위해 불성실한 응답을 식별하고 제거하는 대표적인 기준으로는 다음의 세 가지 방법이 널리 활용됩니다.

첫째, 설문 작성에 걸린 전체 소요 시간을 확인하는 방법입니다. 사전에 소규모 예비조사를 통해 파악한 평균 응답 시간이나 문항을 정독하는 데 필요한 최소한의 물리적인 독해 시간보다 지나치게 짧은 시간 안에 설문 작성을 마친 경우는, 문맥을 깊이 있게 살피지 않고 서둘러 답변을 제출하였을 가능성이 매우 높으므로 선별하여 제외합니다.

둘째, 설문지의 모든 문항에 동일한 번호만을 연속적으로 표기한 일괄 응답을 찾아내는 방법입니다. 질문의 내용이 서로 다름에도 불구하고 특정한 번호(예: 모두 3점 혹은 모두 5점)만을 기계적으로 반복하여 선택한 응답지는 연구 변인의 고유한 차이를 반영하지 못하는 무변이성 응답이므로 분석 대상에서 배제해야 합니다.

셋째, 역코딩으로 설계한 문항의 값과 순방향으로 서술된 문항의 값을 서로 비교하여 응답의 패턴이 논리적으로 일치하는지를 대조하는 방법입니다. 긍정적인 방향으로 서술한 문항과 부정적인 방향으로 서술한 역문항은 원칙적으로 서로 반대되는 점수 분포를 보여야 정상입니다. 하지만 두 문항 모두에 최고점을 부여하는 것처럼 논리적으로 모순되는 답변을 적어 낸 설문지는 문장의 의미를 온전히 이해하지 않고 임의로 표기한 것으로 판단하여 제거합니다.

Q. 본조사를 수행하기에 앞서 예비조사(pilot test)를 반드시 거쳐야 합니까?

A. 예비조사는 설문지가 배포된 이후에는 사후 수정이 불가능한 비가역적인 특성을 고려한다면, 조사 과정에서 발생할 수 있는 결함을 사전에 발견하고 바로잡을 수 있는 마지막 기회이므로 반드시 수행할 것을 강력하게 권장합니다.

결론

설문지의 최종 완성본을 배포한 이후에는 사후 수정이 불가능하므로, 자료를 수집하는 과정에서 나타날 수 있는 오류를 사전에 점검하는 절차가 매우 중요합니다. 자료 수집의 실패를 방지하기 위해서는 체계적인 다섯 단계의 과정을 충실히 거쳐야 합니다.

측정도구의 결정: 선행 연구를 통해 신뢰성과 타당성이 객관적으로 입증된 공인 척도를 선택해야 합니다.
설문지의 설계: 응답 편향을 최소화하기 위해 두 가지 속성을 동시에 묻는 이중 질문이나 연구자의 의도를 암시하는 유도성 표현을 배제해야 합니다. 그리고 응답자의 인구통계학적인 배경을 묻는 문항은 심리적인 거부감을 줄이기 위해 설문지의 가장 마지막 면에 배치해야 합니다.
예비 설문조사의 실시: 본조사에 착수하기 전에 소수 인원을 대상으로 사전 조사를 먼저 수행하여, 문항에 대한 이해도와 읽기 쉬운 정도를 점검하고 답변을 완료하는 데 예상되는 소요 시간을 확인해야 합니다.
표본 크기와 모집 방법의 결정: 연구모형과 가설을 검증할 통계분석 기법의 요구 기준에 맞추어 적정한 표본의 크기를 산정하고, 설문에 참여하도록 협조를 구하는 공식적인 경로를 사전에 확보하여 표집 계획을 구체화해야 합니다.
설문지 배포: 이상의 사전 점검 항목들을 모두 보완하고 확인한 뒤에 최종 설문지를 연구 대상자에게 배포해야 합니다.

연구 로드맵