연구방법 9단계. ‘제4장. 연구의 방법’ 작성: 재현 가능성(replicability)의 구현

학위논문에서의 '제4장. 연구의 방법'은 연구자의 미려한 문장력을 드러내는 영역이 아닙니다. 어떠한 후속 연구자라도 동일한 조건에서 연구를 재현(replicate)할 수 있도록 실험과 설문조사 과정의 흔적을 낱낱이 기록하는 '방법론적인 매뉴얼'입니다. 연구계획서에서의 미래 시제(tense)를 과거 시제로 치환하는 교정, 표본 추출의 근거와 측정도구의 출처, 데이터 정제 기준에 이르기까지 연구방법에 관한 모든 정보를 빠짐없이 기록해야 합니다.

이 글의 순서 6개 항목

1. 연재글 순서
2. ‘제4장. 연구의 방법’에서 서술해야 하는 항목
3. 서술의 문체와 시제(tense)의 엄격한 전환 규칙
4. 심사에서 지적받는 누락 항목과 점검표(checklist)
5. 자주 묻는 질문 (FAQ)
6. 결론

논문의 ‘제4장. 연구방법’을 집필할 때 서술의 범위를 결정하는 중요한 기준은 재현 가능성(replicability)입니다. 학문의 가치는 후속 연구자가 선행 연구자의 방법을 투명하게 재현하고 검증할 때 비로소 드러납니다. 미국심리학회(APA)가 규정한 ‘학술지 보고 기준(Journal Article Reporting Standards; JARS)’에 따르면, 표본 추출의 방법, 표본 크기의 통계적 근거, 측정도구의 신뢰도와 타당도 등은 연구의 편향(bias) 여부를 판단하는 지표이기 때문에 결코 누락되어서는 안 됩니다(Appelbaum et al., 2018).

• Appelbaum, M., Cooper, H., Kline, R. B., Mayo-Wilson, E., Nezu, A. M., & Rao, S. M. (2018). Journal article reporting standards for quantitative research in psychology: The APA Publications and Communications Board task force report. American Psychologist, 73(1), 3-25. https://doi.org/10.1037/amp0000191

또 다른 평가 기준은 연구문제(또는 연구가설)와 분석 기법의 일치성(alignment)입니다. 이는 연구자가 설계한 연구문제와 이를 검증하기 위한 분석 기법이 정확하게 일치하는지의 여부입니다. 예를 들어서, ‘A가 B에 미치는 영향’을 묻는 인과적 가설을 설정하였으나, 정작 통계분석의 방법으로 t-검정이나 상관분석로 접근한다고 서술하였다면, 이 챕터에서는 방법론적인 결함이 드러날 수 밖에 없습니다.

결과적으로, ‘제4장. 연구의 방법’은 연구자가 수행한 절차적인 행위를 대단히 무미건조하게 한 치의 오차 없이 기록(documentation)하는 곳입니다.

연재글 순서

1. 연구문제가 방법을 정한다: 연구방법 선택의 판단을 위한 경로
2. 양적 연구 vs. 질적 연구: 연구 패러다임의 충돌과 방법론 선택의 기준
3. 혼합연구 방법론(Mixed Methods Research): 양적연구와 질적연구의 통합적인 설계 전략
4. 설문조사 연구의 설계: 설문지를 설계하기 전에 확인해야 하는 방법론적인 청사진
5. 실험 연구의 설계: 중재 프로그램의 순 처치 효과 규명을 위한 인과 추론의 방법론적인 체계
6. 사례연구와 문헌연구: 데이터를 수집하지 않고 기존의 자료(archival data)를 활용하는 연구설계
7. 변수와 측정: 모호한 개념을 통계 모형으로 전환하는 ‘조작적 정의’
8. 타당도의 위협: 연구설계의 취약 지점과 타당도의 저해 요인
9. ‘제4장. 연구의 방법’ 작성: 재현 가능성(replicability)의 구현

‘제4장. 연구의 방법’에서 서술해야 하는 항목

‘제4장. 연구의 방법’은 여러 전공 분야에 따라 명칭의 차이는 있으나(예., 연구방법론, 연구의 설계), 표 1.에서의 항목을 순차적으로 전개합니다.

• 연구 대상의 서술을 위한 팁: 총 몇 부의 설문을 배포하였는데(예., 300부), 그 중에서 총 몇 부가 회수되었으며(예., 회수율=93.3%), 총 몇 부가 결측값이나 불성실한 응답을 포함한 것으로 나타나 몇 부를 폐기하여(예., 10부), 최종분석에 투입한 유효 표본의 크기가 몇인지(예., 270부)를 투명하게 확인할 수 있도록 서술해야 합니다.
• 측정도구의 서술을 위한 팁: “본 연구는 직무만족을 측정하였다“라고 모호하게 서술해서는 안됩니다. 대신, “본 연구에 참여한 조사대상자가 인식한 직무만족의 수준을 측정하기 위해 Smith(2020)가 설계하고 홍길동(2022)이 한국어로 번안과 타당화한 도구를 본 연구의 맥락에 맞게 보완해서 사용하였다. 척도는 업무환경(4문항), 동료관계(3문항), 보상(3문항)을 포함하는 3개 하위요인, 총 10문항으로 구성된 Likert 5점 척도(예., 1=’전혀 그렇지 않다’, 5=’매우 그렇다)이다. 측정도구의 신뢰도를 평가한 결과, 본 연구에서 계산된 신뢰도 계수(Cronbach’s alpha)는 .87로 나타났다“와 같이 입체적으로 서술해야 후속연구에서 연구자 자신 또는 다른 연구자에 의해서 재현이 가능합니다.

서술의 문체와 시제(tense)의 엄격한 전환 규칙

연구방법의 챕터에서는 화려한 수식어나 미사여구를 철저히 배제하고 무미건조한 문체를 지향해야 합니다. “본 연구에서는 매우 신중하고 과학적인 방법으로 표본을 엄선하였다“라는 주관적인 자평보다는, “A병원에 근무하는 3년 이상의 경력을 가지는 간호사 중에서 본 연구의 취지를 이해하고 자발적인 참여에 동의를 한 150명을 표집하였다“라고 객관적인 기준을 사실대로 서술해야 합니다. 주어는 가급적 생략을 하거나 “본 연구에서는”을 사용하며, “나는(I)”이라는 1인칭 주어는 질적연구에서 연구자의 위치성(positionality)을 성찰할 때 외에는 사용하지 않습니다.

다만, 논문을 집필할 때 1인칭 저자를 사용할 때에는 전략적으로 판단해야 합니다. 아래의 링크를 방문하면 논문에서의 1인칭 저자 지칭에 관한 풍부한 정보를 얻을 수 있습니다.

논문 속의 연구자: 1인칭 저자 지칭은 겸손과 학술적 존재감 사이의 전략적인 선택이다

흔하게 발생하는 실수 중의 하나는 ‘시제(tense)’를 전환하지 않는 것입니다. 예를 들어서, 과거에 작성하였던 ‘연구계획서(proposal)’의 제4장을 복사하고 그대로 붙여넣기를 하는 경우입니다. 연구계획서는 미래에 수행할 행동을 담고 있기 때문에 “설문조사를 수행할 예정이다“, “회귀분석으로 접근할 것이다“와 같이 미래 시제로 작성되어 있습니다. 그러나 논문의 최종버전은 이미 모든 연구행위를 종료한 시점의 결과물입니다. 따라서 최종버전에서는 “설문조사를 수행하였다“, “회귀분석으로 접근하였다“라고 과거 시제(past tense)로 치환해야 합니다.

심사에서 지적받는 누락 항목과 점검표(checklist)

‘제 4장. 연구의 방법’을 작성한 후에 다음의 항목 중에서 누락된 것이 없는지를 체크해야 합니다.

1. 표집 방법의 기술: 단순 무선표집, 층화표집, 편의표집 중에서 어떤 기법을 사용했는가.
2. 설문지의 배포와 회수, 유효한 표본의 추적: 최초에 배포한 설문지의 부수 → 회수한 부수 → 최종 유효 표본의 크기.
3. 데이터 정제의 기준: 불성실한 응답을 제거하기 위한 구체적인 기준을 기술하였는가.
4. 측정도구의 설계자와 번안자: 척도를 최초로 개발한 원저자(연도)와 한국어 번안과 타당화를 수행한 연구자(연도)의 서지 정보가 명확한가.
5. 도구의 수정 사실을 기술: 연구의 목적과 맥락에 맞게 특정한 문항에서의 단어를 일부 교체하였거나 일부 문항을 제외하였다면, 그 사실과 정당한 이유를 서술하였는가.
6. 역채점(reversed-scoring) 문항의 사용 여부: 역코딩 문항을 사용하였는지, 그리고 분석에 진입하기 전에 역코딩 문항의 값을 역환산하였는지의 여부를 기술하였는가.
7. 자료의 수집과정을 나타내는 타임라인: 설문조사나 인터뷰가 수행된 구체적인 기간을 기술하였는가.
8. 생명윤리(IRB) 승인 번호: 인간을 대상으로 연구를 수행하였다면, 소속기관의 IRB로부터 취득한 승인 번호를 기술하였는가.
9. 분석에 사용한 프로그램의 이름과 버전: IBM SPSS 28.0, AMOS 26.0, R 4.2 등의 프로그램의 공식 이름과 버전을 기술하였는가.
10. 연구가설과 분석 기법에서의 1:1 대응: 연구가설 1를 검증하기 위해 통계기법 A를, 연구가설 2를 위해서는 통계기법 B를 사용하였다는 사실을 서술하였는가.

가상 사례: 간호학 석사과정 연구자의 연구방법 장 수정 및 IRB 보완 간호학 박사과정에 재학 중인 연구자 L씨는 과거에 작성하였던 연구계획서에서의 ‘제4장. 연구의 방법’의 내용 중에서 일부 값과 지표를 수정한 후에 최종심사 버전으로 만들었습니다. 하지만 다음과 같은 여러가지 오류가 나타났습니다. 첫째, “총 271부의 설문지를 수집하였으며, 이를 최종 분석에 투입하였다“라고 기술되어 있는데, 설문지의 총 배포 수와 회수율, 결측값의 처리 방법에 관한 내용이 누락되어 있었습니다. 둘째, 소진의 수준을 측정하기 위한 설문도구의 내용을 서술한 문단에서는 문항의 갯수만이 기술되어 있을 뿐, 출처(Maslach & Jackson, 1981)에 관한 정보가 모두 누락되어 있었습니다. 셋째, 인간을 대상으로 수행한 간호 연구임에도 불구하고 IRB 승인 여부가 기재되어 있지 않았습니다. 또한, 문장의 여러 곳에서 “본 연구는 일련의 연구가설을 검증하기 위하여 구조방정식 모형 분석으로 분석할 예정이다“라는 미래 시제로 서술된 문장이 그대로 방치되어 있었습니다. 이에 따라 연구자 L씨는 ‘제4장. 연구의 방법’의 구조를 전면적으로 보완하였습니다. 구체적으로 “본 연구는 2026년 10월 4일부터 2026년 10월 30일까지 설문조사를 수행하였다. 총 300부의 설문지를 배포하였으며, 이 중에서 285부의 설문지를 회수하였다. 따라서 회수율은 95.0%이다. 회수한 설문자료 중에서 결측값과 불성실한 응답이라고 판단되는 자료를 포함해서 총 14부의 설문자료를 제거하였다. 본 연구는 271부의 자료를 최종분석에 투입하였다“라고 서술하였습니다. 이와 함께, 설문도구의 출처를 밝히고, IRB의 심의를 거쳐 취득한 승인 번호(IRB No. XXX-XXXX)를 기재하였습니다. 마지막으로, 워드프로세스의 [찾기/바꾸기] 기능을 활용해서 ‘OOO할 예정이다’를 모두 ‘OOO 수행하였다’의 형태로 시제를 수정하였습니다. (※ 본 사례는 간호학 석사학위논문 컨설팅의 경험을 바탕으로 재구성한 가상의 시나리오입니다.)

자주 묻는 질문 (FAQ)

Q. 측정도구로 사용한 설문지의 원본을 ‘제4장. 연구의 방법’에서 모두 나타내어야 하나요?

A. 모두 나타낼 필요가 없습니다. 연구에서 사용한 설문도구를 학위논문에서의 ‘부록(Appendix)’에 첨부하는 것이 학계에서의 관행입니다. 논문의 본문에서는 척도를 이루는 하위 개념의 구조와 1-2개의 설문문항을 예시로 소개하는 것으로도 충분합니다.

Q. 설문지를 배포하고 회수한 정확한 부수와 회수율을 반드시 밝혀야 하나요? 회수율이 너무 낮아서 걱정이 됩니다.

A. 회수율이 낮더라도 반드시 투명하게 기술해야 합니다. 저조한 회수율은 사회과학 영역에서 흔히 나타나는 한계점이라는 인식이 지배적입니다. 배포한 설문지의 총 부수 → 회수율 → 유효 표본의 크기를 본문에서 밝혀야 합니다.

Q. 연구계획서를 발표할 때 기술하였던 연구방법과 본연구의 수행 과정에서 접근한 방법에서 차이가 있습니다. 어떻게 서술해야 하나요?

A. 학위논문은 ‘실제로 수행한 과업’을 기록하는 최종 버전입니다. 따라서 연구계획서에서 과거에 기술한 내용에 매몰될 이유가 없습니다. 수집한 표본의 크기와 조사 기간, 표본의 표집 방법, 분석 기법을 ‘과거형’ 시제로 서술하는 것만으로도 문제가 발생하지 않습니다.

Q. 질적연구로 접근한 논문에서의 연구방법 챕터는 양적연구와 어떠한 점에서 차이가 있나요?

A. 질적연구는 연구가설을 검증하지 않고 연구 참여자가 체험한 경험으로부터 의미를 탐색하는 것을 목적으로 합니다. 예를 들어서, 양적논문에서 ‘표본의 추출’이 서술되는 곳에서는 ‘연구 참여자의 선정 과정과 목적 표집의 근거’를 다루어야 합니다. 그리고 ‘측정도구’의 영역에서는 ‘연구자의 배경과 위치성(positionality)’을 성찰하는 내용으로 채워져야 합니다. 또한, ‘통계 분석의 방법’이 기술되어야 하는 영역에서는 코딩과 범주화의 수행과정에 관한 ‘질적자료의 분석 절차’, 그리고 측정도구의 신뢰도를 대신해서 연구의 진실성을 입증하기 위한 ‘연구의 엄격성(rigor)과 확보 방안’을 기술해야 합니다.

Q. 통계분석을 수행하는 과정에서 SPSS 이외에도 AMOS와 R, Process Macro 등 여러 종류의 프로그램을 사용하였습니다. 이들의 프로그램에 관한 정보를 모두 기술해야 하나요?

A. 모두 기술해야 합니다. “본 연구는 IBM SPSS 28.0, AMOS 26.0, 그리고 Process Macro를 사용해서 연구가설을 검증하였다.”로 기술하면 충분합니다.

결론

‘제4장. 연구의 방법’은 화려한 문장력보다는 연구자의 꼼꼼한 기록 정신이 가장 빛을 발하는 영역입니다. 어떠한 후속 연구자라도 연구를 재현(replicate)할 수 있도록 모든 방법과 과정, 그리고 근거를 상세하게 기술해야 합니다. 연구계획서에서 작성하였던 미래 시제의 문장을 본논문에서는 과거 시제로 치환해야 합니다.