IMRaD에 나타나는 4개의 챕터는 질문의 범주를 구분하는 구조적인 프레임워크입니다. 서론은 '왜(Why)', 연구방법은 '어떻게(How)', 결과는 '무엇이 도출되었는가(What)', 그리고 논의는 '그것이 무엇을 뜻하는가(So what)'를 서술하는 영역입니다. 논문심사 과정에서 지적을 받는 이유 중의 하나는 논문에서 서술한 내용이 엉뚱한 영역에서 등장하고 있기 때문입니다.
이 글의 순서 6개 항목
논문 심사과정에서 지적받는 것 중의 하나는 각 챕터에 서술하는 내용의 ‘배치(placement)’입니다. 예를 들어서, ‘연구의 결과(Results)’ 챕터에 선행연구의 결과를 논의하는 해석적인 문장이 혼입되거나, ‘서론(Introduction)’ 챕터에 설문 문항의 수나 척도 범위와 같은 측정 도구에 관한 내용을 서술하는 사례입니다. 또는, ‘논의(Discussion)’에 새로운 분석 결과를 담은 테이블이 뒤늦게 등장하는 예입니다. 문장 자체가 뜻하는 바가 정확하더라도, 이들 문장이 위치하는 영역이 틀리다면 논문의 완성도와 가치가 크게 훼손됩니다. 이는 현대적인 학술 논문이 제시하는 프레임워크 중의 하나인 ‘IMRaD(Introduction-Methods-Results-Discussion)’ 구조가 각 챕터마다 다루어야 하는 내용의 성격과 경계를 통제하고 있기 때문입니다.
그러나 오늘날에 교과서적인 규범으로 통용되는 IMRaD 형식은 학술적 글쓰기의 역사에서 처음부터 존재했던 형식이 아닙니다. 과거의 논문은 연구자가 자신의 동료에게 보내는 서신의 형태에 가까웠으며, 실험의 진행 경과를 시간 순서대로 기록하는 연대기적인 서술이라는 특징을 가지고 있었습니다. ‘연구의 방법’을 독립된 챕터로 다른 영역과 분리해서 서술하는 관행은 19세기 후반에 이르러서야 태동하기 시작하였습니다.
IMRaD는 언제부터 표준이 되었나요?
IMRaD 형식이 오늘날에 정착한 궤적은 Sollaci & Pereira(2004)의 연구를 통해 규명된 것으로 보여집니다. 두 연구자는 대표적인 4대 의학 학술지인 BMJ, JAMA, The Lancet, New England Journal of Medicine을 대상으로 1935년부터 1985년까지 5년 주기로 발행된 원저 1,297편의 논문 구조를 전수 분석하였습니다. 그리고 분석을 수행한 결과, 1935년 당시에는 4대 학술지 전체에서 IMRaD 형식을 수용한 논문이 단 한 편도 존재하지 않았습니다. 이후 IMRaD 형식의 비중은 1950년대 중반에 약 20%로 증가하였고, 1970년대에는 80%를 상회하였으며, 1980년대에 이르러서는 다른 서술 형식을 완전히 대체하며 절대적인 표준으로 자리잡았습니다. 학술지별 전환의 완료 시점은 New England Journal of Medicine이 1975년, BMJ가 1980년, 그리고 JAMA와 The Lancet이 1985년이라는 흐름을 보였습니다.
- Sollaci, L. B., & Pereira, M. G. (2004). The introduction, methods, results, and discussion (IMRAD) structure: A fifty-year survey. Journal of the Medical Library Association, 92(3), 364–367. https://pmc.ncbi.nlm.nih.gov/articles/PMC442179/
4개의 챕터는 어떤 질문에 답을 해야 하는 영역인가요?
Wu(2011)는 생태학 학술지에서 활동하는 편집인으로서 IMRaD 구조가 가지는 본질을 네 가지 질문으로 정리하였습니다. 즉, ‘왜 이 연구를 수행하였는가(서론)’, ‘어떻게 수행하였는가(연구방법)’, ‘무엇을 발견하였는가(연구결과)’, ‘그 발견이 무엇을 뜻하는가(논의)’입니다. 아울러 Wu(2011)는 투고한 원고에서 가장 흔히 관찰되는 결함으로는 서론에 구체적인 연구문제가 명시되지 않는 경우와, 결과 챕터가 체계적인 하위 구조로 이루어지지 않고 만연하게 늘어지는 문제를 지목하였습니다.
- Wu, J. (2011). Improving the writing of research papers: IMRAD and beyond. Landscape Ecology, 26(10), 1345–1349. https://doi.org/10.1007/s10980-011-9674-3
그러나 Wu(2011)가 제시한 4개의 질문만으로는 문장 단위로 기술해야 하는 내용을 무엇으로, 그리고 어디에 배치해야 하는지를 판단하기 어렵습니다. 미국심리학회(APA)의 보고 기준을 정립한 Appelbaum et al.(2018)은 챕터에 따라 반드시 서술해야 하는 항목을 구체적으로 명시하였습니다. 이들은 연구방법 챕터에 연구 참여자의 선정 기준, 표집 절차와 응답률, 표본 크기의 결정에 관한 통계적인 근거, 측정 도구의 신뢰도와 타당도, 결측값의 처리 방침, 그리고 구체적인 분석 전략이 누락 없이 기술해야 한다고 주장하였습니다. 그리고 연구결과의 챕터에는 기술통계량과 함께 모든 통계 검정 결과에 대한 p-값, 효과크기, 신뢰구간을 기술해야 한다고 논의하였습니다.
논의 챕터에서의 논리적인 전개 순서에 관해서는 Docherty & Smith(1999)가 기준을 마련하였습니다. 연구진은 논의 챕터를 구성하는 5단계 순서로서, 결과에 대한 간명한 진술, 연구의 강점과 약점에 대한 균형 있는 서술, 선행연구와의 비교, 연구의 시사점을 신중하게 제시, 그리고 본 연구에의 미해결 과제와 후속 연구를 위한 과제를 제시하였습니다. Docherty & Smith(1999)는 특히 논의 챕터야말로 논문을 작성할 때 가장 틀리기 쉽고 작성하기 까다로운 영역이라고 경고하였습니다. 연구자의 추측과 장황한 변명이 넘쳐날 수 있기 때문이라는 주장입니다.
- Appelbaum, M., Cooper, H., Kline, R. B., Mayo-Wilson, E., Nezu, A. M., & Rao, S. M. (2018). Journal article reporting standards for quantitative research in psychology. American Psychologist, 73(1), 3–25. https://doi.org/10.1037/amp0000191
- Docherty, M., & Smith, R. (1999). The case for structuring the discussion of scientific papers. BMJ, 318(7193), 1224–1225. https://doi.org/10.1136/bmj.318.7193.1224
그 문장은 왜 엉뚱한 챕터에 등장하고 있을까?
Boutron et al.(2010)은 논문의 각 챕터에서 연구자의 주관적인 해석이 결과를 어떻게 왜곡하는지를 입증하였습니다. 연구진은 2006년 12월에 발표된 무작위 대조시험(RCT)으로 접근한 616편의 논문 가운데 1차 평가지표(primary outcome)가 통계적으로 유의하지 않게 나타난 72편의 논문을 분석 대상으로 선별하였습니다. 연구진은 두 명의 평가자가 독립적으로 각 논문을 확인하고 실험 처치의 효과를 실제보다 유리하게 보이도록 유도한 서술 양상을 식별하였습니다. 이들은 이 왜곡된 서술 방식을 ‘스핀(spin)’으로 명명하였습니다.
분석을 수행한 결과, 논문이 전개됨에 따라 스핀이 출현하는 비율이 점진적으로 증가하는 것으로 나타났습니다. 논문의 제목에서 스핀이 발견된 논문의 비율은 전체의 18.0%이었으나, 결과 챕터에서는 29.2%, 그리고 논의에서는 43.1%로 상승하였으며, 최종 결론에서는 절반에 이르는 50.0%에 달하였습니다.
이는 객관적인 값과 통계량을 무미건조하게 기술해야 하는 챕터에서는 과장이 어렵지만, 해석의 여지가 열려 있는 챕터로 이동할수록 연구자의 의도적인 왜곡이 훨씬 쉽게 개입될 수 있음을 나타냅니다. 자신의 연구 결과를 사실보다 긍정적으로 포장하려는 저자의 편향된 동기는 해석의 영역인 논의 챕터 뿐만 아니라 순수한 사실만을 기록해야 할 결과 챕터에서도 예외가 아니라는 점을 보여줍니다.
- Boutron, I., Dutton, S., Ravaud, P., & Altman, D. G. (2010). Reporting and interpretation of randomized controlled trials with statistically nonsignificant results for primary outcomes. JAMA, 303(20), 2058–2064. https://doi.org/10.1001/jama.2010.651
학술 논문에서 자주 목격되는 내용 위치 선정의 오류는 다음 세 가지입니다.
첫째, 서론에 연구방법의 내용이 혼입되는 경우입니다. 연구의 필요성과 이론적 배경을 드러내어야 하는 서론에서 측정 도구의 문항 수나 척도의 범위와 같은 구체적인 방법론을이 조기에 서술하면, 독자는 연구문제를 식별하기 전에 측정도구를 읽는 혼란을 겪게 됩니다.
둘째, 연구결과 챕터에 연구자의 주관적인 해석이 개입되는 경우입니다. “OOO로 판단할 수 있다” 또는 “본 연구의 결과는 선행연구에서 나타나는 결과와 그 패턴이 일치한다”와 같은 문장은 계산 값과 통계적인 사실만을 기술해야 하는 연구결과 챕터에서의 서술어가 전혀 아니며, 논의 챕터에서 다루어야 하는 해석의 영역입니다.
셋째, 논의 챕터에서 새로운 분석 자료가 등장하는 경우입니다. 연구결과 챕터를 거치지 않고 논의에서 처음으로 표나 값이 등장하는 경우가 대표적인 사례입니다. 사전의 연구설계에 따른 체계적인 검증을 거치지 않고 연구자의 주장을 사후적으로 짜맞추기 위해 시도된 자의적인 분석으로 읽힐 수 밖에 없습니다.
학위논문에서의 챕터 구성은 어떻게 이루어지는가?
홍콩이공대학교의 Lin & Evans(2012)는 공학, 응용과학, 사회과학, 인문학 등 39개 분야에 걸친 영어권 상위 학술지의 논문 433편에서 나타나는 구조적인 배치를 분석하였습니다. 분석을 통해서 나타난 결과는 IMRaD가 지배할 것이라는 일반적인 생각과는 크게 다른 것으로 나타났습니다. 가장 흔하게 관찰된 배치의 모습은 ‘서론, 문헌고찰, 연구의 방법, 연구결과 및 논의, 결론’으로 이어지는 5단 구조인 것으로 나타났습니다. 연구자들은 문헌고찰과 결론이 이미 독자적인 챕터로서 확고하게 정착했음에도 불구하고 고전적인 IMRaD 틀은 이러한 현대 학술 논문의 현실적인 분화를 대표하지 못한다고 비판하였습니다.
- Lin, L., & Evans, S. (2012). Structural patterns in empirical research articles: A cross-disciplinary study. English for Specific Purposes, 31(3), 150–160. https://doi.org/10.1016/j.esp.2011.10.002
국내 학위논문에서 보편적으로 나타나는 5개의 챕터 구성(서론, 이론적 배경, 연구방법, 연구결과, 논의 및 결론)은 Lin & Evans(2012)의 결과와 일치합니다. 학문의 영역이나 관행에 따라 챕터의 이름이나 외형적인 갯수는 달라질 수 있지만, 각 챕터가 담아야 하는 내용은 변하지 않습니다.
첫째, 모든 문단에 ‘왜(Why)’, ‘어떻게(How)’, ‘무엇을(What)’, ‘그래서(So what)’라는 네 가지 질문 표식 중에서 하나를 부여하고, 표식의 성격과 소속한 챕터가 서로 다른 문단이나 내용을 우선적으로 수정합니다.
둘째, 연구의 결과 챕터의 서술어만을 독립적으로 확인합니다. 객관적인 사실을 기술하는 “OOO인 것으로 나타났다“를 존치하고, 주관적인 해석이 개입된 “OOOO 하는 것으로 판단할 수 있다“를 논의 챕터로 이동시킵니다.
셋째, 방법론 챕터를 정독하면서 제3의 연구자가 동일한 절차를 재현할 수 있을 만큼 정보가 충분하게 기술되었는지를 확인합니다.
넷째, 논의 챕터에 등장하는 첫 문단에서는 연구로부터 발견한 주요 결과를 하나의 문장으로 압축해서 선명하게 제시합니다. 그리고 연구의 강점과 방법론적인 약점을 동등한 비중으로 균형 있게 서술합니다.
다섯째, 본문의 수정을 완료한 후에는 초록을 가장 마지막에 수정합니다. 특히, 초록에서의 결론이 본문에서의 결과 챕터에서 나타나는 수준보다 과도하거나 단정적이지 않은지를 대조해야 합니다.
| 가상 사례: 교육학 석사과정에 재학 중인 한 연구자가 논문심사에서 결과 챕터에 주관적인 해석이 혼재되어 있다는 지적을 받은 받았습니다. 이에 따라 연구자는 모든 문장을 종결 어미와 서술어를 기준으로 전수 분류하였습니다. 객관적인 관측 사실만을 보고하는 ‘OOO로 나타났다’의 형식을 가지는 31개의 문장은 결과 챕터에 그대로 존치하기로 결정하였습니다. 하지만, 연구자의 주관적인 해석과 추론이 개입된 ‘OOO를 시사한다’의 모양을 가지는 14개의 문장을 논의 챕터로 이동시켰습니다. 논의 챕터로 옮겨진 문장들은 선행연구와의 비교, 그리고 이론과 결합시켜 다시 구성하였습니다. 본 사례는 교육학 석사학위논문 컨설티의 사례를 바탕으로 구성한 가상의 시나리오입니다. |
자주 묻는 질문 (FAQ)
Q. IMRaD 구조는 무엇의 약칭인가요?
A. 서론(Introduction), 연구의 방법(Methods), 연구의 결과(Results), 논의(Discussion)를 나타내는 영문 머리글자를 조합한 약칭입니다. 가운데 소문자 ‘a’는 접속사 ‘and’를 의미합니다. 네 개의 챕터는 각각 ‘왜 이 연구를 수행했는가(Why)’, ‘어떻게 수행했는가(How)’, ‘무엇을 발견했는가(What)’, ‘그것이 무엇을 뜻하는가(So what)’라는 질문을 나타냅니다.
Q. 학위논문에서도 전통적인 IMRaD 구조를 그대로 적용해야 하나요?
A. 기계적으로 동일하게 적용할 필요는 없습니다. 국내외 학위논문과 여러 학술 분야에서는 ‘이론적 배경(문헌고찰)’과 ‘결론’을 독립된 챕터로 분리하는 구성으로 접근하고 있습니다. 특히, 상위 학술지 433편을 분석한 연구(Lin & Evans, 2012)의 결과에서도 5개의 챕터로 이루어진 구성이 가장 지배적인 형식인 것으로 확인되었습니다.
Q. 결과 챕터에서는 연구자의 해석적인 진술을 포함할 수 없나요?
A. 결과 챕터에서는 통계량과 값, 테이블에 기술된 내용을 무미건조하게 서술해야 합니다. 선행연구와의 비교, 관측된 결과가 나타난 메커니즘이나 원인에 대한 추론, 이론적, 실무적인 함의의 해석, 해석적인 지술은 결과 챕터가 아닌 논의에서 다루어야 하는 고유한 영역입니다.
Q. 연구방법론 챕터에서 가장 흔하게 누락하는 내용은 무엇인가요?
A. 표본의 크기에 대한 근거와 결측값(missing data)의 처리 방침입니다. 미국심리학회(APA)가 발표한 기준에 따르면, 이 두 항목의 기술을 필수로 규정하고 있습니다. 만약 이를 누락한다면 연구의 재현 가능성(replicability)과 절차적인 엄밀성에 대한 결함으로 지적을 받게 됩니다.
Q. 논의 챕터에서는 어떠한 순서로 전개해야 하나요?
A. Docherty & Smith(1999)는 연구결과를 하나의 문장으로 요약하고, 연구의 강점과 방법론적인 한계를 균형있게 서술하며, 선행연구와의 비교, 학술적, 실무적인 의미의 제시, 그리고 마지막으로 후속 연구를 위한 미해결 과제의 서술이라는 5단계 순서를 제시하였습니다. 특히 연구의 성과(강점)와 한계점(약점)를 동등한 비중으로 다루면서 객관성을 드러내는 것이 중요합니다.
- Docherty, M. & Smith, R. (1999). The case for structuring the discussion of scientific papers. BMJ, 318(1224). https://doi.org/10.1136/bmj.318.7193.1224
Q. 결론이 실제로 나타난 결과보다 과장되어 작성되었는지는를 어떻게 검증할 수 있나요?
A. 무작위 대조시험으로 접근한 Boutron et al.(2010)의 연구에 따르면, 왜곡된 서술(spin)의 발생 비율은 결과 챕터에서 29.2%, 논의 챕터에서 43.1%, 그리고 결론에서는 50.0%로 나타났는데, 이는 논문에서의 후반부로 갈수록 증가하는 패턴을 보여줍니다. 통계적으로 유의하지 않거나 매우 보수적으로 해석해야 하는 연구의 결과가 초록이나 결론 장에 이르러서는 긍정적이거나 단정적인 서술로 둔갑하지 않았는지를 각 챕터에서의 서술 강도를 대조하면서 확인해야 합니다.
결론
논문의 완성도는 IMRaD 또는 5개의 챕터로 구성되는 체계가 요구하는 고유한 기능과 질문을 올바른 영역에서 문장 단위로 배치하는 데서 이루어집니다. 역사적으로도 학술 서술을 위한 규범은 각 챕터마다 다루어야 하는 지식의 성격을 통제하고 있습니다. 서론에서의 문제 제기, 연구방법 챕터에서의 절차적인 재현성, 결과 챕터의 객관적인 사실, 그리고 논의 챕터에서 이루어져야 하는 해석이 다른 영역으로 침투하는 순간 연구의 신뢰성과 완성도는 훼손될 수 밖에 없습니다.
특히 결과와 논의 챕터에서는 서술을 왜곡하는 스핀(spin)의 유혹을 차단해야 합니다. 결과 챕터에서는 관측한 통계량만을 객관적으로 서술해야 하고, 방법론 챕터에서는 표본 크기의 산출 근거를 투명하게 소명해야 합니다. 이와 함께, 논의 챕터에서는 연구의 강점과 약점을 대등하게 다루어야 합니다.
