논문작성 팁

논문을 이루는 여러 챕터 중에서 논의(discussion)는 백지에서 시작하는 챕터가 아닙니다. 여섯 개의 물음에 차례로 답을 하면 완성이 되는 챕터입니다. 핵심적인 연구 결과는 무엇인가, 이 연구의 강점과 약점은 무엇인가, 선행연구와는 어떻게 다른가, 이 연구결과는 왜 나왔는가, 누구에게 무엇을 의미하는가, 그리고 무엇이 남았는가. 이 여섯 개 서랍의 구조는 BMJ의 제안에서 나왔습니다.

이 글의 순서 6개 항목

1. 논문을 쓸 때에 왜 논의를 쓰기가 가장 어려운가?
2. 여섯 개의 서랍에는 각각 무엇을 담아야 하는가?
3. 서랍을 채울 때 무엇을 조심해야 하는가?
4. 논의를 작성하기 위한 다섯 단계는 무엇인가?
5. 자주 묻는 질문 (FAQ)
6. 결론

1999년 5월, 세계적인 의학저널 BMJ에 한 편의 기고글이 실렸습니다. 글쓴이는 BMJ의 편집장인 Richard Smith와 류마티스학 교수 Michael Docherty입니다. 두 사람은 뜻밖의 고백으로 글을 쓰기 시작했습니다. 논문을 쓸 때에 가장 쓰기가 어려운 챕터는 바로 논의(discussion)라는 고백이었습니다. 이상하게도 논의를 작성할 때 즈음이면 신중하던 설명이 자기주장으로 바뀐다는 것입니다. 두 사람은 이를 해결하기 위한 처방도 함께 내놓았습니다. 초록을 이루는 표준적인 구조(예., 연구의 목적, 연구의 방법, 연구의 결과)가 있듯이, 논의에도 정해진 구조를 만들자는 제안이었습니다. 3년 뒤에는 또 다른 의학지 Lancet의 편집장인 Richard Horton이 한 걸음 더 나아갔습니다. BMJ의 두 사람은 논의가 문제라고 의심만 하였는데, 그 의심이 사실인지를 직접 조사한 것입니다. 논문 10편의 저자 54명에게 자신의 연구에서 드러나는 약점을 직접 물어본 것입니다. 저자들은 질문을 받자 자신의 약점을 술술 인정하기 시작하였습니다. 그런데 그 논문들을 펼쳐 보니, 답장에 적혀 있던 약점들이 논의 어디에도 서술되어 있지 않았습니다. 저자들은 약점을 알고 있으면서도 논문에는 쓰지 않은 것입니다. 세계에서 손꼽히는 두 의학지의 편집장이 같은 문제를 지적한 셈입니다. 오늘은 논의를 잘 쓰는 방법, 여섯 개의 서랍을 소개합니다.

• Docherty, M., & Smith, R. (1999). The case for structuring the discussion of scientific papers. BMJ, 318(7193), 1224–1225. https://doi.org/10.1136/bmj.318.7193.1224

논문을 쓸 때에 왜 논의를 쓰기가 가장 어려운가?

논의를 작성하기가 어려운 이유는 크게 두 가지에 있습니다.

첫째, 논의는 논문에서 유일하게 정해진 프레임이 없는 챕터입니다. 하지만 서론에서는 표준 모형이 있습니다. 연구의 방법과 연구의 결과에는 보고 양식이 있습니다. 초록에는 연구의 목적-방법-결과라는 표준이 있습니다. 그런데 논의만큼은 오랫동안 저자의 재량에 맡겨져 왔습니다. 그래서 무엇부터 써야 할지가 막막합니다.

둘째, 논의는 유혹을 많이 받는 챕터입니다. Horton(2002)의 연구가 그 유혹의 실체를 확인하였습니다. 그는 Lancet에 실린 10편의 논문을 선택한 뒤에, 54명의 저자에게 연구의 강점과 약점을 묻는 여섯 개의 질문을 보냈습니다. 36명의 저자가 답장을 보냈는데, 답장 속의 저자들은 자신의 연구에서 중요한 약점들을 인정하고 있었습니다. 그런데 그 약점들은 이미 출판된 자신의 논문 속에서의 논의에는 빠져 있었습니다. Horton(2002)는 이 현상을 ‘숨겨진 논문(the hidden research paper)’이라고 설명하였습니다. 논의에 정해진 순서가 없으면 어떤 일이 생길까요..? 저자는 자기도 모르게 자신의 연구를 변호하는 글을 쓰게 됩니다. 예컨데, 자신에게 유리한 해석은 길게 쓰고, 불리한 약점은 쓰지 않는 것입니다. Horton(2002)의 조사에서 연구의 약점이 사라진 이유도 여기에 있습니다. 이 글에서 소개해 드리는 여섯 개의 서랍은 바로 이 문제를 예방하는 도구입니다. 무엇을 어떤 순서로 작성해야 할 지가 미리 정해져 있다면, 약점을 밝히는 자리도 미리 마련되어 있기 때문입니다.

• Horton, R. (2002). The hidden research paper. JAMA, 287(21), 2775–2778. https://doi.org/10.1001/jama.287.21.2775

여섯 개의 서랍에는 각각 무엇을 담아야 하는가?

BMJ의 사설은 논의에서 작성해야 하는 다섯 개의 항목을 제안하였습니다. 이 글에서는 그 중에서 네 번째 항목인 연구의 의미를 ‘연구의 의미’와 ‘연구의 시사점’으로 나누어 모두 여섯 개의 서랍으로 정리하겠습니다. 서랍마다 문단 하나씩을 배정하면 논의의 구성을 이루는 프레임워크가 자연스럽게 완성됩니다.

첫 번째 서랍은 연구결과로부터 관찰된 가장 핵심이 되는 결과의 진술입니다. 서론에서 제기한 연구문제에 대한 답을 한두 문장으로 서술해서 반응해야 합니다. 예를 들어서, “본 연구의 결과에서는 야간 전담 요양보호사가 인식하는 감정노동의 수준이 주간 인력의 인식 수준보다 높은 것으로 나타났다”의 문장 형태로 작성합니다. 한편, 논의에서는 통계분석 결과로부터 나타난 값을 다시 적어서는 안됩니다.

두 번째 서랍은 이 연구에서의 강점과 약점을 드러내는 서술입니다. 이 연구가 무엇을 잘 했고, 또는 무엇이 부족한지를 스스로 밝히는 대목입니다. 약점을 작성할 때에는 “다만 OOO으로 그 영향을 줄이고자 하였다”라는 대응을 함께 서술합니다.

세 번째 서랍은 선행연구와의 비교입니다. 나의 연구 결과가 기존 연구와는 어디에서 유사하고 어디에서 그 패턴이 서로 다른지를 작성합니다. 만약 선행연구에서 관찰되는 결과와 서로 다른 패턴이 관찰되었다면 그 원인을 어렴풋하게라도 짐작해서 밝히는 것이 좋습니다.

네 번째 서랍은 연구의 결과가 가지는 의미입니다. 도대체 왜 이런 결과를 얻었는지를 설명하는 자리입니다. “이 차이는 OOO때문으로 해석할 수 있다”의 문장이 사용할 수 있는 전형적인 프레임입니다.

다섯 번째 서랍은 시사점입니다. 이 결과가 누구에게 무엇을 뜻하는지, 무엇을 제공할 수 있는지, 내 연구의 결과를 통해 누가 어떠한 이익을 얻을 수 있을지를 작성합니다. 관련 영역의 실무자와 정책 담당자, 후속 연구자를 그 대상으로 삼는 것이 가장 일반적인 패턴입니다.

여섯째 서랍은 아직도 풀리지 않은 연구문제와 이를 해결하기 위한 후속 연구의 방향입니다. 이 연구가 답하지 못한 물음을 적고, 다음 연구의 방향을 제안하며 챕터를 마무리합니다.

서랍을 채울 때 무엇을 조심해야 하는가?

논의에서 과장은 금물입니다. 연구자들은 이 과장에 스핀(spin)이라는 이름을 붙였습니다. 결과가 좋지 않을 때 말을 비틀어서 좋아 보이게 만드는 기술이라는 뜻입니다. 이 스핀이 얼마나 흔하게 사용하는지를 조사한 연구의 사례가 있습니다. Boutron et al.(2010)은 연구의 주요 결과가 유의하지 않게 나타난 72편의 임상시험 논문을 탐색하였습니다. 그리고 논문의 챕터마다 스핀이 관찰되는지를 평가하였는데, 결과는 매우 놀라웠습니다. 논의에서 스핀이 발견된 논문이 전체의 43.1%로 나타났습니다. 그리고 결론에서는 전체 논문 중에서 50.0%가 스핀을 사용하는 것으로 나타났습니다. 유의하지 않은 연구결과를 얻고도, 논문의 두 편 중에서 한 편은 마치 효과가 관찰된 것처럼 작성한 것입니다.

하지만 6개로 이루어진 서랍의 구조가 모든 문제를 해결하지는 않습니다. Skelton & Edwards(2000)는 BMJ에 게재된 논문들에서 논의를 조사하였습니다. 연구진은 잘 쓰인 논의들은 이미 BMJ이 원하는 구성과 유사한 순서를 밟고 있었습니다. 그리고 결과를 넘어서는 과대한 해석을 하지 않는 것으로 나타났습니다. 한편, 해석이 없는 논의는 결과의 반복입니다. 종합한다면, 해석은 하되, 결과가 감당할 수 있는 만큼만 해야 합니다.

• Boutron, I., Dutton, S., Ravaud, P., & Altman, D. G. (2010). Reporting and interpretation of randomized controlled trials with statistically nonsignificant results for primary outcomes. JAMA, 303(20), 2058–2064. https://doi.org/10.1001/jama.2010.651

• Skelton, J. R., & Edwards, S. J. L. (2000). The function of the discussion section in academic medical writing. BMJ, 320(7244), 1269–1270. https://doi.org/10.1136/bmj.320.7244.1269

논의를 작성하기 위한 다섯 단계는 무엇인가?

여섯 개의 서랍을 다섯 단계로 바꾸면 다음과 같습니다.

• 첫째, 연구의 결과 챕터에서 연구문제에 대한 답을 찾습니다. 그 답을 두 문장으로 요약해서 적습니다. 이 두 문장이 첫 번째 서랍이 되고, 논의 챕터에서 처음에 등장해야 하는 문단이 됩니다.
• 둘째, 백지에 여섯 개 서랍의 이름을 차례대로 적습니다. 연구의 핵심적인 결과, 강점과 약점, 선행연구와의 비교, 연구결과의 의미, 시사점, 그리고 후속연구의 순서입니다. 문단의 첫 머리에 6개 서랍의 이름으로 시작해도 좋습니다.
• 셋째, 각 서랍마다 두세 문장 분량의 문장을 서술합니다. 물론 한꺼번에 작성할 필요는 전혀 없고, 작성하기가 가장 쉬운 서랍부터 서술합니다. 서랍의 순서는 가장 마지막에 정렬시키면 됩니다.
• 넷째, 연구의 약점을 별도로 체크합니다. 심사위원이 공격할 만한 두어 개의 약점을 연구자 스스로 먼저 작성합니다. 만약 저자가 자신의 약점을 찾을 수 없다면, 심사위원이 약점을 발견하는 순간 논문 전체의 신뢰가 낮아지게 됩니다.
• 다섯째, 과장의 표현이 등장하는지를 체크합니다. 유의하지 않은 연구결과를 마치 효과가 있는 것처럼 부풀려서 해석하는 문장이 서술되어 있는지를 꼼꼼하게 살펴봅니다. 만약 연구의 결과 챕터에 없는 주장이 논의에서 다루어지고 있다면 삭제해야 합니다.

가상 사례: 유아교육학 석사과정생인 A씨가 논의를 작성하고 있었습니다. 논문의 초안을 살펴본 지도교수의 지적사항은 크게 세 가지였습니다. 연구의 결과에서 이미 작성한 수치가 논의에서도 반복적으로 서술되고 있는 것, 선행연구의 연구결과와 비교점을 서술하지 않았다는 것, 그리고 연구결과에 있지도 않았던 결과를 갑자기 해석한다는 것이었습니다. 연구자는 여섯 개 서랍의 이름을 백지에 적고 초안을 서랍별로 분류하였습니다. 초안에는 통계분석 값을 그대로 옮겨 적은 문장이 8개나 있었습니다. A씨는 이 문장을 모두 삭제했습니다. 그 대신 연구문제에 대한 답을 두 문장으로 서술하였습니다. 따라서 이 두 문장이 첫 번째 서랍인 연구의 핵심적인 결과로 나타낼 수 있었습니다. 비어 있던 세 번째 서랍에는 3편의 선행연구 결과와의 비교점을 서술하였습니다. 연구결과와는 관련성이 전혀 없는 제언은 삭제하고, 결과 챕터에서 작성한 2개의 시사점으로 바꾸었습니다. 심사위원이 공격할 만한 2개의 약점도 미리 문장으로 만들었습니다. 표본 추출이 특정한 지역에서면 집중되었다는 점과 자기보고식 설문방식의 단점을 연구의 한계로 지적하였습니다. 그리고 각 약점에 이를 해결할 수 있는 대안을 서술하였습니다. 지금까지의 과정을 거친 후에 A씨는 논의를 총 여섯 문단으로 구성하였습니다 이 사례는 프라임 컨설팅이 경험한 실제 상황을 참고하여 재구성한 가상의 시나리오입니다.

자주 묻는 질문 (FAQ)

Q. 논의 vs. 연구의 결과 차이는 무엇인가요?

A. 연구의 결과는 무엇이 관찰되었는지를 리포팅하는 챕터입니다. 반면에 논의는 관찰된 그것이 무엇을 뜻하는지를 해석하는 챕터입니다. 연구의 결과에서는 통계분석을 통해 얻은 값과 사실 만을 서술합니다. 그 값이 왜 얻어졌고 어디에 쓰이는지는 논의에서 다룹니다.

Q. 논의 vs. 결론의 차이는 무엇인가요?

A. 논의는 여섯 개의 서랍을 모두 오픈하고 문단을 이어주는 챕터입니다. 반면에 결론은 독자가 기억해야 할만한 가치가 있는 사실과 그 쓰임새를 서술하는 곳입니다. 하지만 학위논문이나 학술지가 요구하는 템플릿에 따라 논의와 결론을 하나의 챕터로 결합시키기도 합니다(예., 논의 및 결론). 만약 ‘논의 및 결론’으로 챕터를 설계한다면 논의에서 서술한 마지막 문단이 결론의 역할을 맡게 됩니다.

Q. 논의에서 연구의 결과를 다시 요약해서 서술해도 되나요?

A. 요약은 하되 통계수치를 반복하는 것만은 피해야 합니다. “본 연구가 예상한 바와 같이, 연구가설 1은 통계적 유의수준에서 지지된 것으로 나타났다(p=.023<0.05)”를 반복하는 것이 아니라, “연구대상자가 인식하는 직무 스트레스의 수준은 이직 의도에 정(+)의 영향을 미치는 것으로 나타났다”와 같이 통계적 수치를 제거하고 서술합니다.

Q. 연구의 한계는 어디까지 써야 하나요?

A. 심사위원이 공격할 만한 약점으로 보여지는 부분을 먼저 작성하는 것이 원칙입니다. 연구의 한계를 먼저 밝히고, 이 한계를 극복하기 위한 대응 방안과 추후 연구방향을 함께 서술하는 것이 바람직합니다.

Q.통계적으로 유의하지 않은 결과를 어떻게 논의해야 하나요?

A. 연구의 결과로부터 관찰된 사실 그대로 서술해야 합니다. 마치 효과가 관찰된 것처럼 스핀을 먹이면(?) 안됩니다. 유의하지 않은 것으로 나타난 사실을 먼저 밝히고, 표본의 크기나 측정의 방식 등에 관한 방법론적인 이유를 작성한 후에 후속 연구의 과제로 남기면 됩니다.

Q. 석사 & 박사학위 논문에서의 논의도 이 구조로 쓸 수 있나요?

A. 물론입니다, 같은 구조로 쓸 수 있습니다. 국내 학위논문의 목차인 논의와 결론 및 제언은 여섯 서랍의 구조와 서로 일치합니다. 첫 번째 서랍부터 네 번째 서랍이 논의 챕터를 담당하고, 다섯 번째와 여섯 번째의 서랍이 결론 및 제언을 구성합니다.

결론

서두에서 소개해 드린 두 편집장의 이야기를 다시 꺼내 보겠습니다. Smith는 논의가 논문의 챕터 중에서 가장 약한 부분이라고 고백하였습니다. 그리고 Horton은 저자들이 이미 알고 있는 본인들 연구에서 드러나는 약점이 논문에서는 사라진다는 점을 확인하였습니다. 만약 논의에서 논리적인 구조를 찾을 수 없다면, 그곳에 자기의 변호를 위한 문장을 채운다는 것입니다. 이 글에서 소개해 드린 여섯 개의 서랍은 연구문제에 대한 답을 표시하고, 약점을 밝히며, 비교하고, 설명하고, 쓰임을 짚고, 다음을 제안하는 순서입니다.