가짜 ‘연구의 한계’ vs. 진짜 ‘연구의 한계’: 논문에서 올바른 ‘연구의 한계점’ 작성 방법

연구의 한계점은 애초에 계획에도 없었던 방법론을 나열하는 요식행위가 아니라, 연구가설 기각이나 예상과 다른 분석 결과의 원인을 연구자 스스로 진단하고 학술적인 타당성을 방어하는 핵심적인 장치입니다.

이 글의 순서 6개 항목

1. ‘연구의 한계’는 얼마나 형식적으로 굳어져 있는가?
2. ‘가짜 한계’ vs. ‘진짜 한계’의 본질적인 차이는 무엇인가?
3. 기각된 연구가설의 원인을 어떻게 체계적으로 진단하는가?
4. ‘진짜 한계점’을 완성하는 5단계 절차
5. 자주 묻는 질문 (FAQ)
6. 결론

우리나라의 석사학위 논문, 박사학위 논문, 또는 KCI급 등재 학술지를 가리지 않고 결론의 챕터에는 거의 관행처럼 반복되는 전형적인 문장이 있습니다.

“본 연구는 양적 연구방법만을 수행하였다는 점이 한계로 지적될 수 있다, 따라서 후속 연구에서는 질적 연구를 병행할 필요가 있다.”

그러나 이러한 문장을 작성한 연구자 대다수는 연구 설계 초기부터 질적 연구를 수행할 의도나 계획을 전혀 갖고 있지 않았던 경우가 많습니다. 애초에 고려 대상이 아니었던 방법론을 실행하지 않았다고 적어 두고, 이를 연구의 한계점으로 포장하는 셈입니다.

이러한 형식주의적 관행은 국내 연구만의 문제가 아닙니다. Ioannidis(2007)가 세계 최상위 피인용 학술지에 게재된 의학과 보건학 논문 400편을 전수 조사한 결과, 한계를 언급하는 어휘를 단 한 번이라도 사용한 논문은 17%(67편)에 불과했으며, 도출된 한계점이 최종 결론 해석에 영향을 미쳤음을 명시한 논문은 단 한 편도 없었습니다. 즉, 연구의 한계점을 담고있는 절(clause)은 엄밀한 자기 진단의 역할을 상실한 채, 논문에서 가장 박제된 형식으로 전락했습니다. 본 글에서는 이러한 형식적인 접근을 지양하고, 연구의 한계점이 지녀야 할 본래의 학술적인 원리와 실무적인 작성 방법을 체계적으로 다룹니다.

• Ioannidis, J. P. A. (2007). Limitations are not properly acknowledged in the scientific literature. Journal of Clinical Epidemiology, 60(4), 324–329. https://doi.org/10.1016/j.jclinepi.2006.09.011

‘연구의 한계’는 얼마나 형식적으로 굳어져 있는가?

학계에서 연구의 한계가 얼마나 상투적으로 처리되고 있는지를 실증적으로 확인한 대표적인 문헌 조사가 있습니다.

첫째, Ioannidis(2007)는 피인용 지수가 최상위인 학술지 6종과 신생 오픈액세스 학술지 2종에 게재된 논문 400편을 분석했습니다. 조사 결과, 본문 내에서 한계를 나타내는 용어를 단 한 번이라도 기술한 논문은 전체의 17%(67편)에 그쳤고, 초록(abstract)에서 한계를 언급한 논문은 1%에 불과했습니다. 더욱 심각한 점은 분석된 상위 25개 학술지의 투고 규정 중에서 저자에게 한계점을 기술하도록 공식적으로 요구하거나 권장한 학술지가 단 1곳뿐이었다는 사실입니다.

둘째, ter Riet et al.(2013)은 생물의학 분야 30개 학술지에 수록된 논문 300편을 대상으로 한계 서술의 양상을 조사했습니다. 그 결과, 분석 대상 논문의 27%는 한계점을 일절 언급하지 않았으며, 한계를 기술한 논문들조차 ‘단일 기관 데이터’, ‘자기보고식 설문’, ‘작은 표본 크기’와 같은 정형화된 문구를 기계적으로 반복하는 경향을 보였습니다. 이는 한계점을 서술하는 것이 해당 연구가 가지는 고유의 취약점을 정밀하게 진단하기보다는, 어떤 논문에 붙여 넣어도 무방한 매우 상투적인 요식행위로 취급되고 있음을 명확히 보여줍니다.

• ter Riet, G., Chesley, P., Gross, A. G., et al. (2013). All that glitters isn’t gold: A survey on acknowledgment of limitations in biomedical studies. PLOS ONE, 8(11), e73623. https://doi.org/10.1371/journal.pone.0073623

‘가짜 한계’ vs. ‘진짜 한계’의 본질적인 차이는 무엇인가?

가짜 한계와 진짜 한계를 구별하는 단 하나의 기준은 ‘그 한계가 실증 분석 결과를 실질적으로 설명해 내는가’입니다.

가짜 한계는 연구의 최종 결과와 아무런 논리적인 인과관계를 맺지 못합니다. 앞서 제시한 “양적 연구만 수행했기 때문에 애초에 본 연구의 계획에는 없었던 질적 연구를 추후 연구에서 병행해야 한다”라 서술이 대표적입니다. 특정한 방법론을 채택한 것은 연구문제에 대응하기 위한 연구자의 의도적인 선택이지, 연구 설계의 결함이나 오류가 아닙니다. 이러한 문장은 연구가설이 채택되었든 또는 기각되었든간에 상관없이 기계적으로 삽입될 수 있으므로, 결과의 타당성을 설명하지 못하는 무의미한 서술에 불과합니다.

반면, 진짜 연구의 한계는 반드시 분석 결과로부터, 특히 기대와 다르게 도출된 결과나 기각된 가설에서 출발합니다. 연구가설이 통계적 유의수준에서 채택되지 않았을 때 연구자가 던져야 할 핵심 질문은 명확합니다.

“연구 설계와 수행 과정에서 무엇을 통제하지 못했거나, 또는 어떠한 측정상의 제약이 있었기에 가설이 유의하게 지지되지 않았는가?”

표본이 특정한 집단에 편중되었는지, 측정도구가 구성개념의 타당도를 온전히 확보하지 못했는지, 혹은 자료 수집 시점의 외생적인 요인이 개입했는지를 면밀하게 규명하고 그에 따른 학술적 이유를 밝히는 것이 진짜 한계의 본질입니다.

Ross & Zaidi(2019) 역시 한계점 서술이 상투적인 문구로 변질되는 문제를 경고하였습니다. 그리고 올바른 한계 서술은 반드시 다음의 세 요소를 갖추어야 한다고 강조했습니다.

1. 원인 (Limitation): 연구 설계 및 데이터 수집 과정에서 발생한 구체적인 제약이 무엇인가?
2. 영향 (Impact): 그 제약이 분석 결과(예., 연구가설 기각, 계수 축소 등)에 어떠한 통계적인 왜곡을 미쳤는가?
3. 대응 (Mitigation): 연구자는 그 부정적인 영향을 완화하기 위해 본 연구 내에서 어떠한 추가 조치를 취했는가?

• Ross, P. T., & Bibler Zaidi, N. L. (2019). Limited by our limitations. Perspectives on Medical Education, 8(4), 261–264. https://doi.org/10.1007/s40037-019-00530-x

기각된 연구가설의 원인을 어떻게 체계적으로 진단하는가?

기각된 가설이나 유의하지 않은 것으로 나타난 연구결과의 원인을 규명할 때는 다음의 4대 영역을 순서대로 점검해야 합니다.

• 표본의 한계: 표본의 크기가 작아 통계적 검정력(statistical power)이 부족했는지를 확인합니다. 아울러, 표본이 특정한 연령대나 단일 직군에 편중되어 변수의 분산이 제한되었는지 점검해야 합니다. 변수의 변량이 지나치게 좁으면 실제 모집단에 존재하는 상관관계나 회귀관계도 통계적으로 유의하지 않게 추정될 수 있습니다.
• 측정의 한계: 설문 문항의 신뢰도 계수(Cronbach’s alpha)가 기준치 미만으로 낮았는지, 혹은 단일 응답자에게서 독립변수와 종속변수를 동시에 측정하여 동일방법편의(common method bias)가 개입되었는지를 살핍니다.
• 절차 및 외생변수(exogenous variable)의 한계: 자료를 수집한 시점과 환경이 특수하여 응답 왜곡을 야기했는지를 점검합니다. (예., 감염병 확산 시기, 조직 개편 직후, 계절적 성수기 등)
• 분석 모형의 한계: 종속변수에 강력한 영향을 미치는 필수적인 외생변수가 통제변수에서 누락되어 내생성(endogeneity) 문제가 발생하였는지를 검토합니다.

통계적으로 유의하지 않은 결과를 해석하는 원칙에 대해 Hewitt et al(2008)은 “유의확률(p-value)이 기준을 충족하지 못했다는 사실이 곧 ‘효과가 전혀 존재하지 않음’을 증명하는 것은 아니다”라고 지적하며, 신뢰구간의 폭과 검정력을 종합적으로 해석할 것을 권장했습니다. 또한 Puhan et al.(2012)은 연구자가 논문에서 한계점을 먼저 솔직하게 밝히지 않으면, 심사위원과 독자는 연구자가 방법론적인 결함을 전혀 인지하지 못했다고 간주하게 된다고 강조했습니다. 즉, 연구자가 자신의 한계를 선제적으로 규명하는 것은 결함을 드러내는 행위가 아니라, 오히려 연구 방법론에 대한 높은 전문성과 학문적인 진실성을 입증하는 가장 강력한 방어 전략이 됩니다.

• Hewitt, C. E., Mitchell, N., & Torgerson, D. J. (2008). Listen to the data when results are not significant. BMJ, 336(7634), 23–25. https://doi.org/10.1136/bmj.39379.359560.AD
• Puhan, M. A., Akl, E. A., Bryant, D., Xie, F., Apolone, G., & ter Riet, G. (2012). Discussing study limitations in reports of biomedical studies—the need for more transparency. Health and Quality of Life Outcomes, 10, 23. https://doi.org/10.1186/1477-7525-10-23

‘진짜 한계점’을 완성하는 5단계 절차

논문의 학술적인 신뢰도를 극대화하는 연구의 한계점을 작성하기 위한 5단계 절차는 다음과 같습니다.

1. 예상과 다른 실증 결과 목록화: 연구결과 챕터에서 기각된 연구 가설, 당초 가설과는 반대 방향으로 계산된 회귀계수, 통계적으로 유의하지 않게 나타난 경로를 빠짐없이 분석합니다.
2. 4대 영역(표본-측정-절차-분석) 기반의 원인 추적: 도출된 결과별로 방법론적인 결함 요인을 추적합니다. 원인이 명확히 떠오르지 않을 경우, 심사위원의 비판적인 시각에서 본 연구의 연구방법론 챕터를 역으로 재검토합니다.
3. 데이터 기반의 객관적인 근거 선별: 연구자의 막연한 추측이나 변명을 배제하고, 신뢰도 값, 인구통계학적 구성비율, 표본 분산, 자료 수집 기간 등 논문 내에서 제시된 객관적인 통계 수치로 입증이 가능한 원인만을 선별합니다.
4. ‘원인 → 영향 → 대응’ 구조의 완전한 문장 작성: 선별된 원인을 바탕으로 3요소가 결합된 정형화된 학술 문장을 작성합니다. [작성 예시] “본 연구의 표본은 20대 대학생에 78.4%가 편중되어 있어(원인), 연령 증가에 따른 조절효과를 통계적으로 검출하는 데 필요한 변수 분산이 제한되었을 가능성이 있다(영향). 본 연구에서는 이러한 왜곡을 최소화하기 위해 분석 단계에서 연령을 통제변수로 투입하여 잠재적 편향을 완화하고자 하였다(대응).”
5. 원인 제거형 후속 연구 제언 연계: 자신이 진단한 구체적인 방법론적인 원인을 역으로 극복할 수 있는 설계를 후속 연구로 제안합니다. 예를 들어서, 만약 연령의 편중이 원인이었다면 ‘다양한 생애주기 코호트를 포괄하는 표집 설계’를 제언해야 하며, 본문과는 전혀 무관한 일반론적인 제언을 전면적으로 배제합니다.

가상 사례: 관광학 석사학위논문의 한계점 전면 재작성 과정 관광학을 전공하는 석사학위 과정의 연구자 A씨는 여행 동기와 재방문 의도 간의 관계에서 ‘연령의 조절효과’를 검증하기 위한 연구모형을 설계하였습니다. 그러나 통계분석을 수행한 결과, 그 연구가설은 유의수준에서 기각된 것으로 나타났습니다. 당초 연구자가 작성하였던 한계점을 기술한 문장은 “본 연구는 질적 연구를 수행하지 못하였다. 이에 따라 후속 연구에서는 심층 인터뷰를 병행할 필요가 있다”는 상투적인 내용이었습니다. 이에 관하여 지도교수는 “이 서술이 기각된 연령 조절효과의 연구가설과 어떠한 논리적인 관계를 갖는가?”라는 비판적인 질문을 던졌습니다. 연구자는 4대 진단 원칙에 따라 수집된 데이터를 전면적으로 다시 점검하였습니다. 그 결과, 전체 표본의 78%가 20대에 집중되어 있어 연령 변수의 표본 분산이 극도로 제한되어 있었다는 점을 관찰할 수 있었습니다. 그리고 설문조사가 특정한 여름 휴가철 한 달 동안 특정한 관광지 현장에서만 이루어졌다는 사실을 확인했습니다. 조절변수의 분산이 지나치게 좁으면 모집단에 존재하는 실제의 상호작용 효과도 통계적으로 유의하지 않게 나타나기 마련입니다. 연구자는 한계점의 서술을 전면적으로 수정하였습니다. 표본의 연령 편중 및 특정한 계절 자료 수집이라는 ‘원인’, 이것이 연령 조절효과의 통계적인 검정력을 약화시켰을 가능성이라는 ‘영향’, 그리고 통계분석을 수행하는 과정에서 연령대를 더미변수화하여 사후 검증을 병행했다는 ‘대응’을 체계적으로 기술하였습니다. 아울러 후속 연구 제언 역시 ‘사계절에 걸친 비수기 표집’ 및 ‘중장년층을 포괄하는 전 연령대를 대상으로 하는 층화표집에 의한 설계’로 전환하였습니다. 그 결과, 본심사에서 연구의 한계를 다루는 문장에 관한 심사위원들의 비판은 전혀 제기되지 않았습니다. (본 사례는 실무현장을 경험한 사례를 바탕으로 재구성한 가상의 시나리오입니다.

자주 묻는 질문 (FAQ)

Q. 연구의 한계점에는 본질적으로 어떤 내용을 작성해야 합니까?

A. 최종 분석 결과의 타당성과 일반화 가능성에 부정적인 영향을 미쳤을 가능성이 있는 방법론적인 취약점을 기술해야 합니다. 표본의 대표성, 측정도구의 타당도, 자료 수집 환경, 통제변수의 한계 등에서 관찰된 객관적인 사실이 서술 대상입니다. 그러나 당초 계획에 없던 방법론을 수행하지 않았다는 ‘변명’은 한계에 해당하지 않습니다.

Q. 모든 연구 가설이 유의수준에서 채택된 경우에도 한계점을 작성해야 합니까?

A. 반드시 작성해야 합니다. 연구가설이 모두 채택되었더라도 연구의 결과가 다른 산업군, 다른 문화권, 혹은 다른 인구통계학적인 환경에서도 동일하게 일반화될 수 있는지를 제약하는 방법론적 조건(예., 표본의 특성, 횡단적 자료 수집의 한계 등)을 엄밀히 규명해야 합니다.

Q. 양적 연구에서 “질적 연구를 병행하지 못한 점이 한계”라고 쓰는 것이 왜 부적절합니까?

A. 그 문장이 연구의 분석 결과를 전혀 설명하지 못하기 때문입니다. 방법론의 선택은 연구 목적에 따른 합리적인 설계의 결과이지 연구의 결함이 아닙니다. 어떤 분석 결과가 나왔더라도 똑같이 적을 수 있는 문장은 논문의 고유한 한계가 아니라 무의미한 요식행위에 불과합니다.

Q. 연구의 한계를 지나치게 솔직하게 기술하면 심사에서 불리하게 작용하지 않습니까?

A. 오히려 정반대입니다. 연구자가 스스로 한계를 명시하지 않으면, 심사위원단은 연구자가 해당 연구의 방법론적인 결함조차 파악하지 못할 만큼 연구 역량이 부족하다고 판단합니다. 연구자가 먼저 명시한 한계는 학술적인 방어의 대상이 되지만, 심사위원이 뒤늦게 지적한 한계는 연구의 신뢰성을 무너뜨리는 공격의 빌미가 됩니다.

Q. 연구의 한계와 후속 연구 제언은 어떻게 유기적으로 연결해야 합니까?

A. 하나의 한계점 진단에 하나의 후속 연구 제언을 1:1로 대응시키는 것이 원칙입니다. 본 연구에서 진단한 방법론적 원인을 제거하거나 통제할 수 있는 구체적인 연구 설계를 제시해야 합니다. 예를 들어 단일 시점의 횡단연구가 한계였다면, 종단적(longitudinal) 패널 설계를 후속 연구로 제안하는 방식입니다.

Q. 연구의 한계점은 일반적으로 몇 개 항목 정도로 구성하는 것이 가장 바람직합니까?

A. 항목의 개수보다 분석 결과와의 논리적인 연계성이 핵심입니다. 선행 실태 조사에서 확인된 논문들에서 한계점을 기술한 항목 개수의 중앙값(median)은 3개였습니다. 상투적인 문구를 5-6개 나열하는 것보다, 실제로 관찰된 분석 결과를 설명하는 2-3개의 핵심 한계를 ‘원인-영향-대응’의 완결된 구조로 심도 있게 기술하는 것이 학술적으로 훨씬 높은 평가를 받습니다.

결론

연구의 한계점은 결론의 챕터를 기계적으로 채우기 위한 형식적인 요식행위가 아닙니다.

한계점이 본래의 학술적인 기능을 회복하기 위한 유일한 기준은 ‘그 한계가 분석 결과를 인과적으로 설명하고 있는가’입니다. 애초에 의도하지 않았던 대안적 연구방법을 나열하는 서술은 연구 결과를 설명하지 못하므로 학술적인 가치가 전혀 없습니다. 기각된 가설과 예상치 못한 결과 앞에서 연구자가 수행해야 할 진정한 학문적인 책무는, 연구 설계와 집필 과정에서 무엇을 통제하지 못했는지를 4대 영역(표본-측정-절차-분석)에 걸쳐 객관적으로 자가 진단하는 것입니다.

진단한 결과를 ‘원인 규명 → 결과에 미친 영향 분석 → 연구자의 자체적인 대응 및 보완’의 완결된 구조로 기술하고, 그 결함을 해소할 수 있는 구체적인 방법론을 후속 연구로 제안해야 합니다. 논문 심사를 준비 중이라면 지금 즉시 결론의 챕터에 기술한 한계점을 점검해 보시기 바랍니다. 어떠한 분석 결과에도 복사해서 붙여넣을 수 있는 문장을 걷어내고, 오직 본 연구의 결과였기에 도출될 수밖에 없는 엄밀한 자기 진단 문장만을 남겨야 합니다. 이때 심사위원단은 연구자의 학문적인 성숙도와 분석 역량을 신뢰하게 될 것입니다.