학술지 논문을 박사학위 논문으로 발전시키는 방법

학술지 논문이 다루는 연구 영역을 박사학위 논문으로 발전시키는 과업은 연구문제의 범위를 확장하는 과정입니다. 803건의 박사학위 논문 심사보고서를 분석한 결과, 전체의 79%에 달하는 보고서는 유의성과 독창성, 그리고 기여도를 지적하였습니다. 특히 높은 평가를 받은 학위논문은 기여도에 관한 서술이 전체의 16.2%를 차지하였습니다. 연구의 범위를 확장하기 위해서는 분석의 가정을 수정하는 것을 전제로 삼아야 합니다.

이 글의 순서 6개 항목

1. 논문심사 위원은 박사학위 논문의 기여도와 연구의 범위를 어떻게 평가하는가?
2. 학술지 논문의 연구주제는 왜 박사학위 논문으로 이어지지 못하는가?
3. 확장된 연구주제 vs. 확장되지 않은 연구주제는 무엇으로 판별하는가?
4. 학술지 논문의 연구주제를 박사학위 논문의 범위로 확장하는 절차
5. 자주 묻는 질문 (FAQ)
6. 결론

Holbrook et al.(2004)은 호주의 3개 대학교로부터 301편의 박사학위 논문에 대해 심사한 803건의 평가보고서를 수집하였습니다. 이를 통해 연구진은 논문심사 위원이 학위논문의 어느 영역에서 구체적으로 무엇을 지적하고 있는가를 조사하였습니다. 수집한 보고서는 8개의 학문 분야를 모두 포함하였으며, 연구진은 지적 사항을 4개의 상위 범주와 28개의 하위 범주로 분류하였습니다.

연구의 결과에 따르면, 학위논문에서 드러나는 유의성과 독창성, 그리고 기여도를 언급한 보고서가 전체의 79%를 차지하였습니다. 그리고 논문의 범위를 언급한 보고서는 60%인 것으로 나타났습니다. 심사위원들의 만장일치로 높은 평가를 받은 23편의 학위논문과 재제출 판정을 받은 학위논문 10편을 대조한 결과, 기여도에 관한 서술이 차지한 분량은 각각 16.2%와 5.0%로 나타났습니다(p<.001). 반면, 문헌고찰의 포괄성에 관한 심사위원의 서술은 3.4%와 9.0%인 것으로 평가되었습니다(p=.024).

본 글에서는 학술지에 게재한 1편의 논문이 다루는 주제를 박사학위 논문이 요구하는 범위로 확장할 때 논문심사에서 확인하는 기준, 학술지의 연구 범위가 박사학위 논문으로 이어지지 않는 이유, 그리고 박사학위 논문을 위해 학술지의 연구주제를 확장하는 구체적인 순서와 방법을 다루었습니다.

논문심사 위원은 박사학위 논문의 기여도와 연구의 범위를 어떻게 평가하는가?

논문심사 위원은 연구가 새롭게 밝혀낸 내용과 그 범위가 학위논문의 수준에 부합하는지를 통합적으로 평가합니다. Holbrook et al.(2004)이 수집한 심사보고서 803건을 분석한 결과, 논문 주제의 내용과 분석을 지적한 보고서가 93%로 가장 많았습니다. 그리고 연구의 접근과 설계가 75%, 유의성과 독창성 및 기여도가 79%로 그 뒤를 이었습니다. 반면, 전체 심사위원 중에서 21%는 유의성과 기여도를 단 한 번도 언급하지 않았습니다. 그리고 기여도에 관한 서술이 학위논문의 품질 평가와 보인 상관관계는 r=.320으로 나타났습니다.

표 1.은 803건의 심사보고서에서 각 평가 항목이 언급된 비율과 전체 보고서 분량에서 차지한 평균 비중을 대조한 결과를 나타내고 있습니다.

표 1.에서 주목해야 하는 점은, 논문이 다루는 범위를 언급한 보고서가 60%에 이르면서도 그 서술이 차지한 분량은 5.3%에 그쳤다는 사실입니다. 연구의 범위에 관한 판단은 길게 설명되기보다 한두 문장으로 기술되었으며, 그 한 문장이 다시 제출을 해야하는 지의 여부를 판정하는 기준으로 이어집니다. 석사학위 논문과 박사학위 논문에서 요구되는 기여도 수준의 차이는 ‘석사학위논문과 박사학위논문의 차이: ‘지식의 적용’ vs. ‘지식의 창출‘에서 자세하게 다루고 있습니다.

흥미롭게도 논문심사 위원이 석사학위와 박사학위에 적용하는 평가 기준의 구조가 동일하다는 연구결과가 관찰되고 있습니다. Bourke & Holbrook(2013)은 353명의 박사학위 논문 심사위원과 석사학위 논문 심사위원 74명, 총 427명의 응답 자료를 분석하였습니다. 기여도와 문헌고찰, 연구의 접근과 방법론, 분석과 연구의 결과, 그리고 표현의 역량(내용의 기술)을 포함하는 5개 영역에 걸친 12개 품질 지표에서 두 학위논문에 대한 중요도 수준은 매우 유사한 것으로 나타났습니다. 반면, 심사위원은 기여도와 관련한 모든 지표에서 박사학위 논문에 더 높은 수준을 요구하는 것으로 나타났습니다.

• Bourke, S., & Holbrook, A. P. (2013). Examining PhD and research masters theses. Assessment & Evaluation in Higher Education, 38(4), 407-416. https://doi.org/10.1080/02602938.2011.638738

학술지 논문의 연구주제는 왜 박사학위 논문으로 이어지지 못하는가?

그 원인은 크게 두 가지인데, 요구되는 기여 수준의 차이와 연구문제를 설계하는 방식의 차이입니다.

첫째, 학술지 논문과 학위논문에서 요구되는 기여도의 수준이 서로 다릅니다. Ladik & Stewart(2008)는 연구의 기여도를 과학적인 영향의 크기에 따라 8개의 수준으로 식별하였습니다. 가장 낮은 수준은 선행연구를 그대로 재현(replication)하는 연구이고, 그 다음이 재현 과정에 변수나 표본을 추가하는 확장이며, 새로운 이론이나 방법을 다른 영역에 적용하는 연구가 뒤를 잇습니다. 학술지에 게재되는 논문은 이 영역의 하위 수준에서 기여도를 갖습니다. 반면, 박사학위 논문에서는 기존의 현상을 설명하는 새로운 이론이나 선행 이론을 다시 구성해야 하며, 따라서 기여도 측면에서는 상위급 수준을 요구받게 됩니다.

학위논문의 심사를 다루는 연구로부터 심사위원이 요구하는 기여도의 상한선도 함께 살펴보아야 합니다. Golding et al.(2014)은 30편의 연구를 분석하고 11가지의 심사위원 실천 사항을 식별하였습니다. 이들이 종합한 30편의 자료에는 박사학위 논문 1,324편에 관한 심사보고서와 3,504건의 권고, 심사위원의 품질 평가 426건, 그리고 면담과 설문에 참여한 698명의 심사위원 응답이 포함되었습니다. 분석을 수행한 결과, 통과가 가능하다고 판정받기 위해서는 독창적이고 적절한 연구범위와 유의성을 갖추어야 하지만, 현존하는 이론을 교체시킬 만큼의 결정적인 기여까지를 요구받지는 않는 것으로 나타났습니다.

둘째, 연구문제를 설계하는 방식에서 학술지와 박사학위 논문이 서로 다릅니다. Sandberg & Alvesson(2011)은 4개의 경영학 학술지에서 무작위로 선택한 8개 호(Issue)의 논문 52편이 연구문제를 어떻게 설계하였는지를 분석하였습니다. 분석한 52편 중에서 기존의 이론을 뒷받침하는 가정에 의도적으로 도전한 논문은 단 한 편도 존재하지 않았습니다. 52편은 모두 선행연구의 빈칸(gap)을 탐색하는 방식으로 접근하였고, 그 중에서 아직 탐색되지 않는 영역을 찾아내는 유형이 19편, 연구의 사례가 부족한 영역을 찾는 유형이 12편, 그리고 다른 영역에 적용하는 유형 13편, 서로 다른 패턴이 나타난 결과를 정리하는 6편의 유형으로 구분되었습니다.

선행연구의 빈칸을 찾는 방식은 기존의 이론적인 프레임워크를 유지하고, 그 안에 변수나 맥락을 추가하는 방식입니다. 다만, 변수를 추가로 투입하더라도 연구문제를 뒷받침하는 프레임워크는 그대로 유지되기 때문에, 연구가 다루는 범위는 확장되지 않습니다. 이에 대해서, Alvesson & Sandberg(2011)는 연구범위를 확장하는 방법으로서 가정에 도전하는 문제화를 제시하고, 영역 내부의 가정부터 분야 전체의 가정까지 5개 유형의 가정과 6단계의 절차를 제안하였습니다. 만약 가정을 교체하면 기존의 이론으로 설명할 수 있는 현상을 다시 설명해야 하기 때문에, 하나의 연구문제가 여러 편의 하위 연구를 요구하는 범위로 확장됩니다.

• Alvesson, M., & Sandberg, J. (2011). Generating research questions through problematization. Academy of Management Review, 36(2), 247-271. https://doi.org/10.5465/amr.2009.0188

• Golding, C., Sharmini, S., & Lazarovitch, A. (2014). What examiners do: What thesis students should know. Assessment & Evaluation in Higher Education, 39(5), 563-576. https://doi.org/10.1080/02602938.2013.859230

• Ladik, D. M., & Stewart, D. W. (2008). The contribution continuum. Journal of the Academy of Marketing Science, 36(2), 157-165. https://doi.org/10.1007/s11747-008-0087-z

• Sandberg, J., & Alvesson, M. (2011). Ways of constructing research questions: Gap-spotting or problematization? Organization, 18(1), 23-44. https://doi.org/10.1177/1350508410372151

확장된 연구주제 vs. 확장되지 않은 연구주제는 무엇으로 판별하는가?

연구 범위의 확장 여부를 판별하는 기준은, 연구자가 6가지의 개념을 자신의 연구에서 설명할 수 있는지에 달려 있습니다. Kiley & Wisker(2009)는 6개국의 지도교수 65명을 대상으로 2단계에 걸친 조사를 수행하였습니다. 1단계에서는 26명의 서면 응답을 수집하였고, 2단계에서는 39명을 대상으로 심층 인터뷰를 수행하였습니다. 분석을 결과한 결과, 기존 연구의 범위를 확장하기 위해서는 ‘논증’, ‘이론화’, ‘개념적 프레임워크’, ‘지식의 창출’, ‘분석과 해석’, ‘패러다임’의 6가지 영역을 충실히 다루어야 한다고 지적하였습니다.

박사학위 논문의 수준으로 확장이 이루어진 연구주제는 이 6가지 기준을 각각 한 문단씩 논리적으로 설명할 수 있습니다. 반면, 충분하게 확장하지 못한 연구주제는 ‘논증’과 ‘개념적 프레임워크’를 명확히 제시하지 못한 채, 연구자가 수집한 자료와 분석 절차만을 기술하는 데 그칩니다. 또한, 연구자가 ‘지식의 창출’을 설명하는 영역에서 선행연구가 다루지 않은 변수를 추가하였다는 점만을 기술한다면, 그 연구주제는 선행연구의 빈칸을 찾는 단계에 머물러 있는 것으로 평가할 수 있습니다. 반면, 교체한 핵심 가정과 그 가정이 전환시키는 설명의 범위를 명확히 제시할 수 있다면, 연구자는 6가지 기준 가운데 ‘이론화’와 ‘패러다임’ 영역을 충족하게 됩니다.

연구의 범위를 확장하는 작업에는 주의해야 할 위험 요인도 존재합니다. 확장한 범위를 인용한 문헌의 수량으로 입증하려는 시도가 대표적인 사례입니다. Holbrook et al.(2004)의 연구결과에 따르면, 학위논문이 불합격 판정을 받은 주요 원인은 문헌고찰의 범위가 지나치게 넓거나 연구의 본질을 벗어난 주변적인 쟁점에 치우쳤기 때문이었습니다. 실제로 한 심사보고서에서는 관련 연구 영역에 대한 비판적 문헌고찰을 수행하지 않고, 문헌 목록만을 ‘나열’하였다고 평가하였습니다. 또한, Holbrook et al.(2007)이 호주 5개 대학의 학위논문 지원자 501명에 관한 심사보고서 1,310건을 분석한 결과에서도, 심사위원이 강력히 요구한 핵심 역량은 문헌을 자신의 연구주제에 맞추어 일관되게 ‘활용’하는 능력으로 나타났습니다.

• Holbrook, A., Bourke, S., Fairbairn, H., & Lovat, T. (2007). Examiner comment on the literature review in Ph.D. theses. Studies in Higher Education, 32(3), 337-356. https://doi.org/10.1080/03075070701346899

• Kiley, M., & Wisker, G. (2009). Threshold concepts in research education and evidence of threshold crossing. Higher Education Research & Development, 28(4), 431-441. https://doi.org/10.1080/07294360903067930

학술지 논문의 연구주제를 박사학위 논문의 범위로 확장하는 절차

아래의 절차는 학술지가 다루는 연구주제를 학위논문이 요구하는 연구범위로 넓히는 과정을 나타내고 있습니다. 그리고 이 과정에서 연구주제가 거치는 경로와 논문심사 위원이 확인하는 영역을 나타내고 있습니다.

• 기존 학술지 논문의 ‘기여도’ 수준 진단: Ladik & Stewart(2008)가 제시한 8개의 수준 중에서 기존의 논문이 어느 위치에 속하는지를 진단해야 합니다. 선행연구의 재현이나 변수 또는 표본을 일부 추가한 확장에만 그치게 되면 박사학위 논문이 추구해야 하는 연구범위에 도달하지 못합니다. 초록에서 ‘기여도’를 기술한 문장을 원문 그대로 추출하고, 그 문장이 기존 이론의 어느 부분을 수정하였는지 적시해야 합니다. 만약 기존의 이론을 수정한 대목을 식별할 수 없다면, 가정을 다시 수정하는 방향으로 추진해야 합니다.
• 가정의 식별과 교체: 학술지 논문이 전제로 삼은 가정을 Alvesson & Sandberg(2011)의 5개 범주(‘영역 내부의 가정’, ‘근본 은유 가정’, ‘패러다임 가정’, ‘이념적 가정’, ‘분야 전체의 가정’)로 분류해야 합니다. 각 가정마다 그 전제가 성립하지 않는 반례 조건을 한 문장씩 식별하고, 그 조건에서 기존의 연구결과가 달라지는지를 선행문헌을 통해 확인해야 합니다. 기존의 결과와 패턴이 일치하지 않을 것으로 판단되는 근거를 확보한다면, 이를 연구 확장의 출발점으로 삼아야 합니다.
• 상위 연구문제의 설정과 하위 연구문제의 분해: 새롭게 교체한 가정을 토대로 학위논문이 다루는 상위 연구문제를 하나의 진술문으로 기술할 수 있어야 합니다. 그리고 이 상위 연구문제를 3-4개의 하위 연구문제로 분해하되, 각 하위 문제가 서로 다른 변수, 자료원, 분석 수준을 다루도록 배치해야 합니다. 만약 하위 연구문제 가운데 1개가 기존 학술지가 다루는 문제의식과 중복된다면, 그 논문을 학위논문의 첫 번째 연구로 배치하고 나머지 하위 문제들을 다시 설계합니다.
• 하위 연구 설계와 ‘상보성(complementarity)’의 확보: Edmondson & McManus(2007)가 제안한 ‘방법론적 적합성(methodological fit)’ 원칙에 따라 선행연구의 성숙도와 연구 설계를 결합해야 합니다. 즉, 선행 이론이 충분히 축적된 영역에서는 가설 검증형 설계를 적용하고, 이론적인 기반이 미비한 영역에서는 질적으로 접근해야 합니다. Wellman et al.(2023)이 2020년 이후 발표된 논문 238편을 분석한 결과, 복수의 연구를 수록한 논문 가운데 약 75%가 ‘삼각검증’에 의존하였습니다. 따라서 하위 연구문제들이 동일한 가설을 중복해서 검증하는 오류를 배제하고, 질적 탐색에서 양적 검증으로 단계적으로 나아가는 순서를 준수해야 합니다.
• 연구 범위의 평가와 심사 기준을 대조: 확장한 연구주제를 Kiley & Wisker(2009)의 6대 심사 평가 영역인 ‘논증’, ‘이론화’, ‘개념틀’, ‘지식의 창출’, ‘분석과 해석’, ‘패러다임’과 1:1로 대조해야 합니다. 각 영역에서의 기준을 한 단락씩 서술하면서 연구의 깊이와 범위를 점검하고, 미흡한 영역을 보완해서 박사학위 논문 심사위원이 요구하는 기여도 수준을 충족해야 합니다.

다음의 표 2.는 학술지 논문이 다루는 연구문제가 확장을 거친 후에 어떻게 수정되었는지를 나타내는 예시입니다.

표 2.에서 확인할 수 있는 공통점은, 확장 이후에 설계한 연구문제가 교체한 가정을 문장 안에 담고 있다는 사실입니다. 가정을 수정하지 않고 변수나 표본만을 늘린다면 기여도의 수준에는 변화가 없습니다.

• Edmondson, A. C., & McManus, S. E. (2007). Methodological fit in management field research. Academy of Management Review, 32(4), 1246-1264. https://doi.org/10.5465/amr.2007.26586086

• Wellman, N., Tröster, C., Grimes, M., Roberson, Q., Rink, F., & Gruber, M. (2023). Publishing multimethod research in AMJ: A review and best-practice recommendations. Academy of Management Journal, 66(4), 1007-1015. https://doi.org/10.5465/amj.2023.4004

자주 묻는 질문 (FAQ)

Q. 이미 출판한 학술지 논문의 주제를 박사학위 논문의 연구주제로 사용할 수 없습니까?

A. 동일한 주제로 접근할 수는 있으나, 연구문제가 다루는 범위를 넓혀야 합니다. Bourke & Holbrook(2013)의 연구결과에 따르면, 심사위원은 박사학위 논문과 석사학위 논문에 동일한 평가 지표를 적용하면서도 ‘기여도’와 관련된 모든 지표에서 박사학위 논문에 더 높은 수준을 요구하였습니다. 이미 게재한 학술지 논문은 박사학위 논문을 구성하는 하위 연구 중 하나에 속합니다.

Q. 확장한 연구주제가 박사학위 논문의 수준인지 어떻게 확인합니까?

A. Kiley & Wisker(2009)는 ‘논증’, ‘이론화’, ‘개념틀’, ‘지식의 창출’, ‘분석과 해석’, ‘패러다임’의 6가지 기준을 각각 한 문단으로 기술해서 확인할 수 있다고 제안하였습니다. 이 6가지 평가기준은 6개국의 지도교수 65명이 공통으로 제시한 개념입니다. 만약 평가기준에 이르지 못한 영역이 존재한다면, 연구의 범위가 아직 박사학위 논문의 수준에 도달하지 못한 상태를 의미합니다.

Q. 기존 이론의 가정을 수정하는 작업이 어렵다면 다른 방법은 없습니까?

A. 가정의 범주를 좁히면 비교적 수월하게 접근할 수 있습니다. 선행연구가 다루지 않은 조건에서 연구결과가 달라진다는 점을 보여 주는 선행문헌을 1편이라도 찾는 작업이 중요합니다.

Q. 하위 연구는 몇 편으로 구성해야 합니까?

A. 소속 학과의 관행에 따라 차이가 나타나지만, 통상 3편에서 4편으로 구성합니다. 하지만, 하위 연구의 편수보다 더 중요한 기준은 하위 연구 사이의 ‘상보성’입니다. Wellman et al.(2023)은 여러 편의 연구를 함께 수록한 논문의 약 75%가 ‘삼각검증’에 의존하였으며, 하위 연구가 동일한 가설을 중복해서 검증하는 설계는 피해야 할 함정으로 지적하였습니다.

Q. 연구의 범위를 확장하면 문헌고찰의 범위도 함께 확장해야 합니까?

A. 단순히 문헌의 수를 늘리는 방향은 권장하지 않습니다. 오히려 재제출 판정을 받은 학위논문은 문헌고찰의 범위가 지나치게 넓다는 비판을 받았습니다. 또한, Holbrook et al.(2004, 2007)이 분석한 1,310건의 심사보고서에 따르면, 심사위원이 요구한 핵심 역량은 문헌을 일관되게 활용하는 능력으로 나타났습니다.

결론

학술지 논문을 박사학위 논문으로 발전시키는 작업은 연구문제를 뒷받침하는 가정을 수정하는 과정에 가깝습니다. Holbrook et al.(2004)이 분석한 803건의 심사보고서 결과, 유의성과 독창성, 기여를 언급한 보고서는 전체의 79%를 차지하였습니다. 연구의 범위를 언급한 보고서는 60%였으며, 높이 평가받은 학위논문과 재제출 판정을 받은 학위논문의 기여 관련 서술 비중은 각각 16.2%와 5.0%로 나타났습니다. 427명의 심사위원을 대상으로 수행한 분석에서도 두 학위의 평가 지표는 동일하였고, 오직 기여의 요구 수준에서만 차이가 나타났습니다.

연구의 범위가 넓어지지 않는 이유는 크게 두 가지입니다. 첫째, 학술지 논문 한 편의 기여는 선행연구의 재현과 확장 수준에서도 성립하기 때문입니다. 둘째, 연구문제를 구성하는 방식이 주로 선행연구의 빈칸을 찾는 방식에 머무르기 때문입니다. Sandberg & Alvesson(2011)이 분석한 52편의 논문 가운데 기존 이론의 가정에 도전한 연구가 한 편도 존재하지 않았다는 결과가 이러한 관행을 뒷받침합니다. 기존의 가정을 교체하면 기존 이론으로 설명되던 현상을 새로운 시각에서 다시 설명해야 하므로, 하나의 연구문제가 여러 편의 하위 연구를 포괄하는 규모로 확장됩니다.