논문 심사위원들의 의견이 서로 충돌하거나 일치하는 않는 상황이 발생하는 이유는 동료심사(peer review)가 가지는 특징때문입니다. 심사위원들의 관심영역을 사전에 파악하고 논문 원고에서 챕터별로 강조점을 배치하는 것이 좋습니다. 서로 상충하는 심사의견을 기록하고 조정하는 절차가 학위논문 심사에서 통과할 수 있는 핵심적인 전략입니다.
이 글의 순서 9개 항목
박사학위 논문의 심사를 마친 후 다음 날, 다섯 장의 심사의견서가 도착합니다. 한 심사위원은 이론적 배경이 빈약하다고 적었고, 다른 위원은 이론적 배경의 분량이 지나치게 길다고 지적하였습니다. 그리고 세 번째 심사위원은 샘플의 크기만을 문제 삼았으며, 네 번째 위원은 결론에서 등장하는 실무적인 시사점에 대해서만 물음표를 던지고 있습니다. 마지막으로, 다섯 번째 심사위원의 의견서에는 논문 원고에서 나타난 오탈자를 기록한 목록만이 가득차 있었습니다. 이 글에서는 논문 심사위원의 의견이 왜 서로 다르거나 충돌하는 지에 대해서 약간의 문헌적인 근거를 곁들여서 설명합니다. 그리고 심사위원의 구성을 파악하여 논문심사를 준비하는 방법, 그리고 심사 대응 전략을 단계별로 제시합니다.
논문 심사위원은 왜 같은 논문을 서로 다르게 읽는가?
논문 심사위원들의 평가가 서로 다른 이유는 심사위원 개인의 자질 문제로 탓할 수 없는, 동료심사(peer review)의 구조적인 특징 때문입니다. 동일한 학위논문 원고(manuscript)를 두 명의 전문가가 독립적으로 평가할 때 두 평가가 일치하는 정도는 놀랄만큼 낮습니다.
Bornmann et al.(2010)은 학술지의 동료심사 과정에서 평가자 간 신뢰도(inter-rater reliability)를 다루는 48편의 연구에 대해 메타분석(meta-analysis)을 수행하였습니다. 평가자 간 신뢰도는 여러 평가자의 판단이 일관성을 가지는 정도를 뜻합니다. 메타분석에 투입된 논문 원고는 총 19,443편이었습니다. 분석을 수행한 결과, 평가자 간 신뢰도의 평균은 급내상관계수를 기준으로 0.34로 나타났고, Cohen’ Kappa 값은 0.17로 계산되었습니다. 사회과학 영역을 기준으로 신뢰도에 관한 최소만족 기준은 ‘0.70 이상’을 관행적으로 사용합니다. 이 기준에 비추어 보면, 두 전문가의 판단은 절반 이하의 수준으로 일관적이라는 셈입니다. 흥미로운 연구의 결과는, 표본의 크기가 큰 연구일수록 평가자 간 신뢰도의 값이 더 낮게 평가되었다는 점입니다.
- Bornmann, L., Mutz, R., & Daniel, H.-D. (2010). A reliability-generalization study of journal peer reviews: A multilevel meta-analysis of inter-rater reliability and its determinants. PLoS ONE, 5(12), e14331. https://doi.org/10.1371/journal.pone.0014331
학위논문을 심사하는 과정에서는 심사위원의 의견이 서로 일치하지 않거나 나아가서 충돌하는 경우가 매우 흔하게 발생합니다. SCI/SSCI급 해외저널에 투고한 논문심사를 기준으로, 심사위원은 그 분야의 전문가로 선정이 되지만, 학위논문 심사위원은 전혀 그렇지 않습니다. Mullins & Kiley(2002)는 학위논문 심사 경험이 풍부한 5개 대학의 심사위원 30명을 대상으로 인터뷰를 수행하였습니다. 그리고 인터뷰 자료를 분석하였는데, 심사위원들은 서론과 문헌고찰 부분을 읽는 초반 단계(제1장과 제2장)에서 논문의 수준을 이미 잠정적으로 평가하는 것으로 나타났습니다. 그리고 이후에는 논문 전반에 걸쳐 자신의 판단을 확인하기 위한 목적으로 읽어 나갔습니다. 다른 심사위원의 의견과 지도교수에 대한 판단도 자신의 판단에 영향을 미치는 것으로 조사되었습니다.
- Mullins, G., & Kiley, M. (2002). ‘It’s a PhD, not a Nobel Prize’: How experienced examiners assess research theses. Studies in Higher Education, 27(4), 369–386. https://doi.org/10.1080/0307507022000011507
다섯 명의 심사위원은 모두 각자의 전공과 자신의 관심 연구분야라는 고정된 ‘틀(framework)’을 가지고 학위논문 원고를 읽어 나갑니다. 심사위원은 서론에서 시작된 문장에서부터 그 이후 몇 페이지까지 읽은 후에는 마음을 굳히고 자신의 판단을 끝까지 유지합니다. 따라서 심사위원의 구성과 유형을 미리 파악하고, 만약 가능하다면 논문의 첫 챕터(예., 서론)에 심사위원의 관심사를 전략적으로 배치한다면 학위논문 심사에 효과적으로 대비하는 출발점이 됩니다.
심사위원 구성과 유형은 어떻게 파악하는가?
심사위원 구성은 위원 개인의 최근 연구 실적과 지도한 논문, 그리고 심사 이력 및 특징이라는 세 가지 형태의 자료를 통해 파악할 수 있습니다. 일반적으로 박사학위 논문 심사위원은 5명, 석사학위 심사위원은 3명으로 구성되며, 심사위원 명단은 거의 예외가 없이 예비심사 전에 확정이 됩니다.
첫째, 각 심사위원이 최근 5년동안 게재한 논문실적을 학술지 데이터베이스에서 조회합니다. 이를 통해 어떤 이론을 반복해서 사용하는지, 혹은 어떤 연구방법론을 선호하는지를 어렵지 않게 확인할 수 있습니다. 둘째, 각 심사위원이 지도한 학위논문 리스트를 학위논문 데이터베이스(예., RISS)에서 검색합니다. 그들이 지도한 학위논문에서 나타나는 논리와 구성, 그리고 본문의 서술 방식은 그 위원이 논문으로부터 기대하는 기준을 정확하게 드러냅니다. 셋째, 같은 학교, 같은 학과 출신의 선배 연구자에게 심사위원의 심사 성향을 묻습니다. 심사 과정에서는 주로 어떤 질문을 하는지, 어느 챕터에서 가장 까다로운 물음을 던지는지에 관한 정보는 심사위원의 연구실적만으로는 절대로 얻을 수 없는 매우 귀한 자료입니다.
이 세 가지 자료를 종합하면 심사위원을 다음과 같이 크게 다섯 가지 유형으로 분류할 수 있습니다.
표 1. 논문 심사위원의 다섯 가지 유형과 파악 지표
| 유형 | 주요 관심사 | 파악 지표 | 예비심사에서 주로 묻는 것 |
| 이론형 | 이론적 근거, 개념 정의, 선행연구와의 관계 | 이론을 매우 선호, 개념 모형을 제시한 다수의 논문 | “왜 이 이론인가”, “개념-개념의 논리적인 근거는 무엇인가” |
| 방법형 | 연구설계, 표본, 측정, 분석 기법의 타당성 | 연구방법론을 다루는 다수의 논문, 통계 기법 | “표본의 크기가 충분한가”, “측정 도구의 타당도는 확보되었는가” |
| 실무형 | 현장 적용의 가능성, 정책·실무적인 함의 | 실무 경력을 보유, 프로젝트 및 정책 보고서에 참여 | “현장에서 무엇이 달라지는가”, “정책 제언이 실행 가능한가” |
| 편집형 | 논문 형식, 문장, 인용 체계, 표와 그림 | 학술지 편집위원의 경력, 지도 논문의 형식이 엄격 | “인용 형식이 일관적인가”, “표의 제목과 본문이 일치하는가” |
| 외부위원 | 학과 외부의 시각, 관행에 대한 비판 | 타 대학 또는 인접 연구영억에 소속 | “이 분야 밖에서 이 결과가 어떤 의미를 가지는가” |
심사위원의 관심사에 맞추어 논문 원고의 구성을 어떻게 배치하는가?
학위논문 원고의 구성을 배치하는 방법은 각 심사위원이 가장 먼저 읽을만한 챕터에 그 위원의 관심사에 답이 되는 문단을 두는 것입니다. 모든 심사위원은 절대로 논문 전체를 같은 노력과 같은 정성으로 읽지 않습니다. Mullins & Kiley(2002)가 주장하였다시피, 초반의 챕터만을 읽은 후에 얻은 논문에 대한 첫인상이 이후의 판단을 결정합니다.
먼저, ‘이론형’ 심사위원을 위해서는 제2장(일반적으로 문헌고찰 또는 이론적 배경)의 첫 절에 이론을 선택한 근거를 배치합니다. 만약 연구자가 선택한 이론과 서로 경쟁하는 이론이 있다면 채택하지 않은 이유를 한 문단으로 밝힙니다. ‘방법형’ 위원을 위해서는 제3장(일반적으로 연구의 방법 또는 연구방법론)의 첫 절에 샘플 사이즈의 산출 근거와 측정 도구의 출처, 그리고 신뢰도 계수(예., Cronbach’s alpha) 등에 관한 서술을 배치합니다. 경우에 따라서는 지도교수의 취향(?)에 따라 측정도구의 신뢰도 계수 값이 제4장(일반적으로 연구의 결과)에 등장하게 되는데, 만약 이렇다면 ‘방법형’ 위원은 흔히 방법론에 관한 내용을 본문에서는 찾을 수 없다고 판단합니다. 그리고 ‘실무형’ 위원을 위해서는 제1장 서론에서 등장하는 이론 혹은 실무 현장이 가지고 있는 문제 상황을 구체적으로 묘사합니다. 또한, 제5장(일반적으로 논의 또는 결론)에서는 실행이 가능한 시사점과 함께 구체적인 가이드라인를 제시합니다. ‘편집형’ 심사위원을 위해서는 논문심사 원고를 제출하기 전에 인용 형식과 그림/표 번호, 용어 통일 등을 포함하는 템플릿 점검표를 마련합니다. 또한, 외부 심사위원을 위해서는 구체적인 연구 내용을 이해하지 못하는 독자를 위해 연구의 배경-필요성-목적-범위를 플로우 차트에 담은 시각적인 정보를 제1장 서론에 나타냅니다.
표 2. 심사위원 유형별 원고 배치 전략
| 위원 유형 | 핵심 배치 위치 | 배치할 내용 |
| 이론형 | 제2장 첫 절 | 이론 선택의 근거와 경쟁 이론을 채택하지 않은 이유 |
| 방법형 | 제3장 첫 절 | 표본 크기 산출 근거, 측정 도구의 출처, 신뢰도와 타당도 지표 |
| 실무형 | 제1장 연구의 필요성, 제5장 논의 및 결론 | 현장의 문제 상황, 실행 주체와 절차가 명시된 제언 및 가이드라인 |
| 편집형 | 원고 전체 | 인용 형식, 표와 그림 번호, 용어 통일 점검표 |
| 외부위원 | 제1장 서론 마지막 절 | 연구영역 밖의 독자를 위한 연구 문제/가설의 설명과 의의 |
학위논문 심사의 대응 전략은 단계별로 어떻게 다른가?
학위논문 심사 대응은 심사 전의 준비와 심사 현장에서의 답변, 그리고 심사가 끝난 후에 ‘심사위원 의견 반영 목록’ 작성이라는 크게 세 단계로 나뉘어 지는데, 각 단계의 목표는 서로 다릅니다.
심사 전: 예상 질문표 작성
표 1의 유형 분류에 따라 심사위원별로 예상 질문들을 작성합니다. 각 질문에 대한 답변을 논문원고의 어느 쪽에서 찾을 수 있는지를 함께 적습니다. 연구자의 답변이 논문 원고에서 찾을 수 없다면, 반드시 심사 전에 보완을 해야 합니다.
심사 당일: 기록과 확인
심사장에서는 반박(rebuttal)보다 기록이 우선입니다. 각 심사위원의 의견을 위원별로 구분하여 적고, 심사의견의 취지가 명확하지 않다면 가능한 그 자리에서 질문을 확인합니다. 질문을 확인하는 방법은 다음과 같습니다. “교수님(또는 심사위원님)께서 지적하신 표본에 관한 문제가 표본 크기의 문제인지, 아니면 대표성의 문제인지를 말씀해 주시면 감사하겠습니다.” 만약 두명 이상의 심사위원 의견이 서로 충돌한다면 그 자리에서 판단하지 말고 모든 의견을 기록합니다.
심사 후: 반영표 작성과 우선순위 확정
심사가 끝난 후에는 가능한 빠른 시일 내에 각기 다른 심사위원의 의견과 반영 계획을 정리한 반영표를 작성합니다. 반영표에는 심사의견의 원문과 수용의 여부, 논문 본문에서의 수정 반영 위치 및 페이지 번호, 그리고 수정 방향을 함께 작성합니다. 그리고 서로 충돌하는 심사의견은 지도교수와 협의하여 우선순위를 정합니다.
심사위원의 의견이 서로 충돌하면 어떻게 조정하는가?
서로 충돌하는 심사의견은 세 단계로 조정합니다. 모든 의견을 기록하고, 연구 문제를 기준으로 우선순위를 정한 후에, 수용이 어렵다고 판단되는 심사위원 의견에 대해서는 처리 근거를 반영표에 남깁니다. 만약 심사위원 한쪽의 의견을 철저하게 무시하는 것으로 보인다면 학위논문에 도장을 받을 때 까지 고달픈 나날이 계속될 것입니다.
| 가상 시나리오: 교육학을 전공하는 박사과정 학생이 학위논문 심사 과정에서 두 명의 심사위원이 서로 충돌하였습니다. 이론형 심사위원 B는 자기결정성 이론의 하위 개념을 모두 다루어야 한다고 지적하였습니다. 반면에 실무형 심사위원 D는 논문에서 활용된 여러 이론들을 절반으로 줄이고 현장 사례를 중심으로 분량을 풍부하게 만들라고 요구하였습니다. 연구자는 두 심사의견을 모두 반영표에 기록한 후에 지도교수와 논의하였습니다. 논문에서 제시되고 있는 연구 문제가 교사의 자율성 지원 행동에 한정되어 있으며, 따라서 연구자는 자율성 개념을 중심으로 이론을 다시 구성하였습니다. 그리고 나머지 하위 개념은 각주처리를 하였습니다. 심사위원 B에게는 하위 개념의 처리 위치를, 그리고 심사위원 D에게는 이론을 다루는 분량이 줄어든 후의 페이지 수를 반영표에 작성하였습니다. 반영표를 살펴본 두 심사위원은 모두 더이상 지적을 하지 않고 학위논문 수정 버전을 모두 수용하였습니다. 이 사례는 프라임 컨설팅이 경험한 상황을 참고하여 재구성한 가상의 시나리오입니다. |
위의 가상 시나리오가 제시하는 조정 방식은 연구자가 이미 설정한 연구 문제를 ‘심판의 기준’으로 부각시키는 것입니다. 두 명의 심사위원 요구를 절충하는 것이 아니라, 연구 문제가 요구하는 범위를 기준으로 어느 쪽이 더 부합하는지를 판단하는 것입니다. 그리고 수용하지 않은 심사의견에 대해서도 기록을 남겨 의견이 무시되지 않았다고 ‘달래야’ 합니다.
결론
다섯 명의 심사위원은 한 편의 박사학위 논문을 다섯 편으로 읽습니다. 서술한 메타분석의 결과에서는 두 명의 전문가 판단에 대한 일관성 수준 조차도 절반 이하로 나타났습니다. 이와 함께, 심사위원을 대상으로 수행한 인터뷰 연구의 결과는 서론의 일부분 만을 읽은 후에 얻어진 ‘첫인상’이 논문을 읽는 마지막 과정까지 계속 유지된다는 것을 보여주고 있습니다.
심사위원의 유형을 사전에 면밀하게 파악하고, 위원들이 먼저 눈여겨 볼 만한 챕터에 예상 답변이 될 수 있는 내용을 서술합니다. 그리고 논문심사 과정에서는 가능한 반박을 하지 말고 기록과 확인으로 대응을 하며, 만약 심사위원들이 서로 충돌한다면, 연구자가 이미 설정한 연구 문제를 기준으로 의견을 조정하는 것이 바람직합니다.
