두 번째 심사위원이 가장 가혹하다는 소문은 실제의 심사 기록 자료를 뒤져본 바에 따르면 사실이 아닌 것으로 나타났습니다. 오히려 심사위원 3이 리젝 판정을 더 자주 내린 것으로 나타났습니다. 심사의견에서 느껴지는 차가움은 심사자의 번호나 인격에 의해서 만들어지지 않습니다. 그러므로 심사위원의 어조와 싸우지 말고 지적 사항에 대해 차분하고 꼼꼼하게 대응해야 합니다.
이 글의 순서 6개 항목
학계에서는 국적을 가리지 않고 통하는 농담이 하나 있습니다. 심사위원 2번, 즉 Reviewer 2가 언제나 가장 가혹하다는 이야기입니다. 페이스북에는 ‘심사위원 2를 멈춰 세워야 한다’라는 이름을 가진 모임까지 있습니다. 논문 심사평에 상처받은 연구자들이 모여서 서로를 위로하는 곳입니다. 그런데 한 정치학자가 정색하고 이 농담을 실험대에 올려 놓았습니다. 자신이 편집을 맡은 학술지의 심사 기록을 전부 꺼내어 보고 심사위원 2번이 정말 악당인지를 직접 세어 본 것입니다. 이 정치학자의 논문은 제목부터가 파격이었습니다. 심사위원 2에게 욕설을 들려주는 문장이 그대로 논문의 제목이 되었습니다. 그리고 연구 결과는 모두의 예상을 빗나갔습니다. 이 글에서는 그 검증의 전말을 파헤치면서 날카로운 심사의견 앞에서 연구자는 무엇을 해야 하는지를 살펴보도록 하겠습니다.
리뷰어 2에 대한 악소문은 어디에서 왔는가?
익명성을 전제로 하는 심사 제도에서 심사위원은 이름 대신 번호로 불립니다. 저자가 받아 보는 문서에는 심사위원 1, 심사위원 2… 등의 의견이 나란히 붙어서 실립니다. 그런데 두 의견이 서로 다른 경우가 많습니다. 한쪽은 격려하고, 다른 한쪽은 혹독하게 몰아붙이는 식입니다. 이 관찰이 쌓이면서 연구자들의 기억 속에는 2번=가혹함이라는 수식이 붙었습니다. 이 수식이 밈(meme)이 되어 퍼진 소문이 오늘 다루고 있는 2번에 대한 이야기입니다. 같은 정서를 느끼는 사람들만이 찾는 공간은 페이스북만이 아닙니다. 심사의견에서 드러나는 기가막힌 문장들을 수집해 전시하는 블로그도 오랫동안 운영되어 왔습니다. 그만큼 이 농담은 공유된 학계의 공통적인 정서입니다. 이 글은 이러한 소문에 리뷰어 2에 대한 악소문이라는 이름을 붙이고, 그 소문이 사실인지를 관련 문헌고찰을 통해 확인해 보려고 합니다. 미리 말씀드리면, 밈은 경험의 통계가 아니라 기억의 통계입니다. 상처를 준 심사평은 오래 기억되고, 도움을 준 심사평은 잊히기 때문입니다.
심사위원 2의 악명은 통계로 확인되었는가?
이 질문에 정면으로 답한 연구가 Peterson(2020)입니다. 그는 아이오와 주립대학교의 정치학자이면서 Political Behavior라는 학술지의 에디터였습니다. 에디터에게는 심사 기록 전체가 손에 쥐어져 있습니다. 그는 가지고 있는 자료에서 두 가지를 확인해 보았습니다. 먼저 심사위원의 번호별로 판정 결과의 평균을 비교하였습니다. 심사위원 2가 다른 번호보다 야박한 판정을 내리는지를 살펴보기 위한 것입니다. 다음으로 이탈의 빈도를 세었습니다. 한 심사자가 나머지 심사자들보다 한 범주 이상의 낮은 판정을 내리는 경우를 이탈로 정의하고, 그 이탈이 특정한 심사위원 번호에 집중되는 것인지를 본 것입니다. Peterson(2020)은 자신의 논문에서 초록을 다음과 같이 서술하였습니다.
“The objective of this study was to empirically test the wide belief that Reviewer #2 is a uniquely poor reviewer.”
결론부터 말씀드리면 심사위원 2번은 혐의가 없었습니다. 심사위원 2의 심사의견이 다른 심사위원보다 더 부정적이라는 증거도, 그리고 다른 심사자들과 더 자주 어긋난다는 어떠한 증거도 찾을 수 없었습니다. 대신에 뜻밖의 번호가 등장하였습니다. 심사위원 3이 나머지 다른 심사자위원들 보다 한 범주 이상 낮은 판정을 내릴 가능성이 더 높았던 것입니다. 학계가 수년 동안 엉뚱한 번호를 지목해 온 셈입니다. 이 논문은 학술 논문으로는 드물게 화제성 지표에서 상위 5% 안에 들 만큼 널리 읽혔습니다.
그렇다면 왜 하필 심사위원 3번일까요…? 첫 번째 가능한 해석은 심사위원 3번이 섭외되는 상황 자체에 있습니다. 많은 저널이 본래부터 두 명의 심사자를 섭외합니다. 그리고 세 번째 심사자는 두 심사위원의 의견이 서로 충돌하거나 논문 원고(manuscript)에 많은 쟁점이 나타날 때 뒤늦게 섭외되는 경우가 잦습니다. 즉 3번이 존재한다는 사실 자체는 이들이 심사해야 하는 원고가 무척 까다로운 처지에 놓였다는 신호일 수 있습니다. 하지만, 심사의견의 혹독함은 심사위원의 인격에서 비롯되기 보다는 논문 원고가 벌려 놓은 문제가 많기 때문입니다.
Peterson, D. A. M. (2020). Dear Reviewer 2: Go F’ yourself. Social Science Quarterly, 101(4), 1648-1652. https://doi.org/10.1111/ssqu.12824
심사의견에서 느껴지는 차가운 어조는 무엇이 만드는가?
번호가 범인이 아니라면, 심사위원들의 판정은 무엇에 의해서 결정이 될까요? 이 질문에는 대규모(large scale) 자료를 분석하여 답한 연구의 사례가 있습니다. Buljan et al.(2020)은 472,449건의 심사의견을 대상으로 텍스트 분석을 수행하였습니다. 사실 이정도 분량의 자료라면 사람이 읽기에는 평생이 걸릴 분량입니다. 분석의 주요 대상은 심사의견에서 드러나는 언어적인 특징이었습니다. 심사위원이 작성한 문장이 얼마나 분석적인지, 감정의 방향이 한 쪽으로 치우쳐져 있는지 등을 평가지표로 측정한 것입니다. 그리고 그 특성이 무엇에 따라 변화하는 지를 비교하였습니다. 연구진은 후보로 삼을 특성을 심사자가 내린 판정 결과, 연구 분야, 심사 방식, 그리고 심사자의 성별입니다.
분석을 수행한 결과, 심사의견에서 드러나는 언어의 표현 방식은 판정의 여부에 따라서 크게 다른 것으로 나타났습니다. 예를 들어서, 게재(accept) 쪽으로 기운 심사위원과 리젝 쪽으로 자신의 마음이 기울어진 심사위원은 첫 문장부터 달랐습니다. 반면에, 연구 분야와 심사 방식, 성별에 의한 영향이 거의 없거나 아예 없는 것으로 나타났습니다. 쉽게 설명을 드린다면, 심사의견이 차갑게 읽힌다고 해서 그 심사자가 원래부터 차가운 사람이어서가 아닙니다. 반면에, 리젝으로 기울인 어느 심사위원의 의견서에 자신의 마음이 은연 중에 드러났을 가능성도 배제하지 못합니다. 여기에서 주목할 점이 있는데, 심사의견에서 드러나는 어조는 판정의 그림자라는 사실입니다. 그림자와 다투더라도 얻을 수 있는 소득은 없습니다. 다면 판정을 움직일 수 있는 것은 심사위원의 지적 사항에 대해 성실하게 반응하는 것 뿐입니다.
Buljan, I., Garcia-Costa, D., Grimaldo, F., Squazzoni, F., & Marušić, A. (2020). Large-scale language analysis of peer review reports. eLife, 9, e53249. https://doi.org/10.7554/eLife.53249
선을 넘는 심사의견은 얼마나 흔한가?
물론 심사판정과 무관하게 선을 넘는 비전문적인 심사의견도 실제로 존재합니다. Silbiger & Stubler(2019)는 그 실태를 설문으로 조사하였습니다. 46개국 14개 연구분야의 연구자 1,106명이 응답하였습니다. 여기에서 비전문적 심사의견은 논문 원고를 대상으로 삼은 것이 아니라 사람을 겨냥한 논평을 말합니다. 근거 없는 인신공격, 저자의 능력이나 출신에 대한 단정적인 표현이 대표적인 사례입니다. 설문조사에 참여한 응답자의 58%가 비전문적인 심사의견을 한 번 이상 받은 적이 있다고 답하였습니다. 10명 중 6명인 셈이라 결코 드문 경우는 아닙니다. Silbiger & Stubler(2019)는 비전문적인 심사의견에 의한 피해가 소수자 집단에 속한 연구자가 더 많이 경험하였다는 사실을 함께 보고하였습니다.
무례한 심사의견은 흔하고, 하지만 그것이 논문 원고의 완성도나 품질을 평가하는 지표는 결코 아닙니다. 10명 중에서 절반이 넘는 연구자가 그와 같은 일을 겪었다면, 심사의견에서 내뱉어지는 선을 넘는 표현은 연구자의 실패가 아니라 심사제도의 결함을 보여주는 근거입니다.
Silbiger, N. J., & Stubler, A. D. (2019). Unprofessional peer reviews disproportionately harm underrepresented groups in STEM. PeerJ, 7, e8247. https://doi.org/10.7717/peerj.8247
날카롭고 불쾌한 심사의견에는 어떻게 대응해야 하는가?
앞서 서술한 세 가지 연구사례를 펼쳐 놓는다면 대응 원칙을 세울 수 있습니다. 바로 심사의견으로부터 감정과 정보를 분리하는 것입니다. 다음의 네 단계를 추천해 드립니다.
첫째, 에디터로부터 판정 결과를 받은 직후에는 24-48시간 동안에는 아무것도 하지 않는 것이 좋습니다. 투고자의 감정이 심사의견의 해석 결과를 그르치기 때문입니다.
둘째, 심사의견에서 드러나는 어조를 걷어내며 해석을 합니다. 심사의견의 지적을 표로 옮기면서 형용사와 감탄을 삭제하고 철저하게 수정/보완에 대한 지적 사항만을 남겨야 합니다. 이 표를 만들고 난 후에는 처음에는 가혹해 보이던 심사의견이 어느새 감당할 수 있는 것들로 바뀌어 있습니다. 예를 들어서, 저자들이 가장 기초적인 문헌조사 조차 하지 않았다는 의견을 받았다고 가정해 보겠습니다. 그렇다면 심사위의견은 ‘서론에서부터 선행연구를 보강해라’라는 의미로 해석됩니다.
셋째, 사람을 겨냥한 표현은 목록에서 과감하게 분리합니다. 인신공격성 의견은 답변서가 아니라 에디터에게 별도로 보내는 메일을 통해 사실을 근거로 정중하게 문제를 제기해야 합니다. 단, 심사의견에 대한 답변은 오직 논문 원고에 나타난 지적사항에 대해서만 답변합니다.
넷째, 반박을 하기 위해서는 반드시 문헌적인 근거를 제시해야 합니다.
| 가상 사례: 교육학 박사후연구원 L씨 L씨는 해외SSCI 저널로부터 메이저 리비전(major revision) 판정과 함께 신랄한 심사의견을 받았습니다. 심사위원 2 의견은 21개의 항목이었고, 그 중에서 한 문장은 저자의 훈련 배경을 깎아내리는 논평이었습니다. L씨는 하루 동안 휴식을 취한 뒤에 지적 사항을 표로 옮겼습니다. 감정이 담긴 표현을 걷어내자 심사위원이 원했던 곳은 19개로 정리가 되었습니다. 인신공격에 해당하는 한 문장은 답변서에서 제외하였고, 에디터에게 메일을 보내 문제를 제기하였습니다. 결국 심사위원 답변서는 19의 지적에만 반응하였고, 반박은 3건으로 제한하였습니다. 재심사 과정이 이루어진 후에 마이너 리비전(minor revision) 판정을 받을 수 있었습니다. ※ 이 가상 사례는 방문자의 이해를 돕기 위해 프라임 컨설팅이 컨설팅 실무 현장에서 직접 체험한 경험을 기반으로 구성한 가상의 시나리오입니다. |
결론
심사위원 2를 원망하는 농담은 앞으로도 사라지지 않을 것입니다. 하지만 연구결과가 보여준 사실은 우리에게 익숙한 농담과는 사뭇 다릅니다. 심사위원 2의 혐의는 통계분석 결과에 따라 무혐의로 판명되었습니다. 오히려 심사위원 3이 야박한 판정을 내린 것으로 나타났습니다. 심사위원에게 부여된 번호를 원망하는 일은 이제 밈에게 맡기고, 연구자는 절차에 따라 심사위원의 의견에 대응해야 합니다.
