이미 출판된 아홉 편의 논문을 같은 저널에 다시 투고를 하였더니, 그 중에서 여덟 편이 리젝되었습니다. 판정의 상당 부분은 논문 원고의 품질이 아니라 심사위원 추첨이 결정합니다. 그러나 게재 복권은 확률을 조정할 수 있는 복권입니다. 심사의견서에 등장하는 공통적으로 지적된 곳을 수정한 저자는 다음 추첨의 당첨 확률을 높일 수 있습니다.
이 글의 순서 5개 항목
1980년 무렵, 미국의 두 심리학자가 학계에서 가장 위험한 장난을 설계하였습니다. 두 사람은 저명한 심리학자들이 발표한 12편의 논문을 골랐습니다. 12편 모두 80%의 리젝률을 자랑하는(?) 탑 저널에 이미 출판된 논문이었습니다. 연구진은 논문 저자의 이름을 가공의 인물로 바꾸고, 소속은 트라이밸리 인간잠재력 센터라는 무명의 기관으로 바꾸었습니다. 그리고 그 원고들을 처음 출판하였던 바로 그 저널에 다시 투고하였습니다. 만약 논문을 이미 출판한 저널이 그 논문을 다시 심사하면 어떤 판정을 내릴 것인가..? 이 글은 그 실험의 결과에서 출발합니다. 그리고 논문 심사에 숨어 있는 추첨의 구조를 철저하게 살펴보겠습니다.
게재 복권(The publication lottery)은 무엇인가?
실험의 결과부터 말씀드리겠습니다. Peters & Ceci(1982)가 다시 투고한 12편 가운데 재투고라는 사실을 알아차린 사람은 에디터와 논문 심사자 38명 가운데 단 3명뿐이었습니다. 적발되지 않은 9편은 정식 심사대에 올랐습니다. 그리고 9편 가운데 8편이 리젝 판정을 받았습니다. 리젝 판정이 내려진 주요 사유는 연구 방법론에 나타나는 심각한 결함 때문이었다고 합니다. 해당 저널이 몇 해 전에는 우수하다고 판정하여 자기네 지면에 발행한 바로 그 원고(manuscript)들이었습니다.
- Peters, D. P., & Ceci, S. J. (1982). Peer-review practices of psychological journals: The fate of published articles, submitted again. Behavioral and Brain Sciences, 5(2), 187–195. https://doi.org/10.1017/S0140525X00011183
실험에서 투고한 원고는 원본과 같은 버전이었습니다. 그런데 달라진 것은 투고한 저자의 이름표와 심사위원의 조합뿐입니다. 같은 원고가 어느 심사위원을 만나는지에 따라 게재와 리젝 판정 사이를 오간다면, 논문심사에는 추첨이라는 속성이 섞여 있는 것입니다. 이 글은 이 속성을 풀어서 ‘게재 복권’이라는 이름을 붙입니다. 게재는 결코 논문 원고에서 드러나는 품질만으로는 결정되지 않으며, 품질 + 추첨이 결합하여 결정된다는 뜻입니다. 연구자들은 이 사실을 사석에서 흔히 ‘운(luck)’이라는 말로 사용하고 있습니다. 다만 그 운을 투고 전략의 변수로 다루지 않을 뿐입니다.
실험에서 우연의 크기는 측정이 되었는가?
네, 측정되었습니다. 그것도 세 번, 그리고 서로 다른 방법으로 측정되었습니다.
첫 번째 측정은 심사위원 2명 간의 일치도(inter-rater reliability)였습니다. Rothwell & Martyn(2000)은 임상신경과학 분야를 다루는 저널 2곳과 학술대회 2곳에서 같은 원고를 평가한 심사위원 2명의 판정을 서로 대조하였습니다. 그런데 일관성의 수준은 우연히 기대할 수 있는 수준을 겨우 넘어섰습니다. 아래의 논문 제목이 그 결론을 그대로 묻고 있습니다. 과연 심사위원 사이의 합의는 우연보다 나은가….?
- Rothwell, P. M., & Martyn, C. N. (2000). Reproducibility of peer review in clinical neuroscience: Is agreement between reviewers any greater than would be expected by chance alone? Brain, 123(9), 1964–1969. https://doi.org/10.1093/brain/123.9.1964
두 번째 측정은 메타분석(meta-analysis)으로 이루어졌습니다. Bornmann et al.(2010)은 동료심사(peer evaluation) 신뢰도를 다루는 48편의 연구로부터 19,443편의 원고 자료를 수집하였습니다. 평가자 간 일치도의 평균은 급내상관계수(intra-class correlation coefficient)를 기준으로 0.34에 그쳤습니다. 일반적으로 0.70 이상을 신뢰할 수 있는 수준으로 판단하는 기준의 절반에도 미치지 못하는 값입니다.
- Bornmann, L., Mutz, R., & Daniel, H.-D. (2010). A reliability-generalization study of journal peer reviews: A multilevel meta-analysis of inter-rater reliability and its determinants. PLoS ONE, 5(12), e14331. https://doi.org/10.1371/journal.pone.0014331
세 번째 측정은 가장 대담한 실험을 통해서 이루어졌습니다. 2014년, 기계학습 분야의 학회인 NeurIPS의 조직위원장인 Cortes와 Lawrence는 제출한 논문의 10%인 166편을 2곳의 독립된 논문심사 위원회에 동시에 배정하였습니다. 같은 논문을 두 심사위원회가 각자 심사한 것입니다. 그리고 두 위원회가 내린 판정은 166편 중에서 43편에서 엇갈렸습니다. 한 심사위원회가 합격 판정을 내린 논문 가운데 절반 가량은 다른 위원회로부터 리젝을 받았습니다. 이 결과는 Cortes & Lawrence(2021)가 프리프린트(pre-print)의 형태로 공개하였으며, 아직 공식 심사를 거치지 않은 연구의 결과라는 점을 밝혀 둡니다. 논문심사라는 제도를 심사한 실험이 pre-print 버전으로 남아 있다는 사실은 그 자체가 각주로 읽혀질 수 있습니다.
- Cortes, C., & Lawrence, N. D. (2021). Inconsistency in conference peer review: Revisiting the 2014 NeurIPS experiment [Pre-print]. arXiv. https://doi.org/10.48550/arXiv.2109.09774
그렇다면 논문 원고의 품질은 전혀 의미가 없는 것인가?
무의미하지 않습니다. 복권의 은유에는 구분을 가능하게 하는 경계점이 있으며, 그 경계점이 재투고를 위한 전략의 근거가 됩니다.
Cortes & Lawrence(2021)이 발표한 연구결과로부터 그 경계선을 찾을 수 있습니다. 합격 판정의 일관성 수준은 절반 수준이었으나, 리젝 판정의 수준은 80%를 웃돌았습니다. 두 심사위원회는 어떤 논문을 불합격 시킬지에 대해서는 서로 상당히 일치하였고, 어떤 논문에 합격 판정을 내릴지는 크게 갈렸습니다. 이 심사판정 결과에 대한 비대칭이 의미하는 것은 선명한데, 완성도가 부족한 논문은 어느 추첨에서도(적어도 80% 이상의 일치도에서) 걸러지게 됩니다. 즉, 논문심사를 받는 원고를 세 부류로 나누어 생각하면 이해가 쉽습니다.
- 명백히 우수한 원고: 어느 심사위원이 배정되어도 합격 판정을 받습니다, 심사자를 열 번 바꾸어도 결과는 같습니다.
- 명백히 부족한 원고: 어느 심사위원이 배정되어도 불합격입니다. NeurIPS 실험에서 리젝 판정의 일치율이 80%를 웃돌았다는 결과가 이 점을 보여줍니다.
- 당락의 경계선에 선 원고: 붙을 수도 있고 떨어질 수도 있는, 합격점 언저리의 원고입니다. 바로 여기에서 심사자가 누구인가에 따라 결과가 달라집니다. 관대한 심사자를 만나면 합격, 하지만 엄격한 심사자를 만나면 불합격입니다.
종합한다면, 품질은 논문 원고를 합력/불합격 경계선까지 데려가는 힘이고, 추첨은 경계선 위에서 작동하는 운입니다. 따라서 게재 복권의 올바른 해석은 체념이 아닙니다. 품질은 당첨 확률의 기울기를 바꿉니다. 그리고 일반 복권과는 달리, 이 복권의 응모자는 회차마다 합격 확률을 올릴 수 있습니다. 리젝 판정과 함께 도착하는 심사의견서가 바로 그 수단입니다.
당첨 확률을 어떻게 설계하는가?
확률 설계의 출발점은 리젝 판정을 다시 정의하는 것입니다. 리젝은 원고에 대한 최종 판결이 아니라, 심사자 모집단에서 2-3명을 추출한 표본의 1회 판정입니다. 표본 하나의 결과로 모집단을 단정할 수 없다는 통계학의 원리는 논문심사에도 그대로 적용됩니다. 다음의 네 단계를 제안합니다.
- 리젝을 표본 추출의 결과로 해석합니다. 논문 심사위원 2-3명의 판정은 분야 전체의 판정이 아니라 한 번의 추첨 결과입니다. 낙담의 크기를 판정의 크기에 맞출 필요가 없습니다.
- 심사위원 의견서에서 공통적으로 등장하는 지적 사항과 일부 심사위원의 지적을 서로 분리합니다. 모든 심사위원이 함께 지적한 사항은 원고의 품질에 대한 신호입니다. 하지만 만약 심사위원 1명만 지적한 사항은 추첨의 소음일 수 있습니다. 다만 소음으로 단정하기 전에 철저하게 근거를 확인해야 합니다.
- 공통적으로 지적한 곳을 우선적으로 반영하여 원고를 수정합니다. 이 수정이야 말로 다음의 추첨에서 당첨 확률을 올리게 됩니다.
- 저널이 추구하는 aims & scope와 논문 원고가 다루는 영역이 서로 적합한지를 판단합니다. 적합도의 순서로 타겟 저널 3곳을 미리 정합니다. 리젝 통보를 받은 당일에 타겟 저널을 선택하면 연구자의 감정이 판단을 앞서게 됩니다.
| 가상 시나리오: 교육학 박사과정의 한 연구자는 원고를 투고하였지만 저널 두곳에서 모두 리젝 판정을 받았습니다. 첫 번째 저널의 심사위원 2명과 두 번째 저널의 심사자 2명은 서로 다른 지점을 공격하며 문제를 삼았습니다. 4명의 의견서를 나란히 펼쳐 놓고 꼼꼼하게 살펴보니 그리 어둡지는 않은 탈출구가 보였습니다. 표본의 대표성은 3명의 심사위원이 모두 지적한 공통분모이었고, 나머지 지적들은 각자 한 명씩만 제기한 것들이었습니다. 연구자는 공통 지적에 대응하기 위해 통계분석을 추가적으로 수행하고, 단독 지적사항 중에서 근거를 확인할 수 있는 2건에 대해서만 수정과 보완을 하였습니다. 연구자는 수정본을 세 번째 저널에 투고하였고, 소폭 수정(minor revision) 판정을 받고 게재 확정 판정을 받을 수 있었습니다. 3번의 추첨이 아니라, 2번의 추첨과 1번의 확률을 조정한 결과이었던 것입니다. 이 가상 시나리오는 프라임 컨설팅이 겪은 실제의 상황을 참고하여 다시 구성한 가상 시나리오입니다. |
결론
Peters & Ceci(1982)의 실험은 논문심사 제도의 치부를 드러낸 사건으로 오늘날까지도 회자되고 있습니다. 그러나 40년이 지난 지금, 그 실험의 유용성은 폭로가 아니라 연구자에게 처방을 제공함에 있습니다. 논문심사에 추첨이 섞여 있다는 사실을 받아들이는 순간, 리젝 판정의 의미는 달라지게 됩니다. 리젝은 논문의 원고에게 실패라는 낙인을 찍는 것이 아니라 단지 표본 한 개에 의한 판정입니다. 그리고 낙첨 영수증에는 다음 회차의 확률을 올리는 데 도움을 주는 정보가 고스란이 인쇄되어 있습니다.
게재 복권이 일반 복권과는 서로 다른 점은 2가지입니다. 응모 횟수에 제한이 없다는 것, 그리고 응모자가 회차마다 확률을 조정할 수 있다는 것입니다. 확률을 조정하는 연구자에게 복권은 더 이상은 운이 지배하는 게임이 아니라 설계로 작동하는 게임이 됩니다.
