리젝되었던 논문을 다시 투고해서 게재된 논문은 리젝 없이 일사천리로 게재된 논문보다 더 많이 인용됩니다. 그러나 이 리젝 프리미엄은 연구자에게 자동으로 지급되지 않습니다. 리젝 판정이 담긴 심사위원의 의견서를 귀중한 자산으로 바꾸고 고군분투하며 논문을 수정한 연구자만이 리젝 프리미엄을 회수합니다. 하지만, 관련 문헌은 대다수의 저자가 그 자산을 버린다는 사실을 보여주고 있습니다.
1937년, 한 생화학자가 세계적인 학술지 Nature로부터 자신이 투고한 논문이 리젝되었다는 소식을 담은 편지를 받았습니다. 학술지의 지면이 부족하다는 사유였습니다. 하지만 그 연구자는 다른 곳에 투고를 하여 논문을 실을 수 있었습니다. 그 논문의 내용은 오늘날 모든 생화학 교과서에 시트르산 회로라는 이름으로 등장하고 있습니다. 한스 크렙스는 훗날 자신에게 리젝 판정을 통보했던 편지를 액자에 넣어서 걸어 두었다고 전해집니다. 경제학자인 조지 애컬로프의 일화도 널리 알려져 있습니다. 레몬 시장을 다룬 논문이 3곳의 학술지에서 연이어 리젝된 뒤에 게재되었고, 훗날에는 노벨상 수상으로 이어졌습니다. 두 일화는 수많은 연구자에게는 오랫동안 위로의 소재였습니다. 그런데 관련한 문헌들은 이 일화들이 예외가 아니라 통계적인 경향의 극단값임을 보여주고 있습니다. 이 글은 리젝이 남기는 뜻밖의 수익, 즉 리젝 프리미엄(reject premium)에 관한 이야기입니다.
리젝 프리미엄은 무엇인가?
이야기는 몬트리올 맥길대학교의 한 생태학 연구실에서 시작됩니다. Calcagno et al.(2012)은 논문이 게재되기 전에 어떠한 여정을 거치는지가 궁금하였습니다. 투고와 리젝의 기록은 저널의 서버 안에 숨어 있기 때문에 외부인은 그 이력에 접근할 수 없습니다. 따라서 이들 연구진은 우회로를 선택하였습니다. 연구진은 생명과학 분야를 다루는 923개의 저널에 2006년부터 2008년 사이에 게재된 논문의 교신저자 전원에게 설문을 발송했습니다. 질문의 핵심은 하나였습니다. 당신의 논문이 지금의 저널에 게재되기 전에 다른 저널로부터 리젝판정을 받은 적이 있는가였습니다. 그리고 설문자료를 분석한 결과, 8만 편 이상의 논문이 다른 저널로부터 리젝을 받은 이력을 가지고 있는 것으로 나타났습니다.
첫 번째 발견은 무난한 수준이었습니다. 게재 논문의 약 4분의 3은 처음 투고한 저널에 그대로 실렸습니다. 저자들은 대체로 저널을 잘 고르고 있었습니다. 그런데 두 번째 발견이 반전이었습니다. Calcagno et al.(2012)이 설계한 비교 방법을 풀어 보면 다음과 같습니다. 한 저널에서 같은 해에 게재된 논문을 두 그룹으로 분류하였습니다. 한 그룹은 처음부터 그 저널에 투고하여 바로 실린 논문들입니다. 다른 그룹은 다른 저널에서 리젝을 당한 뒤에 옮겨 와서 실린 논문들입니다. 그리고 몇 년 뒤에 인용 횟수를 세어 보니, 리젝을 거친 두 번째 그룹이 인용을 더 많이 받았습니다. 이 비교 설계가 중요한 이유가 있습니다. 게재 지면과 게재 시점이 동일하기 때문에, 두 그룹에서 관찰되는 차이는 리젝이라는 이력뿐입니다. 일반적인 통념대로라면 한 번 떨어진 원고(manuscript)가 더 낮은 값을 받아야 합니다. 하지만 Calcagno et al.(2012)의 연구결과는 정반대를 보여주었습니다. 이 역설에 리젝 프리미엄이라는 이름을 붙인 이유가 바로 그 때문입니다. 리젝의 이력이 논문의 최종 가치에 얹어 주는 웃돈이라는 뜻입니다.
- Calcagno, V., Demoinet, E., Gollner, K., Guidi, L., Ruths, D., & de Mazancourt, C. (2012). Flows of research manuscripts among scientific journals reveal hidden submission patterns. Science, 338(6110), 1065–1069. https://doi.org/10.1126/science.1227833
프리미엄은 어디에서 생기는가?
Calcagno et al.(2012)의 해석은 매우 간명합니다. 저널 에디터와 심사위원의 지적, 그리고 재투고에 들인 노력과 시간이 원고의 품질을 더욱 향상시킨다는 것입니다. 저널의 입장에서 리젝은 원고를 연구자에게 되돌려 보내는 행위이지만, 원고는 그냥 빈손으로는 돌아오지 않습니다. 리젝을 맞은 원고에는 2-3명의 심사위원이 깨알같이 작성한 심사의견이 함께 실려 옵니다.
리젝 이후의 궤적을 추적한 다른 연구가 Calcagno et al.(2012)의 해석을 뒷받침하고 있습니다. Casnici et al(2017)은 한 국제 학술지에서 리젝된 456편의 원고에 대해 리젝 판정 이후의 여정을 추적하였습니다. 리젝을 받기 전에 심사를 더 여러 차례 거친 원고는 다른 곳에 게재된 뒤에 더 많이 인용되었습니다. 보다 상세한 심사의견서를 받은 원고도 같은 경향을 보였습니다. Casnici et al(2017)은 동료심사가 이미 리젝된 논문 원고의 수준을 높였다고 결론지었습니다. 프리미엄의 원천은 리젝이라는 사건이 아니라, 바로 리젝 판정과 함께 동봉된 심사의견서이었던 것입니다.
- Casnici, N., Grimaldo, F., Gilbert, N., Dondio, P., & Squazzoni, F. (2017). Assessing peer review by gauging the fate of rejected manuscripts: The case of the Journal of Artificial Societies and Social Simulation. Scientometrics, 113(1), 533–546. https://doi.org/10.1007/s11192-017-2241-1
다만, 이들의 해석에는 각주가 한 개 붙어야 합니다. Calcagno et al.(2012)의 분석 결과가 발표된 이듬해에 반론이 등장하였습니다. Brembset al.(2013)은 Calcagno et al.(2012)가 제시한 프리미엄의 평균 크기가 논문 한 편당 인용 0.1회 남짓으로 작다고 지적하였습니다. 통계적으로는 유의하지만 실무적으로는 미미한 효과라고 평가하였습니다. 다만, 이 지적은 리젝 프리미엄을 부정하지 않습니다. 오히려 핵심을 드러냅니다. 평균이 작다는 것은 프리미엄이 모든 저자에게 골고루 지급되지 않는다는 것을 의미하기 때문입니다. 심사의견서가 지적하는 수정/보완해야 할 점을 충실하게 반영한 연구자는 프리미엄을 가지고, 봉투도 뜯지 않은 연구자는 평균을 깍아 먹습니다. 다음의 내용에서는 그 격차를 보여드리겠습니다.
- Brembs, B., Button, K., & Munafò, M. (2013). Deep impact: Unintended consequences of journal rank. Frontiers in Human Neuroscience, 7, 291. https://doi.org/10.3389/fnhum.2013.00291
리젝된 원고는 어디로 가는가?
대다수의 연구자들은 리젝된 원고를 버리지 않고 다른 저널에 투고합니다. 이 사실을 처음 체계적으로 추적한 연구자는 방사선의학 분야를 전공하는 Chew입니다. Chew(1991)는 미국의 한 영상의학 학술지가 리젝으로 판정한 원고 254편의 행방을 4년 가까이 추적하였습니다. 그리고 연구의 결과에 따르면, 리젝된 논문 원고 중에서 64%는 57개의 다른 저널에 게재되어 있었습니다. 리젝은 논문 원고의 종착역이 아니라 환승역이었습니다.
- Chew, F. S. (1991). Fate of manuscripts rejected for publication in the AJR. American Journal of Roentgenology, 156(3), 627–632. https://doi.org/10.2214/ajr.156.3.1899764
그러나 환승만으로는 프리미엄을 얻을 수 없습니다. Crijns et al.(2021)의 추적 연구는 불편한 수치를 보고하고 있습니다. 연구진은 한 정형외과 학술지가 리젝으로 판정한 원고 250편과 함께 동봉된 리젝 판정 의견서 중에서 실행(예., 수정 및 보완)이 가능한 609개의 심사위원 지적을 추출하였습니다. 그리고 분석을 수행한 결과, 리젝된 논문 원고의 80%는 몇 년 안에 다른 저널에 게재가 되어 있었습니다. 그런데 게재된 논문과 리젝 당시의 원고를 서로 대조한 결과, 심사위원의 지적이 반영된 최종버전은 전체의 34%에 그치는 것으로 나타났습니다. 3개의 지적 가운데에 2개는 버려졌다는 의미입니다. 이 연구의 결과는 다수의 저자가 전문가의 무료 진단서를 봉투째 폐기하고 같은 원고를 다른 저널에 다시 제출하였다다고 해석할 수 있습니다. 리젝 프리미엄의 평균이 제 값어치를 못받은 원인이 바로 여기에 있었습니다.
- Crijns, T. J., Ottenhoff, J. S. E., & Ring, D. (2021). The effect of peer review on the improvement of rejected manuscripts. Accountability in Research, 28(8), 517-527. https://doi.org/10.1080/08989621.2020.1869547
그렇다면 리젝 프리미엄을 어떻게 회수하는가?
리젝 프리미엄을 회수하기 위해서는 리젝 판정을 담은 심사의견서를 비용 청구서가 아니라 자산 명세서로 취급하는 데에서 부터 시작합니다. 이를 위한 4단계 절차를 다음과 같이 제안합니다.
- 리젝 판정을 받은 당일에는 어떠한 결정도 하지 않습니다. 가능한 48시간동안 안정을 취한 후에 메일의 문장에서 리젝 사유를 구체적으로 식별합니다.
- 심사위원 의견서에 있는 모든 지적사항을 실행 항목으로 변환합니다. 하나 하나의 지적마다 수용 가능, 부분 수용 가능, 또는 근거 있는 반박을 할당합니다. 이는 34%가 아니라 100%의 수정/보완을 하기 위한 목적입니다.
- 수정 내용을 반영표에 기록합니다. 이 반영표는 리젝으로 판정한 저널에 보내는 문서가 아니라, 다음 저널의 심사 질문을 예측하는 연구자만의 자산 명세서가 됩니다.
- 다음 타겟 저널을 적합도 기준으로 다시 선택합니다. 만약 리젝 판정의 사유가 저널이 추구하는 Aims & Scope와 일치하지 않는다고 명시하였다면, 논문원고를 수정하는 것 보다는 다른 저널에 투고하는 것이 바람직합니다.
| 가상 사례: 간호학 박사과정의 한 연구자는 SCI 등재 학술지로부터 리젝 판정을 받았습니다. 심사의견서에는 심사위원 3명으로부터 받은 11개의 지적사항이 적혀 있었습니다. 연구자는 11개를 모두 실행 항목으로 바꾸어 9개를 수용하고 나머지 2개에는 반박 근거를 마련하였습니다. 측정 도구의 타당도에 관한 지적사항은 추가 분석으로, 표본의 편중에 대한 지적은 연구의 한계에 명시하고 민감도 분석을 추가로 수행한다는 전략을 마련하였습니다. 2달 뒤에 연구자는 다른 저널에 투고하였고, 한 차례의 소폭 수정(minor revision) 과정을 거친 후에 게재가 확정되었습니다. 첫 번째 심사에서 받은 지적사항은 이후 저널의 심사에서 다시 등장하지 않았습니다. 이 가상 사례는 프라임 컨설팅이 실무 현장에서 체험한 사실을 참고하여 구성한 가상의 시나리오입니다. |
결론
리젝 판정을 손실로 기록하는 회계 처리 방법은 이제 조정이 필요합니다. 관련 문헌이 보여주는 연구의 결과에 따르면, 리젝 판정을 받은 원고의 대다수는 결국 게재가 되고, 평균적으로 더 많이 인용됩니다. 그리고 그 웃돈은 심사위원의 의견서를 철저하게 반영한 저자에게 지급됩니다. 리젝은 원금의 손실이 아니라, 이자가 붙는 예치에 가깝습니다. 다만 이자는 자동이체로 입금이 되지 않습니다. 심사위원의 의견서라는 통장을 꼼꼼하게 확인하는 연구자만이 자신의 이자를 찾아갑니다.
한스 크렙스가 걸었다는 액자의 이야기로 돌아가 보겠습니다. 그 액자에 걸린 것은 실패의 기념품이 아니었을 것입니다. 자신의 원고가 한 번 더 수정될 기회를 얻었다는 선불 영수증입니다. 만약, 최근에 리젝 판정을 받은 분이 이 글을 보고 계시다면 함께 동봉된 심사위원 의견 중에서 지적사항이 몇 개인지 세어 보시기 바랍니다. 그리고 그중에서 몇 개의 지적사항을 반영할 것인지를 세어 보세요. 두 숫자의 차이는 바로 여러분이 아직 회수하지 않은 리젝 프리미엄의 잔고입니다.
