투고 & 심사 전략

논문에서 사용하는 과장된 언어는 40년 동안 아홉 배로 커진 인플레이션 화폐로 비유할 수 있습니다. 이는 논문의 인용 시장에서는 아직 프리미엄이 남아 있으나, 에디터 데스크에서는 이미 할인이 되어 읽힌다는 의미이기도 합니다. 에디터 데스크를 통과하는 초록은 화려한 형용사로 포장된 것이 아니라 수치와 차이라는 금본위 화폐로 쓴 초록입니다.

이 글의 순서 5개 항목

1. 초록 인플레이션은 어떻게 시작되었는가?
2. 과장된 언어를 사용한다면 정말 이득이 되는가?
3. 저널 에디터의 데스크는 왜 초록 인플레이션에 흔들리지 않는가?
4. 그렇다면 금본위 초록은 어떻게 써야 하는가?
5. 결론

늦은 밤 11시, 투고 버튼 앞에서 한 연구자가 초록에서 시작하는 첫 문장을 바라봅니다. “The present study proposes a novel approach.” 커서는 ‘novel’이라는 단어 위에서 깜박입니다. 이 단어를 지우면 연구가 초라해 보일 것 같고, 남겨 두면 어딘가 낯이 뜨겁습니다. 이 망설임에는 40년의 역사가 있습니다. 이 글은 그 역사를 화폐의 이야기로 해석하며 다시 씁니다. 단어가 화폐라면, 학술 초록의 단어는 지금 인플레이션의 한복판에 있기 때문입니다.

초록 인플레이션은 어떻게 시작되었는가?

오늘의 이야기는 네덜란드 위트레흐트의 정신의학 연구실에서 시작됩니다. Vinkers와 동료들은 과학 논문에서 등장하는 언어가 해마다 낙관적으로 변해 간다는 인상을 받았습니다. 그리고 그 인상은 과학적인 검증의 대상으로 이어지게 되었습니다. 연구진은 1974년부터 2014년까지 PubMed에 수록된 논문의 초록 전체를 읽으며 사전에 정한 긍정적인 의미를 가지는 단어 25개와 부정적인 단어 25개의 출현 빈도를 조사하였습니다.

연구의 결과는 흥미로웠는데, 긍정적인 단어를 포함하는 초록의 비율은 1974년에서 1980년 사이에 2.0%였으나 2014년에는 17.5%가 되었습니다. 40년 사이의 상대적인 증가율은 무려 880%입니다. 게다가 특정한 단어의 출현 빈도는 더욱 가파르게 상승한 것으로 나타났습니다. ‘Robust’, ‘novel’, ‘innovative’, ‘unprecedented’라는 단어의 상대적인 빈도율은 최대 15,000%까지 치솟았습니다. 연구진은 논문의 결론에서 건조한 농담을 곁들였습니다. 지금의 추세를 감안한다면 2123년에는 모든 초록에 ‘novel’이 등장하게 된다는 계산이었습니다.

• Vinkers, C. H., Tijdink, J. K., & Otte, W. M. (2015). Use of positive and negative words in scientific PubMed abstracts between 1974 and 2014: Retrospective analysis. BMJ, 351, h6467. https://doi.org/10.1136/bmj.h6467

물론 과학이 40년 사이에 9배 더 새로워졌을(‘novel’)리는 없습니다. 달라진 것은 발견이 아니라 발행량입니다. 같은 가치를 표시하기 위해서 더 많은 단어가 발행되었고, 단어 하나의 구매력은 그만큼 떨어졌습니다. 경제학은 이 구조를 소위 인플레이션(inflation)이라고 부릅니다. 이 글에서는 같은 이름을 빌려 논문의 초록에서 과장된 언어의 가치가 하락하는 현상을 ‘초록 인플레이션(abstract inflation)’이라고 부르겠습니다. ‘Novel’은 이제 희소한 발견의 증거가 아니라, 6편의 초록마다 한 번씩 인쇄되는 지폐입니다.

과장된 언어를 사용한다면 정말 이득이 되는가?

여기에서 이야기는 한 번 뒤집힙니다. 인플레이션 화폐에도 아직 구매력이 남아 있다는 증거가 나왔기 때문입니다.

Lerchenmueller et al.(2019)은 2002년부터 2017년까지 출판된 임상 논문 101,720편과 생명과학 논문 약 620만 편을 분석하였습니다. 이들이 애초에 관심을 가졌던 연구 문제는 피인용 수의 격차가 성별에 따라 나타나는가에 관한 것이었습니다. 여성이 제1저자와 교신저자를 모두 맡은 논문은 남성이 포함된 논문보다 긍정 단어를 12.3% 덜 사용하였고, 영향력 지수(impact factor)가 높은 저널에서는 그 격차가 21.4%까지 벌어졌습니다. 그런데 이 연구의 부산물이 초록 인플레이션의 현상을 설명할 수 있는 근거를 마련하였습니다. 논문의 초록에서 긍정적인 단어를 사용한 논문은 평균 9.4% 더 높게 인용이 되었고, 특히 상위 저널에서는 피인용율의 격차가 13%에 이르렀습니다. 긍정적인 단어 가운데 가장 흔한 단어는 바로 ‘novel’이었습니다.

• Lerchenmueller, M. J., Sorenson, O., & Jena, A. B. (2019). Gender differences in how scientists present the importance of their research: Observational study. BMJ, 367, l6573. https://doi.org/10.1136/bmj.l6573

여기서 연구자들은 자신의 이익을 계산을 할 수 있는데, 초록에서 과장된 언어를 사용한다면 피인용을 늘려주기 때문에 이들에게는 매우 합리적인 선택입니다. 그러나 모두가 같은 계산을 하는 순간 긍정적인 단어의 가치는 함께 추락합니다. 개인의 합리성이 집단의 비합리성을 만드는 구조, 화폐를 찍을수록 화폐의 가치가 떨어지는 구조가 바로 초록 인플레이션으로 이어지는 메커니즘입니다. 연구자 개인이 이 인플레이션 현상을 멈출 수는 없습니다. 그러나 다행히도 인플레이션에 흔들리지 않는 시장이 하나 있습니다.

저널 에디터의 데스크는 왜 초록 인플레이션에 흔들리지 않는가?

그 이유는 바로 피인용과 심사는 서로 다른 시장이기 때문입니다. 피인용은 논문이 게재된 이후에 거래가 이루어지는 시장이고, 그 시장의 고객은 검색 결과에 민감한 반응을 보이는 수천 명의 독자와 개인 연구자입니다. 하지만 심사는 논문 게재가 되기 이전의 시장이며, 그 시장의 고객은 논문 원고(manuscript)를 단 3분 안에 판정하는 저널 에디터 한 명입니다. 두 시장의 환율은 서로 다릅니다.

앞서 언급한 Vinkers et al.(2015)의 연구 결과에 그 단서가 숨겨져 있습니다. 긍정적인 단어가 출현하는 추세는 영향력 지수가 높은 저널에서는 상대적으로 완만하게 상승하였습니다. 심사의 문턱이 높은 시장일수록 인플레이션 화폐가 덜 유통된다는 뜻입니다. Vinkers et al.(2015)의 진단도 같은 해석을 가리키고 있습니다. 연구자의 모든 연구결과가 ‘robust’하고 ‘novel’하다면 그 단어들은 더 이상 아무것도 구별해 주지 못하며, 단어의 선택은 연구의 가치가 아니라 마케팅의 논리를 따르게 된다는 것입니다.

저널 에디터는 이 화폐를 액면가로 받지 않습니다. 에디터 데스크의 입장에서 초록에 등장하는 ‘novel’은 정보가 아니라 소음이며, 판단의 근거는 형용사 뒤에 남는 연구의 본질(예., 통계 수치)입니다. 무엇을 측정하였고, 무엇과 비교하였으며, 얼마나 & 왜 달랐는가.. 이 본질을 담고 있지 않은 논문의 초록은 과장된 언어로 채워질수록 오히려 빈약함만을 드러내게 됩니다 데스크 리젝이 보내는 가장 흔한 신호 가운데 하나가 바로 장황하게 서술한 연구의 배경과 화려한 수식어만으로 가득 채워진 초록이라는 사실은 앞선 게시물에서 다루었습니다. 초록 인플레이션의 시대에서 과장된 언어는 데스크 통과를 돕는 자산이 아니라, 오히려 내 연구에는 본질이 없다는 것을 스스로 알리는 딱지에 가깝습니다.

그렇다면 금본위 초록은 어떻게 써야 하는가?

인플레이션 화폐의 반대편에는 금본위 화폐가 있습니다. 수치, 비교, 경계는 아무리 발행해도 가치가 떨어지지 않는 단어들입니다. 정직한 초록은 겸손한 초록이 아니라, 바로 이 금본위 화폐로 쓴 초록입니다. 다음의 네 가지 원칙을 제안합니다.

1. ‘Novel’ 시험을 실행합니다. 초록에서 novel을 지운 뒤에도 문장이 새로움을 스스로 증명하는지를 확인합니다. 만약 증명하지 못한다면 문제는 단어가 아니라 문장과 연구의 가치입니다.
2. 형용사를 구체적인 값으로 교체합니다. 예를 들어서, “성과가 크게 향상되었다” 대신에 “측정된 학습 성과가 8.9%에서 12.4%로 증가하였다”로 작성합니다.
3. 새로움을 비교로 서술합니다. “기존 연구들은 A를 가정하였으나, 본 연구는 B를 측정하였다”의 형식이 ‘novel’을 대체합니다.
4. 결론에서의 문장은 연구의 결과에서 드러나는 것 까지만을 서술합니다 연구결과 이외의 다른 서술이나 ‘약속’은 심사에서 반드시 청구서로 돌아옵니다.

가상 사례: 보건학 박사과정의 한 연구자는 최근에 해외 저널 두 곳으로부터 연이어 데스크 리젝을 받았습니다. 연구자의 초록을 살펴보았는데, 초록의 첫 문장은 “본 연구는 혁신적이고 전례 없는 접근을 제안한다”로 시작되고 있었습니다. 연구자는 세 번째 투고 전에 초록을 다시 썼습니다. 4개의 과장된 형용사를 지우고, 그 자리에는 표본 크기와 효과의 크기, 선행연구에서와 차별성을 드러내는 구체적인 4개의 값을 넣었습니다. 대신에 논문 원고의 본문은 단 한글자도 수정하지 않았습니다. 세 번째로 투고한 저널에서 원고는 데스크를 통과하여 심사단계에 진입하였습니다. 이 과정에서 심사위원 중의 한 명은 초록이 명료하다는 의견을 남기기도 하였습니다. 이 사례는 프라임 컨설팅이 실무 상황에서 직접 체험한 경험을 바탕으로 재구성한 가상의 시나리오입니다.

결론

경제학에는 “악화가 양화를 구축한다(bad money drives out good)”라는 그레샴의 법칙(Gresham’s law)이 있습니다. 나쁜 화폐가 유통되면 좋은 화폐는 시장에서 사라진다는 의미입니다. 초록 인플레이션은 그레셤의 법칙이 학술 언어에서 실현되고 있는 풍경입니다. ‘Novel’이라는 악화가 6편의 논문 초록마다 유통되는 동안, 수치와 비교라는 양화는 점점 드물어져 왔습니다.

그러나 논문 심사라는 시장에서는 이 법칙이 거꾸로 작동하는 곳이 하나 남아 있습니다. 바로 저널 에디터의 데스크입니다. 그 창구에서는 악화가 할인되고 양화가 액면가 그대로 받아들여집니다. 인플레이션이 심해질수록 정직하게 쓰여진 초록이 가지는 상대적인 가치는 오히려 높아집니다. 비록 많은 논문에서 ‘novel’이 등장하는 시대라고 할지라도 수치로 포장한 초록이 가장 눈에 띄기 마련입니다.

오늘 여러분이 해야 할 일은 초록의 물가 측정입니다. 투고를 앞둔 여러분의 논문에서 담긴 초록을 읽으면서 ‘novel’, ‘robust’, ‘innovative’, ‘unprecedented’와 같은 화려한 미사구가 몇 개 등장하는지를 세어 보시기 바랍니다. 그리고 그 개수만큼의 수치가 초록 안에 담겨 있는지를 살펴보세요. 화려한 형용사보다는 수치가 많은 초록, 그것이 바로 초록 인플레이션 시대의 양화입니다.