'참신한' 논문이 영향력 지수(impact factor)의 등급이 낮은 저널에 실리고 한참 뒤늦게 인용되는 현상을 이 글에서는 참신함에 부과되는 벌금이라고 이름을 짓겠습니다. 방대한 논문 자료를 분석한 실증 연구의 결과를 통해 벌금의 구조와 지연된 보상을 차례대로 설명하고, '참신함'과 게재 확률을 함께 제고할 수 있는 전략을 제시합니다.
이 글의 순서 6개 항목
1901년, 통계학자 칼 피어슨이 자신의 논문 한 편을 발표하였습니다. 흩어진 점들과 서로 잘 일치하는 직선과 평면을 찾는 방법을 다룬 논문이었습니다. 오늘날에 널리 활용되고 있는 통계분석 기법 중의 하나인 그 유명한 주성분분석(principal component analysis)의 원리가 바로 이 논문에서 출발하였습니다. 그런데 이 논문의 피인용 기록에는 특이한 점이 있습니다. 논문이 발표된 후 거의 100년 가까이 인용되지 않다가, 2000년대 초반부터 피인용 수가 폭발적으로 증가한 것입니다. 컴퓨터와 대용량 자료의 시대가 등장하고 나서야 그 쓰임새가 확인되었기 때문입니다. 계량서지학 연구자들은 오랜 무관심 후에 뒤늦게 인정받는 이런 논문을 ‘잠자는 미녀 논문’이라고 부릅니다. 그런데 문제는 이러한 사례가 드물지 않다는 점입니다. 새로운, 또는 ‘참신한’ 논문이 세상에 처음 공개가 되었을 때 ‘야박하게’ 평가받는 뚜렷한 패턴이 대규모 자료를 분석한 결과를 통해 반복적으로 확인되고 있습니다. 이 글은 논문의 ‘참신함’에 부과되는 그 불이익을 ‘참신함 벌금’으로 명명하고, 벌금의 고지 구조를 살펴보도록 하겠습니다. 그리고 벌금을 줄이면서 ‘참신함’을 지키는 투고 전략을 함께 다루겠습니다.
- Pearson, K. (1901). Principal components analysis. The London, Edinburgh, and Dublin Philosophical Magazine and Journal of Science, 6, 559.
‘참신함 벌금’이란 무엇인가?
‘참신함 벌금’은 크게 두 부분으로 나뉘어 집니다. 첫 번째 부분은 논문이 공개된 즉시 부과되는 불이익의 형태입니다. 새로운 것(예., 새로운 연구주제, 새로운 연구방법론 등)을 시도한 연구는 평범한(?) 연구보다 영향력 지수(impact factor)가 낮은 등급으로 분류되는 저널에 실리고, 발표가 된 이후에도 피인용수가 적습니다. 두 번째 부분은 연구자가 뒤늦게 얻는 보상입니다. 시간이 흐름에 따라 ‘참신한’ 논문의 피인용지수가 최상위권으로 진입할 확률이 오히려 높아진다는 뜻입니다. 정리를 하면, 벌금은 ‘참신함’이라는 가치가 없어서 부과되는 것이 아닙니다. 그 가치가 너무 늦게 확인되기 때문에 벌금이 부과되는 것입니다. 이 벌금의 고지 구조를 이해한다면 효과적인 투고 전략을 마련할 수 있습니다. 바로 보상을 얻을 때 까지 연구에 매진하는 것입니다.
논문의 ‘참신함’은 어떻게 측정이 되었는가?
“이 논문은 참신하다”라는 판단은 보통 심사위원의 감각에 달려 있습니다. 어떤 심사자는 논문이 새롭다고 하고, 다른 심사자는 이미 다루고 있는 이야기라고 평가절하 합니다. 사람마다 답이 달라지는 평가 지표로는 수백만 편의 논문을 비교하는 연구를 할 수 없습니다. 그래서 Wang et al.(2017)은 인간의 주관에 맡기지 않고 컴퓨터가 기계적으로 측정할 수 있는 ‘참신함’의 평가 기준을 마련하였습니다.
- Wang, J., Veugelers, R., & Stephan, P. (2017). Bias against novelty in science: A cautionary tale for users of bibliometric indicators. Research Policy, 46(8), 1416-1436. https://doi.org/10.1016/j.respol.2017.06.006
이들 연구진이 발견한 평가 기준은 의외였는데, 논문의 본문이 아니라 가장 마지막에 등장하는 참고문헌 리스트이었습니다. 참고문헌 리스트는 그 논문이 어떤 지식의 재료들을 사용했는지를 보여주는 명세서입니다. 그렇다면 지금까지 아무도 함께 쓴 적이 없는 두 종류의 재료를 처음으로 쓴 논문이야말로, ‘참신함’을 보여줄 수 있는 논문이라고 예상한 것입니다.
연구진은 표본 논문들의 참고문헌 목록을 조사하면서, 학술 문헌의 기록에서 그때까지 한 번도 등장한 적이 없었던 저널끼리이 짝(pair), 즉 최초의 결합을 전부 추려냈습니다. 예를 들어서, 어떤 논문의 참고문헌 목록에 심리학 저널의 논문과 전산학 저널의 논문이 함께 등장한다고 가정하겠습니다. 그리고 Wang et al.(2017)은 수백만 편의 논문이 저장된 학술 데이터베이스 전체를 확인하였습니다. 지금까지 발표된 모든 논문 가운데, 심리학 저널과 전산학 저널이 참고문헌 리스트에서 함께 등장한 논문이 과거에 한 편이라도 있었는가를 조사하였습니다. 만약 한 편도 없었다면, 이 논문은 학술 문헌의 역사에서 서로 다른 지식의 영역을 처음으로 연결시킨 논문으로 판단할 수 있습니다.
Wang et al.(2017)은 심리학-전산학과 같은 짝이 참고문헌 리스트에 담겨진 논문을 ‘참신한’ 논문이라고 판정하였습니다. 그리고 이들 결합된 논문의 96%가 서로 다른 학문 영역에 속한 저널들의 짝이었습니다. 심리학-심리학의 짝이 아니라, 심리학-전산학처럼 영역의 경계를 무너뜨린 연구들인 것입니다. 즉, ‘참신한’ 연구의 대부분은 학제간 연구(interdisciplinary study)의 특징을 가졌다는 의미입니다.
‘참신한’ 논문은 실제로 어떤 대우를 받고 있나?
Wang et al.(2017)의 연구 결과에서 나타난 또 한 가지 주목할 점은, ‘참신한’ 논문의 대부분은 영향력 지수가 낮은 저널에 실렸다는 것입니다. 그리고 ‘참신한’ 논문이 세상에 공개가 된 후, 처음에는 피인용 숫자도 적었습니다. 그런데 관찰 기간을 늘려보니 이전의 패턴이 정반대로 바뀌었습니다. ‘참신한’ 논문이 장기적으로는 최상위 인용 논문으로 진입할 확률이 다른 ‘평범한’ 논문보다 훨씬 높았진 것입니다. 특히, 연구자가 속해 있는 영역보다 다른 영역의 연구가 ‘참신한’ 논문을 더 많이 인용하였습니다. 막상 자기의 연구영역으로부터 받은 심사와 평가는 ‘참신함’을 늦게 알아보고, 뒤늦은 보상은 다른 분야로부터 얻는다는 역설적인 구조를 보여주고 있습니다.
Wang et al.(2017)의 연구 결과는 연구자에게 중요한 시사점을 제공합니다. 임용과 승진, 졸업의 평가가 단기적인 피인용 지수와 저널의 등급으로만 이루어진다면, 그 평가는 가장 ‘참신한’ 연구에게 가장 불리한 영향을 끼치게 됩니다. Wang et al(2017) 역시 단기적인 평가 지표에 매몰된 어설픈 평가가 위험 부담이 큰 연구를 차별할 수 있다고 경고하였습니다. 새로운 시도를 담은 원고가 상위 저널에서 연이어 리젝 판정을 받더라도, 그것을 연구 실패의 원인으로 해석해서는 안된다는 점입니다.
뒤늦게 인정받는 논문은 얼마나 흔한가?
서두에서 언급한 칼 피어슨의 사례가 과연 아주 특별한 예외적인 사례인지를 검증한 연구가 있습니다. Ke et al.(2015)은 한 세기에 걸쳐 출판된 논문 2,200만 편의 피인용 기록을 전수 조사하였습니다. 크게 두 가지 종류의 결과를가 나타났는데, 첫째는 ‘잠자는 미녀 논문’은 결코 예외가 아니었다는 점입니다. 뒤늦게 인용이 되기 시작한 몇몇 논문들은 특별한 사연이 있었던 것이 아니라, 학술 연구의 세계에서 줄곧 일어나는 평범한 사건이었던 것입니다. 둘째는 다른 연구 영역이 바로 그 ‘참신함’의 가치를 알아 채렸다는 것입니다. 오랫동안 인용되지 않던 ‘참신한’ 논문의 피인용 수가 증가하기 시작한 시점을 추적한 결과, 같은 분야의 동료들이 뒤늦게 알아본 경우보다 전혀 다른 분야의 연구자들이 그 논문을 찾아내서 인용하기 시작한 경우가 대부분이었습니다. 피어슨의 논문을 세상 밖으로 드러낸 것은 통계학이 아니라 거의 100년 뒤에 등장한 데이터 분석이라는 영역이었습니다.
이와 유사한 사례가 바로 아인슈타인이 포돌스키, 로젠과 함께 1935년에 발표한 논문입니다. 양자역학의 완전성을 따진 이 논문은 발표 당시에는 그다지 좋은 평가를 받지 못했습니다. 하지만 수 세기가 지난 오늘날에 양자정보에 관한 연구가 활발하게 수행되면서 키 페이퍼(key paper)로 다루어 지고 있습니다. ‘참신한 논문’이 공개된 후에 느껴지는 싸늘함은 그 논문의 가치에 대한 판정 결과가 결코 아닙니다. 다만 제대로 된 평가를 위해서는 시간이 오래 걸릴 뿐입니다.
- Ke, Q., Ferrara, E., Radicchi, F., & Flammini, A. (2015). Defining and identifying Sleeping Beauties in science. Proceedings of the National Academy of Sciences, 112(24), 7426-7431. https://doi.org/10.1073/pnas.1424329112
‘참신함’과 게재 가능성을 함께 얻는 방법은 무엇인가?
‘참신함 벌금’을 줄일 수 방법은 피인용이 최상위권에 위치하는 논문들에서 관찰할 수 있었습니다. Uzzi et al.(2013)은 반세기에 걸쳐 출판된 1,790만 편의 논문이 인용하는 참고문헌을 분석하였습니다. 그리고 피인용 지수에서 최상위권에 위치하는 논문들에서는 뚜렷한 패턴이 관찰되었습니다. 참고문헌의 대부분은 그 분야에서 매우 익숙한, 혹은 ‘관습적’인 문헌을 출처로 사용하였고, 경우에 따라서는 소수의 ‘이례적’이거나 낯이 익지 않은 문헌을 인용한 것으로 나타났습니다. ‘관습적인’ 문헌과 서로 다른 영역의 문헌을 함께 인용하는 논문이 최상위 피인용 논문이 될 확률은 그렇지 않은 논문의 2배인 것으로 확인되었습니다. 또한 연구진은 자신의 영역에서 익숙한 문헌과 다른 연구영역이 다루는 문헌을 함께 인용한 다학제적인 연구를 누가 더 많이 하는지를 확인하였습니다. 이를 위해 연구자 단독으로 출판한 논문과 공동저자로 출판한 논문을 서로 비교하였는데, 후자에서 다학제적인 연구의 특징이 드러날 확률이 단독 저자의 논문보다 37.7% 높았습니다. 즉, 서로 다른 연구배경을 가진 공동저자가 함께 모이면, 각자에게 익숙한 연구문헌들이 한 편의 논문에서 만나게 되고, 그 만남이 바로 다학제적 연구로 이어지는 것입니다.
- Uzzi, B., Mukherjee, S., Stringer, M., & Jones, B. (2013). Atypical combinations and scientific impact. Science, 342(6157), 468-472. https://doi.org/10.1126/science.1240474
| 가상 사례: 소비자학 박사과정 수료생 J씨 J씨는 머신러닝(machine learning) 알고리즘을 사용해서 소비자 행동을 예측하는 연구의 내용을 담은 원고를 작성하였습니다. 상위급 저널에 투고를 하였는데, 판정의 결과는 리젝이었습니다. 리젝을 받은 사유는 기존의 이론과 연결성이 부족하였다는 것이었습니다. 이후에 J씨는 서론을 수정하였는데, 서론의 처음 두 단락에서는 소비자학이 의례히 다루는 키 페이퍼들을 인용하였습니다. 그리고 머신러닝 알고리즘의 소개와 그 활용 가능성을 확장하는 모습으로 서론의 구성을 꾸려 나갔습니다. 또한, 투고자가 원하는 심사위원의 연구 영역을 선택하는 옵션에서는 소비자학과 정보시스템 두 분야의 연구자를 함께 적었습니다. 논문 수정본을 다른 저널에 투고한 뒤에 메이저 리비전(major revision)과 마이너 리비젼(minor revision)의 과정을 거치고 최종 게재 확정을 받을 수 있었습니다. 논문이 출판되고 2년 뒤에 피인용 건수를 확인해 보니, 인용의 절반 이상이 소비자학이 아닌 다른 외부 연구영역이 많은 인용을 한 것으로 나타났습니다. ※ 위의 가상 사례는 프라임 컨설팅의 대표가 컨설팅 실무 현장에서 체험한 경험을 바탕으로 구성한 가상의 시나리오입니다. |
결론
칼 피어슨의 논문을 다시 언급하겠습니다. 1901년의 피어슨은 자신의 통계기법이 100년이 지난 후에 데이터 분석을 위해 반드시 필요한 기법이 될 것이라고는 상상하지 못했을 것입니다. 오늘날의 연구자는 피어슨보다는 더 유리한 위치에 있습니다. ‘참신함 벌금’의 구조가 연구의 결과를 통해 밝혀졌기 때문입니다. ‘참신한’ 논문은 등급이 낮은 저널에 게재되고, 초기 피인용이 적으며, 보상은 자신의 연구영역과는 동떨어져 있는 전혀 다른 영역으로부터 얻게 됩니다. 그리고 낯이 익은 참고문헌과 새로운 문헌이 함께 결합된 논문이 가장 높은 확률로 최상위 피인용에 도달합니다. 이 벌금의 구조를 이해하는 연구자는 자신이 내야 하는 벌금을 줄일 수 있고, 그리고 벌금이 부과되더라도 그것을 실패로 잘못 해석하지 않습니다.
