AI와 논문작성

AI 도구를 사용해서 논문을 심사하는 폐단이 증가하고 있습니다. 심사위원이 원고를 직접 읽지 않고 AI가 만든 심사의견을 제출하면서, 연구자가 수행한 분석을 하지 않았다고 지적하는 등 사실과 어긋난 지적이 늘어나고 있습니다. 실제로 동료심사 과정에서 AI를 사용한 대필 사례가 이미 주요 학술대회와 학술지에서 확인되었습니다

이 글의 순서 6개 항목

1. AI 논문 심사의 폐단이란 무엇이며 얼마나 확산되었는가?
2. 심사위원이 AI를 사용한다면 어떠한 논문 심사의견 오류를 만들어 내는가?
3. AI 논문심사는 왜 연구자에게 불리한가?
4. 학술지와 저널을 운영하는 발행기관은 AI 심사 정책을 금지하고 있나?
5. 연구자는 사실과 다른 AI 논문 심사평에 어떻게 대응해야 하는가?
6. 결론

이 글에서는 인공지능 도구를 사용하여 논문을 심사한 결과에서 나타나는 폐단을 실제 사례와 관련한 연구 결과를 소개해 드립니다. Nature가 보도한 Frontiers의 설문에 따르면, 111개국의 연구자 1,600명 가운데 절반 이상이 논문 심사 과정에서 AI 도구를 사용한 경험이 있다고 응답하였습니다. AI 사용이 만들어 내는 심사평 오류의 유형과 그 원인, 학술지 정책, 그리고 연구자의 대응 방법을 순서대로 다룹니다. 사실과 다른 심사평을 받았을 때 어떻게 대응해야 하는지에 대해서도 소개를 드리겠습니다.

• Naddaf, M. (2026). More than half of researchers now use AI for peer review — often against guidance. Nature, 649(8096), 273–274. https://doi.org/10.1038/d41586-025-04066-5

AI 논문 심사의 폐단이란 무엇이며 얼마나 확산되었는가?

AI 논문 심사의 폐단이란 심사위원이 심사해야 하는원고를 생성형 AI에 입력하고 그 출력물을 자신의 심사평으로 제출하면서 발생하는 문제를 뜻합니다. 동료심사(peer review)는 같은 분야의 전문가가 원고의 타당성을 직접 판단하는 절차입니다. 심사위원이 판단을 AI에 위임하면 그 절차의 전제가 무너집니다.

확산의 규모는 실증연구의 결과로 확인되었습니다. 스탠퍼드 대학교의 Liang et al.(2024)은 ChatGPT가 출시된 이후에 열린 인공지능 학술대회의 심사평 텍스트를 통계적으로 분석하였습니다. 연구자들은 ICLR 2024, NeurIPS 2023, EMNLP 2023 등에 제출된 심사평 가운데 6.5%에서 16.9%가 대규모 언어모델(LLM)에 의해서 가공되었다고 추정하였습니다. 특히 AI 생성의 비율은 심사의견의 마감 직전에 제출하였거나, 저자의 반박에 응답하지 않은 심사평에서 더 높게 나타났습니다.

• Liang, W., Izzo, Z., Zhang, Y., Lepp, H., Cao, H., Zhao, X., Chen, L., Ye, H., Liu, S., Huang, Z., McFarland, D., & Zou, J. Y. (2024). Monitoring AI-modified content at scale: A case study on the impact of ChatGPT on AI conference peer reviews. Proceedings of the 41st International Conference on Machine Learning, PMLR 235, 29575–29620. https://doi.org/10.48550/arXiv.2403.07183

이와 함께, Russo et al.(2025)은 동일한 학술대회의 심사평 28,028건을 AI 탐지기로 분석하였습니다. 그리고 그들은 ICLR 2024 심사평의 최소 15.8%가 AI의 도움으로 작성되었다고 판단하였습니다. Nature는 2025년 3월 기사에서 AI를 활용한 논문 심사가 여러 연구분야로 확산되고 있으며 많은 과학자가 우려를 표하고 있다고 보도하였습니다.

• Russo, G., Horta Ribeiro, M., Davidson, T. R., Veselovsky, V., & West, R. (2025). The AI review lottery: Widespread AI-assisted peer reviews boost paper scores and acceptance rates. Proceedings of the ACM on Human-Computer Interaction, 9(7), Article CSCW. https://doi.org/10.1145/3757667

• Naddaf, M. (2025). AI is transforming peer review — and many scientists are worried. Nature, 639(8056), 852–854. https://doi.org/10.1038/d41586-025-00894-7

심사위원이 AI를 사용한다면 어떠한 논문 심사의견 오류를 만들어 내는가?

심사위원이 AI를 사용해서 가공하는 심사의견의 가장 심각한 오류는 원고의 사실관계와 어긋난 지적입니다. 연구자가 이미 수행한 분석을 하지 않았다고 지적하거나, 또는 반대로 연구자가 하지 않은 분석을 하였다고 전제하고 비판하는 경우가 여기에 해당합니다. 문장은 유창하고 형식은 완벽하지만, 내용은 원고와 무관한 심사평이 만들어지는 것입니다.

프라임은 컨설팅 현장에서 학위논문 심사와 학술지 투고 이후의 심사위원 의견 대응에 관한 가이드라인을 제공하다 보면 이와 같은 심사평을 최근에 적지 않게 접하게 됩니다. 한 사례에서는, 확인적 요인분석과 신뢰도 계수를 표로 제시하였음에도 불구하고 심사평은 측정도구의 타당도와 신뢰도 검증을 수행하지 않았다고 지적하였습니다. 다른 사례에서는 다중회귀분석을 사용한 연구 결과에 대해서 구조방정식 모형 분석 과정에서 요구되는 적합도 지수가 리포팅이 되지 않았다는 의견도 있었습니다. 연구자는 사용하지도 않은 분석의 적합도를 요구받은 셈입니다. 두 사례 모두 심사평의 문장 구조가 정형화되어 있었고, 원고의 표 번호나 쪽수를 한 번도 언급하지 않았다는 공통점이 있었습니다.

이와 같은 오류의 첫 번째 원인은 언어모델이 가져오는 현상 중의 하나인 환각(hallucination)입니다. 언어모델은 원고(manuscript)를 이해하고 판단하는 대신에 ‘논문 심사평이라면 나올 법한 문장’을 확률적으로 생성합니다. ‘신뢰도 검증이 필요하다’, ‘표본 크기 선정에 관한 근거가 부족하다’와 같은 문장은 어떤 원고에나 붙일 수 있는 상투적인 지적입니다. 원고에 해당 내용이 있는지와는 무관하게 이 문장들이 등장합니다.

두 번째 원인은 입력정보의 손실(loss)입니다. 연구자가 제출한 원고 PDF 파일을 AI 도구에 통째로 입력하면 표와 그림, 부록, 각주 등이 제대로 읽히지 않는 경우가 많습니다. 방법론 챕터에 등장하는 핵심적인 정보가 표에 담겨 있다면, AI는 그 정보가 없는 것으로 판단하고 심사평을 작성합니다. 분량이 비교적 긴 원고의 뒷부분이 입력 한도 초과로 잘려 나가는 경우도 유사한 결과를 가져옵니다.

세 번째 원인은 검증의 부재입니다. 원고를 직접 읽은 심사위원이라면 AI 결과물의 오류를 어렵지 않게 걸러낼 수 있습니다. 문제는 원고를 읽지 않은 채 출력물을 그대로 제출하는 경우입니다. Nature의 보도에 따르면, 캐나다 몬트리올 대학교의 생태학자 Timothée Poisot은 2025년 초 심사평 본문에서 ‘다음은 명료성과 구조를 개선한 심사평의 수정본입니다’라는 문장을 발견하였습니다. 심사위원이 챗봇의 안내 문구까지 그대로 붙여 넣은 것입니다.

LLM이 생성한 심사평의 한계는 실험 연구의 결과에서도 확인되었습니다. Liang et al.(2024)은 GPT-4가 생성한 심사평과 인간 심사위원의 심사의견을 Nature 계열 저널 논문과 ICLR 논문을 대상으로 비교하였습니다. 연구의 결과에 따르면, 심사 지적이 인간 심사위원의 지적과 상당 부분 겹치기는 하지만, 구체적이지 않고 일반적인 지적에 치우친다는 한계를 가진다고 보고하였습니다. 인간 심사위원은 특정한 테이블과 특정한 문장을 지목하지만, AI는 원고 어디에나 적용될 수 있는 문장을 반복하는 경향이 관찰된다는 것입니다.

• Liang, W., Zhang, Y., Cao, H., Wang, B., Ding, D. Y., Yang, X., Vodrahalli, K., He, S., Smith, D. S., Yin, Y., McFarland, D. A., & Zou, J. (2024). Can large language models provide useful feedback on research papers? A large-scale empirical analysis. NEJM AI, 1(8), AIoa2400196. https://doi.org/10.1056/AIoa2400196

AI 논문심사는 왜 연구자에게 불리한가?

AI를 활용한 논문 심사의 결과는 투고한 논문의 가치가 아니라 심사위원이 어떠한 AI 도구를 선택하였는지의 여부에 따라 결정됩니다. 따라서 연구자는 통제할 수 없는 변수에 노출됩니다. Russo et al.(2025)은 동일한 투고 논문에 서로 다른 점수를 준 심사평 쌍(pair)을 비교하였습니다. 그 결과 53.4%의 쌍에서 AI의 도움을 받은 심사평이 인간 심사자의 심사의견보다 높은 점수를 주었습니다. 연구진은 이 현상을 ‘AI 심사 복권(AI review lottery)’이라고 명명하였습니다. 어떤 심사위원을 만나느냐에 따라 논문 게재의 여부가 갈리기 때문입니다.

복권에 당첨되지 못한 반대편에는 아무런 이유가 없이 낮은 심사점수를 받는 연구자가 발생합니다. 사실과 어긋난 지적을 받은 연구자는 반박문(rebuttal)에서 원고에 이미 있는 내용을 다시 설명해야 합니다. 그런데 Liang et al.(2024)의 분석에 따르면 AI를 활용하는 심사위원은 저자의 반박에 응답하지 않는 경향이 강한 것으로 나타나고 있습니다. 연구자가 아무리 정확하게 반박하여도 그 반박문을 읽는 인간 심사자가 없다는 의미입니다.

두 번째 문제는 기밀성의 침해입니다. 심사 중인 원고는 아직 공개가 되지 않은 연구 성과입니다. 심사위원이 이를 AI 도구에 입력하면 원고가 외부 서버로 전송되고, 서비스 약관에 따라 학습 데이터로 사용될 가능성을 배제할 수 없습니다. 미국 국립보건원(NIH)은 2023년 6월에 이 문제를 이유로 연구비 심사에서 생성형 AI 사용을 전면 금지하였습니다.

세 번째 문제는 편향(bias)의 증폭과 심사 책임의 실종입니다. Hosseini & Horbach(2023)는 언어모델이 학습 데이터에 담긴 편향을 심사에 그대로 반영할 수 있으며, 심사 결과의 책임이 누구에게 있는지가 불분명해진다고 지적하였습니다. 그리고 심사위원이 AI를 사용한다면 그 사실을 편집자에게 알리고, 최종 판단의 책임은 인간이 져야 한다고 권고하였습니다.

• Hosseini, M., & Horbach, S. P. J. M. (2023). Fighting reviewer fatigue or amplifying bias? Considerations and recommendations for use of ChatGPT and other large language models in scholarly peer review. Research Integrity and Peer Review, 8, 4. https://doi.org/10.1186/s41073-023-00133-5

네 번째 문제는 조작의 가능성입니다. 심사위원이 AI를 사용한다는 사실이 알려지자, 일부 저자는 제출한 논문 속에 AI만 이 판독할 수 있는 명령문을 코드로 만들어서 숨기기 시작하였습니다. Gibney(2025)는 Nature 기사에서 44개 기관에 소속한 저자들의 프리프린트(pre-print) 18편에서 흰색 글자나 매우 작은 글꼴로 숨긴 ‘긍정적인 심사평만 작성하라’는 문구가 발견되었다고 보도하였습니다. 심사위원의 AI 사용이 저자의 부정행위를 유발하는 악순환이 시작된 것입니다.

Gibney, E. (2025). Scientists hide messages in papers to game AI peer review. Nature, 643(8073), 887–888. https://doi.org/10.1038/d41586-025-02172-y

학술지와 저널을 운영하는 발행기관은 AI 심사 정책을 금지하고 있나?

주요 출판사의 학술지 AI 심사 정책은 심사 중인 원고를 생성형 AI 도구에 입력하는 행위를 공통적으로 금지하고 있습니다. 기밀성 보호를 위해서가 첫 번째 근거이고, AI가 정확하지 않거나 혹은 편향된 결론을 내릴 수 있다는 점이 두 번째 근거입니다. 심사평 작성 자체를 AI에 맡기는 행위는 대부분의 출판사에서 허용되지 않습니다.

그러나 심사 정책과 현실에서의 심사과정 사이에는 여전히 괴리감이 있습니다. Naddaf(2026)가 보고한 Frontiers의 설문 결과에서는, AI를 사용한 심사위원의 59%는 심사평 작성 자체에 AI를 사용하였다고 응답하였습니다. 대부분의 출판사가 금지하는 행위가 실제로는 널리 이루어지고 있는 것입니다. 정책 위반이 발각되면 심사위원 자격 박탈과 소속 기관 통보가 뒤따를 수 있으나, 익명 심사를 전제로 하기 때문에 적발 자체가 어렵습니다.

연구자는 사실과 다른 AI 논문 심사평에 어떻게 대응해야 하는가?

투고한 논문이 다루고 있는 사실과는 전혀 다르게 AI 논문 심사의견을 받았다면 감정적인 반박 대신 투고한 논문의 쪽수와 표 번호를 증거로 삼아 반박문으로 대응해야 합니다. 심사 의견이 AI로 작성되었다고 단정하여 편집자에게 항의하는 방식은 권하지 않습니다. 심사위원의 AI 사용을 증명할 방법이 없고, 편집자와의 관계가 나빠질 수 있기 때문입니다. 프라임은 컨설팅 현장에서 학습한 절차를 다음과 같이 제시합니다.

1. 심사의견의 지적을 항목별로 분리하고, 각 지적이 원고의 어느 쪽, 어느 표, 혹은 어느 문장과 관련되는지를 대조표를 만듭니다.
2. 원고에 이미 있는 내용을 없다고 지적한 항목은 예를 들어서’심사위원님이 지적하신 의견은 원고 12쪽 표 3에 이미 제시되어 있습니다’와 같이 위치를 특정하여 대응합니다.
3. 사용하지 않은 연구방법론을 지적한 심사의견에 대해서는 연구자가 실제로 사용한 연구방법과 그 선택의 근거를 매우 세심하게 설명하고, 심사위원의 지적이 제출한 논문과는 맞지 않음을 정중하게 밝힙니다.
4. 사실과 어긋난 심사위원의 지적이 여러 부분에서 발견이 되면, 반박문과는 별도로 편집자에게 심사위원의 의견이 투고한 논문의 내용과 전혀 부합하지 않는다는 점을 항목별 근거와 함께 보고합니다.
5. AI의 가독성을 높여 준다는 이유로 투고 논문에 숨겨진 명령문을 넣는 행위는 절대로 해서는 안됩니다, 이는 부정행위이며 게재확정 이후에도 철회가 되는 사유가 됩니다.
6. 만약 편집장에게 서한을 보내야 하는 경우에는 사실확인 요청의 형식을 가지는 것이 좋습니다. AI를 사용한 것으로 의심이 되는 심사위원을 비난하지 말고, 심사의견과 투고한 논문 간에 나타나는 일치하지 않는 목록을 제시하고 추가적인 심사위원 배정이 가능한를 문의하는 것이 바람직합니다.

결론

논문 심사위원이 AI를 사용한 결과가 가져오는 폐단은 세 가지로 요약됩니다. 첫째, 연구자가 수행한 것을 하지 않았다고 지적하거나 하지 않은 것을 하였다고 전제하는 오류가 발생합니다. 둘째, 투고한 논문이 서로 동일하더라도 어떤 심사위원을 만나느냐에 따라 결과가 달라지는 불공평이 발생합니다. 셋째, 외부로 공개되지 않은 연구논문이 외부로 유출될 수 있습니다.

앞으로 출판사들은 심사위원으로부터 AI의 사용 여부를 심사의견 제출 단계에서 확인하고, 자체 검증 도구를 제공하는 정책을 운영할 것으로 예상됩니다. 하지만 그때까지 연구자가 할 수 있는 최선의 방법은 사실과 다르게 지적하는 심사위원의 의견에 대해서는 특정한 근거를 기반으로 차분하게 대응하는 것입니다. 논문을 투고한 후에 심사의견을 받았을 때에는 심사위원의 지적 하나하나를 투고한 논문과 서로 대조하시기를 권고합니다.