논문의 초록은 심사위원이 원고(manuscript)의 학술적인 가치를 처음 평가하는 영역입니다. 인공지능(AI)이 생성한 초록 50편을 대상으로 수행한 조사에서 블라인드 심사자(blind reviewer)는 68%를 식별하였으나 32%를 식별하지 못한 것으로 나타났습니다. 그리고 탐지 도구의 점수는 두 집단 사이에서 유의한 차이가 관찰되지 않았습니다. 논문 원고가 리젝 판정을 받는 이유는 ‘참고문헌’과 ‘통계분석’, 그리고 ‘연구방법론’에서의 서술에서 비롯됩니다.
이 글의 순서 6개 항목
2022년 12월, Northwestern University의 Catherine Gao와 연구진은 ChatGPT에 하나의 짧은 프롬프트(prompt)를 입력하였습니다. 연구진은 논문 제목과 학술지명을 알려주고, 그 학술지의 양식에 맞게 초록을 작성하도록 지시하였습니다. 당시의 인공지능 모형은 인터넷에 접속할 수 없는 상태였으므로, 원문의 세부 내용을 참조하지 않은 채 독자적으로 초록을 생성하였습니다.
연구진은 2022년 11월과 12월에 Nature Medicine, JAMA, The New England Journal of Medicine, The BMJ, The Lancet에 게재된 50편의 논문을 선정해서 동일한 작업을 반복해서 수행하였습니다. 이어서 인공지능이 생성한 초록 50편과 초록의 원본 50편을 탐지 도구와 함께 4명의 블라인드 심사자(blind reviewer)에게 제공하였습니다. 각 심사위원은 생성한 초록과 원본 초록이 무작위로 혼합된 초록 25편을 받아 인공지능에 의한 생성 여부를 판정하였습니다. 그리고 분석을 수행한 결과, 심사위원들은 인공지능이 생성한 초록 가운데 32%를 사람이 작성한 글로 판정하였습니다(Gao et al., 2023).
이 글에서는 인공지능이 생성한 초록이 진위여부의 판별을 통과하는 범위와 그 초록이 담긴 논문의 원고(manuscript)가 리젝판정을 받는 이유 및 그 과정을 살펴보도록 하겠습니다.
- Gao, C. A., Howard, F. M., Markov, N. S., Dyer, E. C., Ramesh, S., Luo, Y., & Pearson, A. T. (2023). Comparing scientific abstracts generated by ChatGPT to real abstracts with detectors and blinded human reviewers. npj Digital Medicine, 6(1), 75. https://doi.org/10.1038/s41746-023-00819-6
AI가 생성한 초록은 논문심사와 진위여부의 탐지에서 어느 정도로 식별되는가?
인공지능 탐지 도구는 AI가 생성한 초록을 대부분 식별하였으나, 동료심사를 수행하는 심사위원은 3편 가운데 1편꼴로 이를 식별하지 못하였습니다. Gao et al.(2023)이 활용한 GPT-2 Output Detector의 판별 성능은 ‘AUROC’ 0.94입니다. 구체적으로 1.46%를 판정 기준으로 설정하였을 때, AI가 생성한 초록을 식별해 내는 ‘민감도(sensitivity)’는 86%, 원본을 원본으로 판정하는 ‘특이도(specificity)’는 94%로 나타났습니다.
표 1.은 Gao et al.(2023)이 사용한 3가지의 판별 수단이 두 집단의 초록을 판별한 결과를 나타내고 있습니다.
| 판별 수단 | AI가 생성한 초록 | 초록 원본 |
|---|---|---|
| GPT-2 Output Detector의 생성 확률(중위) | 99.98% | 0.02% |
| iThenticate 유사도 지수(중위수) | 27 | 100 |
| 눈가림 심사자의 생성물 판정 | 68%(34편) | 14%(7편) |
표 1.에서 주목해야 하는 점은, ‘표절 검사’ 도구인 iThenticate의 판별 결과에서는 원본 초록에 대한 유사도 지수(=100)가 AI가 성생한 초록의 지수(=27)보다 높다는 사실입니다. 표절 검사는 기존 선행문헌과의 중복을 탐색하도록 설계하였기 때문에, 문헌을 전혀 참조하지 않고 새롭게 생성한 문장에는 오히려 매우 낮은 유사도 값을 부여합니다.
Gao et al.(2023)이 보고한 조건부 분석 결과는 본 글에서의 쟁점과 일치합니다. 논문심사 위원이 적발한 AI가 생성한 초록 vs. AI가 생성하지 않았다고 잘못 판정한 AI가 생성한 초록 집단 간에 탐지 도구의 점수 차이는 통계적으로 유의하지 않은 것으로 나타났습니다(p=.45). 즉, 탐지 도구가 인공지능이 생성하였다고 판정한 초록 조차도 심사위원의 검증을 그대로 통과할 수 있음을 의미합니다.
AI가 생성한 50편의 초록 중에서 학술지의 고유한 소제목 양식을 준수한 것은 8편(16%)에 그쳤습니다. 한편, 심사위원들은 인공지능이 생성한 것으로 의심되는 초록의 서술 방식이 피상적이고 모호하다고 평가하였습니다. 이 결과에 기초해서 Gao et al.(2023)은 AI에 의해 생성된 문장이 사실의 정확성 측면에서 면밀한 검증을 거쳐야 한다고 보고하였습니다. 또한, AI의 지원을 받아 작성한 원고에 대해서는 그 활용 사실을 투명하게 공개해야 한다고 제안하였습니다.
Else(2023)는 Gao et al.(2023)의 연구결과를 인용하며 ChatGPT가 작성한 초록이 동료 과학자를 속였다고 전하였습니다. 나아가, 인공지능이 생성한 문장이 학술지 게재 단계까지 통과한 이후에 심각한 결함이 드러난 사례도 다수 보고되었습니다. 해외 학술지가 게재를 철회한(retract) 원고의 결함 유형을 ‘AI 논문 철회 사례: 해외저널은 왜 게재를 취소하였는가?‘에서 자세하게 다루고 있습니다.
- Else, H. (2023). Abstracts written by ChatGPT fool scientists. Nature, 613(7944), 423. https://doi.org/10.1038/d41586-023-00056-7
진위여부의 판별을 통과한 논문의 원고는 왜 리젝판정을 받는가?
문장의 외형을 재현(replicate) 또는 모방하는 작업과 참조 대상의 실재를 확인하는 작업이 서로 구분되어 있기 때문입니다. AI로 작성한 원고에서 결함이 나타나는 경우는 크게 2가지입니다.
첫째, 대규모 언어모형이 참고문헌의 서지사항을 형식적으로만 재현해서 생성하는 경우입니다. Walters & Wilder(2023)는 42개의 연구주제에 대해 AI가 생성한 84편의 논문으로부터 636건의 인용을 추출하고 그 실재 여부를 대조하였습니다. 그리고 연구의 결과에서는 조작된 인용의 비율은 GPT-3.5가 제시한 222건의 인용 가운데 55%, GPT-4가 제시한 인용 가운데 18%로 나타났습니다. 또한, 조작되지 않은 인용에서도 GPT-3.5는 43%, GPT-4는 24%의 서지사항에 오류를 포함하고 있었습니다.
Walters & Wilder(2023)는 조작된 인용이 실제로 존재하는 학술지명과 출판사명을 포함하고 있기 때문에 외형적으로는 정확하게 보일 수 있다고 보고하였습니다. Tang(2025)은 이 결함이 연구자의 학술적인 역량과 태도에까지 부정적인 영향을 미친다고 지적하였습니다. 연구자가 인공지능이 생성한 문장의 오류 여부를 검토하더라도, 문헌을 직접 수집하고 종합하는 연구 과정을 거치지 않았으므로 그 내용을 이해하지는 못합니다. 그 결과, 충분하게 이해하지 못한 내용이 연구자의 이름으로 주장되는 상황이 발생하게 됩니다. 결국 연구자는 자신이 제출한 논문을 논문심사 과정에서 논리적으로 방어할 수 없습니다.
둘째, 탐지 도구가 문장의 외형적인 특성만으로 AI에 의한 생성 여부를 판정하는 한계에서 비롯됩니다. Liang et al.(2023)은 7개의 탐지 도구에 비영어권 응시자가 작성한 91편의 TOEFL 글과 미국 8학년 학생이 작성한 88편의 글을 입력하였습니다. 분석 결과, 평균 오판율은 비영어권 응시자의 글에서 61.22%, 미국 8학년 학생의 글에서 5.19%로 나타났습니다. 특히, 91편 가운데 18편(19.78%)은 7개 탐지 도구 모두가 인공지능이 생성한 것이라고 잘못 판정하였습니다.
한편, 연구진이 ChatGPT에 원어민 수준에 가깝게 어휘를 다듬도록 지시한 후 동일한 판별 도구에 다시 입력하였더니, 평균 오판율은 61.22%에서 11.77%로 49.45%포인트 감소하였습니다. 즉, 어휘의 다양성을 높이는 작업이 탐지 도구의 판정 결과를 역전시켰음을 의미합니다.
- Liang, W., Yuksekgonul, M., Mao, Y., Wu, E., & Zou, J. (2023). GPT detectors are biased against non-native English writers. Patterns, 4(7), 100779. https://doi.org/10.1016/j.patter.2023.100779
- Tang, B. L. (2025). The epistemic downside of using LLM-based generative AI in academic writing. Publications, 13(4), 63. https://doi.org/10.3390/publications13040063
- Walters, W. H., & Wilder, E. I. (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 13(1), 14045. https://doi.org/10.1038/s41598-023-41032-5
논문심사에서 리젝의 여부를 결정하는 항목은 무엇인가?
논문심사 위원이 가장 큰 비중을 두는 항목은 통계분석에 관한 서술이었습니다. Bordage(2001)는 1997년과 1998년에 의학교육 학술대회에 투고된 151편의 원고에 대해 심사위원이 제시한 1,053건의 부정적인 의견을 분석하였습니다. 1편의 원고에는 평균 4.1명의 심사자가 참여하였으며, 1명의 심사자가 제시한 의견은 평균 8.1건이었습니다.
표 2.는 리젝 판정의 근거로 제시된 심사위원 의견의 상위 항목과 그 비중을 나타내고 있습니다.
| 순위 | 심사자가 제기한 평가 항목 | 의견의 비중 |
|---|---|---|
| 1 | 통계기법이 부적절하거나 불완전 | 11.2% |
| 2 | 분석결과의 과대해석 | 8.7% |
| 3 | 측정도구가 부적절하거나 설명이 불충분 | 7.3% |
| 4 | 표본의 크기가 작거나 표집의 편향 | 5.6% |
| 5 | 글이 읽기가 난해 | 3.9% |
상위 4개 항목이 모두 통계와 측정, 표본에 관한 항목이라는 점에 주목해야 합니다. 반면, 문헌고찰이 불완전하거나 부정확하며 시의성을 상실하였다는 지적은 8위에 머물렀고, 그 비율은 3.1%에 그쳤습니다.
한편, 탐지 도구의 판정 결과를 원고의 리젝판정 여부를 위한 근거로 삼을 수 없다는 점도 함께 고려해야 합니다. Weber-Wulff et al.(2023)의 조사 결과에 따르면, 14개 도구의 판정 정확도가 80%에 도달하지 못하였습니다. 도구에 따라 0%에서 50%까지 분포한 오탐 확률은 인공지능으로 번역한 글에서 특히 높게 나타났습니다.
Gao et al.(2023)의 연구 설계에 내재된 한계도 함께 확인해야 합니다. 분석에 투입한 표본은 50편에 그쳤고, 판정에 참여한 심사위원은 4명이었습니다. 또한, 탐지 도구가 510개 토큰까지만 처리할 수 있었기 때문에 일부 초록의 전문을 정확하게 판정하지 못하였습니다. 나아가, 심사위원들은 인공지능 생성물과 인간이 작성한 결과물이 혼합되어 있다는 사실을 이미 알고 있는 상태에서 판정을 수행하였습니다. 이는 인공지능의 생성물을 식별하기에 유리한 연구 설계였다는 점을 시사합니다.
- Bordage, G. (2001). Reasons reviewers reject and accept manuscripts: The strengths and weaknesses in medical education reports. Academic Medicine, 76(9), 889–896. https://doi.org/10.1097/00001888-200109000-00010
- Weber-Wulff, D., Anohina-Naumeca, A., Bjelobaba, S., Foltýnek, T., Guerrero-Dib, J., Popoola, O., Šigut, P., & Waddington, L. (2023). Testing of detection tools for AI-generated text. International Journal for Educational Integrity, 19(1), 26. https://doi.org/10.1007/s40979-023-00146-z
원고를 투고하기 전에 수행해야 하는 확인 절차
참고문헌의 실재를 확인: 본문에 인용한 모든 문헌의 DOI를 doi.org 주소로 검색해서 논문 페이지가 나타나는지를 대조합니다. DOI가 없는 문헌은 Crossref와 학술지가 운영하는 공식 웹사이트, PubMed 중에서 2곳 이상을 조회합니다. 본문이 인용한 참고문헌과 목록에서의 문헌을 1:1로 확인하는 방법은 ‘참고문헌 목록의 작성과 검증‘에서 다루고 있습니다.
인용한 내용이 뒷받침하는지의 여부를 대조: 실재가 확인된 문헌을 대상으로, 본문의 서술이 그 문헌의 초록이나 본문에 실제로 담겨 있는지 대조합니다. 논문의 결과와 정반대로 서술한 내용, 논문이 다루지 않은 대상이나 변수를 기술하는 내용, 2차 인용을 원문의 인용으로 제시한 곳이 있는지를 식별해서 표시합니다. 서지사항이 정확한 문헌에서도 오류가 발생하기 때문에 이 단계를 생략해서는 안 됩니다.
통계분석 결과를 다시 서술: p-값만으로 결과를 단정적으로 해석한 문장을 탐색해서 효과크기와 신뢰구간을 포함하는 문장으로 서술합니다. 통계적으로 유의하지 않은 결과를 ‘차이가 없다’ 또는 ‘인과관계가 성립하지 않는다’라고 단정적으로 기술한 내용, 유의한 것으로 나타난 결과를 인과관계로 해석한 내용을 모두 수정합니다.
방법론에 관한 내용에 재현 가능성을 추가로 기술: 표본의 추출 과정과 자료 수집의 시점, 처치의 조건, 분석에 사용한 소프트웨어의 버전 등을 확인합니다. 제3자가 동일한 표본과 동일한 처치로 연구를 반복할 수 있는 수준까지 서술을 구체화해야 합니다. 다른 연구자가 재현이 가능하도록 연구방법론을 서술하는 방법은 ‘제4장. 연구의 방법’ 작성: 재현 가능성(replicability)의 구현‘에서 설명하고 있습니다.
AI 사용에 관한 문구를 공개: 타겟 학술지가 운영하는 ‘저자를 위한 가이드(Author’s Guide)’을 참고해서 인공지능 활용에 관한 규정을 확인합니다. Ganjavi et al.(2024)이 조사한 100개의 학술지 가운데 87곳이 관련 지침을 운영하는 것으로 나타났습니다. 그 중에서 98%는 인공지능을 저자로 올리는 것을 금지하였습니다.
- Ganjavi, C., Eppler, M. B., Pekcan, A., Biedermann, B., Abreu, A., Collins, G. S., Gill, I. S., & Cacciamani, G. E. (2024). Publishers’ and journals’ instructions to authors on use of generative artificial intelligence in academic and scientific publishing: Bibliometric analysis. BMJ, 384, e077192. https://doi.org/10.1136/bmj-2023-077192
자주 묻는 질문 (FAQ)
Q. 탐지기에서 인공지능(AI)가 작성한 것으로 판정되었으나, 인공지능을 사용하지 않은 경우에는 어떻게 대응해야 합니까?
A. 인공지능 탐지 도구의 판정 결과는 그 자체로 원고의 리젝 판정을 위한 직접적인 근거가 되지 못합니다. Liang et al.(2023)이 7개 탐지 도구에 비영어권 응시자의 글을 입력해서 분석한 조사 결과에 따르면, 평균 61.22%의 글이 인공지능이 생성한 결과물이라고 잘못 판정하였습니다. 따라서 연구자는 논문을 집필하는 과정에서 버전별 기록과 원시 자료 파일의 최종 수정 시각을 증빙자료로 제출할 수 있도록 준비해야 합니다.
Q. 인공지능이 생성한 참고문헌은 어디까지 확인해야 합니까?
A. 본문이 인용한 모든 선행문헌의 실재 여부를 하나씩 직접 조회해야 합니다. Walters & Wilder(2023)는 인공지능이 조작해서 생성한 인용이라도 실재하는 학술지명과 출판사명을 조합해서 제시한다고 주장하였습니다. 따라서 연구자는 각 문헌의 디지털 객체 식별자(DOI)를 직접 조회해서 실제로 논문이름과 저자, 학술지명, 페이지 등의 정보가 존재하는지를 1:1로 대조해서 확인해야 합니다.
Q. 국문으로 작성한 논문에도 동일한 기준이 적용됩니까?
A. 국문으로 작성하는 논문에도 동일한 심사 기준이 그대로 적용됩니다. 참고문헌의 실재 여부는 논문심사 과정에서도 검증 대상이 때문입니다. 특히 국문 학위논문에서는 영문 문헌의 서지사항을 옮겨 적는 과정에서 저자명과 출판 연도가 왜곡되는 오류가 발생하기 때문에 원문의 표기와 1:1로 대조해서 확인해야 합니다.
Q. 인공지능을 활용했다는 사실을 공개하면 논문심사에서 불리한 평가를 받지 않을까요?
A. 인공지능을 활용했다는 사실을 공개하는 것은 다수의 출판사가 저자에게 요구하는 정규 절차입니다. Ganjavi et al.(2024)의 조사 결과에 따르면, 생성형 인공지능의 활용과 관련한 투고 지침을 마련한 24개 출판사 전체가 인공지능 사용 내역을 투명하게 공개해야 한다고 요구하고 있습니다. 오히려 인공지능의 활용 사실을 공개하지 않은 채 논문이 게재된 이후에 그 사실이 적발된다면 신뢰도와 연구윤리의 측면에서 훨씬 심각한 위험이 발생합니다.
Q. 영문 교정 작업에만 인공지능을 활용해도 이를 공개해야 합니까?
A. 타겟 학술지의 저자 가이드라인을 먼저 확인해야 합니다. Ganjavi et al.(2024)은 인공지능 활용의 정보에 관한 공개 범위가 출판사와 학술지에 따라 서로 다르게 나타났으며, 동일한 출판사 내에서도 각 학술지가 서로 다른 내부 지침을 운영하는 것으로 나타났습니다.
결론
인공지능이 생성한 초록을 판별할 때에는 문장의 외형적인 특성에만 의존해서 이루어집니다. 50편의 초록을 대상으로 수행한 조사 결과, 블라인드 심사자는 인공지능이 생성한 초록 중에서 68%를 식별하였으나 나머지 32%는 식별하지 못하였습니다. 또한, 탐지 도구의 판정 점수는 심사위원이 적발한 초록 vs. 식별하지 못한 초록에서 유의한 차이가 나타나지 않았습니다. 이는 심사위원이 인공지능 생성물을 식별하거나 식별하지 못한 결과가 탐지 도구의 판정 점수와는 무관하다는 점을 의미합니다.
대규모 언어모형은 서지사항의 형식을 그럴듯하게 모방할 수 있지만, 인용한 문헌의 실재 여부와 인용한 내용이 정확하다고 말할 수 없습니다. 인공지능이 생성한 인용의 절반 이상에서 조작된 허위 문헌으로 확인된 사례도 보고되었습니다. 또한, 탐지 도구의 판정 결과는 어휘의 다양성을 조절하는 작업만으로도 판정 결과를 우호적으로 수정할 수 있기 때문에 논문에서 드러나는 결함의 여부를 알려 주지 못합니다.
학술지 논문 심사 과정에서 리젝 판정이나 게재 철회가 발생하는 영역은 참고문헌의 실재 여부, ‘연구방법론’의 타당성, 그리고 통계 분석의 서술입니다. 문장의 표현을 다듬는 교정 작업과 연구 내용 자체의 결함을 제거하는 작업은 서로 구별되는 과업입니다.
