AI와 논문작성

AI로 논문을 작성한다면 참고문헌 조작과 연구 역량 저하, 그리고 연구자의 책임 위반이라는 세 가지 위험을 수반합니다. 그리고 학위논문 심사와 학술지 투고 과정에서 매우 심각한 불이익으로 이어질 수 있습니다.

이 글의 순서 7개 항목

1. AI로 논문을 작성하는것이 왜 학계에서 문제가 되고 있나?
2. AI로 작성한 논문에서 나타나는 참고문헌 오류는 얼마나 심각한가?
3. AI로 논문을 작성하면 연구자의 학습을 저해하는가?
4. ChatGPT를 써서 논문을 쓰는 것이 연구 윤리 기준에 어떻게 저촉되나?
5. 통계분석 결과에도 문제가 발생하는가?
6. 논문 심사 과정에서 AI로 논문을 작성했다는 사실이 드러날 수 있나?
7. 마치면서

인공지능(AI) 도구로 논문을 작성하면 참고문헌의 조작과 연구 역량의 저하, 그리고 저자의 연구윤리 위반이라는 매우 심각한 세 가지 위험을 수반하게 됩니다. 특히, 학위논문 심사와 학술지의 투고 및 심사과정, 그리고 게재가 되더라도 돌이킬 수 없는 불이익으로 이어질 수 있습니다.

논문 제출과 투고 마감이 다가오고 있습니다. 이때 AI 도구를 사용해서 논문을 작성하려는 유혹이 강하게 느껴지게 됩니다. AI 프로그램을 실행하고 주제를 입력하면 몇 십초, 혹은 몇 분 만에 그럴듯한 초안을 만들어 줍니다. 그러나 그 초안을 논문에 옮겨서 적는 순간, 연구자는 예상하지 못한 위험을 떠안게 됩니다. 이 글에서는 AI 도구로 논문을 쓰면 안 되는 이유를 최근에 등장하고 있는 학술 연구의 문헌적인 근거를 곁들여서 소개를 드리겠습니다. 아울러, AI 도구를 연구 과정에서 어떻게 써야 하는지를 함께 살펴보겠습니다.

AI로 논문을 작성하는것이 왜 학계에서 문제가 되고 있나?

AI 도구로 논문을 작성하는 것은 주요 학술지가 명시적으로 금지하거나 제한하는 행위입니다. 세계적으로 저명한 저널 중의 하나인 Science의 편집장인 Holden Thorp는 2023년도의 사설에서 AI가 생성한 텍스트를 논문에 사용하는 행위를 연구 부정행위로 간주한다고 밝혔습니다. 또한 그는 AI 도구가 저자 요건(authorship)을 충족할 수 없다는 점을 그 근거로 제시하였습니다. 인간 저자는 자신의 연구 결과물에 책임을 질 수 있는 존재이지만, AI 도구에게는 어떠한 책임도 물을 수 없기 때문입니다.

• Thorp, H. H. (2023). ChatGPT is fun, but not an author. Science, 379(6630), 313. https://doi.org/10.1126/science.adg7879

그 배경에는 언어모델의 작동 원리가 차지하고 있습니다. Bender et al.(2021)은 대규모 언어모델을 ‘확률적 앵무새(stochastic parrot)’에 비유하였습니다. 언어모델은 훈련 데이터에 나타난 언어의 통계적인 패턴을 조합하여 문장을 생성할 뿐, 그 내용의 의미나 진위를 이해하지 못한다는 것입니다. 그러므로 AI가 만든 논문의 문장은 학술적인 주장처럼 그럴듯 해 보이지만, 근거와 논리를 연구자가 직접 확인한 결과가 아닙니다.

• Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the dangers of stochastic parrots: Can language models be too big? In Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (pp. 610–623). https://doi.org/10.1145/3442188.3445922

AI로 작성한 논문에서 나타나는 참고문헌 오류는 얼마나 심각한가?

AI 도구를 활용해서 논문을 쓸 때 발생하는 가장 치명적인 결함은 존재하지 않는 참고문헌을 만들어 내는 현상입니다. 학계에서는 이를 ‘환각(hallucination)’이라고 부릅니다. Walters & Wilder(2023)는 ChatGPT에게 42개 주제를 가지는 문헌에 대해서 문헌고찰을 수행하게 한 뒤, ChatGPT가 생성한 636개의 인용을 학술 데이터베이스와 서로 대조하였습니다. 그 결과 GPT-3.5가 인용한 문헌 중에서 55%, 그리고 GPT-4가 제시한 인용의 18%는 실재하지 않는 문헌이었습니다. 설령 문헌이 실재하더라고 권(Volume)과 호(Issue), 페이지, 연도 등의 서지 정보에서 상당한 오류가 발견되었습니다.

• Walters, W. H., & Wilder, E. I. (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 13, 14045. https://doi.org/10.1038/s41598-023-41032-5

의학 분야의 결과는 더욱 심각합니다. Bhattacharyya et al.(2023)은 ChatGPT가 생성한 의학 계열에서 출판된 논문 30편이 인용하는 참고문헌 115개를 분석하였습니다. 그 가운데 47%는 조작된 문헌이었고, 46%는 실재하지만 정확하지 않은 서지 정보를 담고 있었습니다. 하지만 정확한 참고문헌은 전체의 7%에 불과하였습니다. 학위논문의 참고문헌 목록에 존재하지 않는 논문이 나타난다면, 심사위원은 이를 곧바로 연구 부정행위의 증거로 판단할 수 있습니다.

• Bhattacharyya, M., Miller, V. M., Bhattacharyya, D., & Miller, L. E. (2023). High rates of fabricated and inaccurate references in ChatGPT-generated medical content. Cureus, 15(5), e39238. https://doi.org/10.7759/cureus.39238

AI로 논문을 작성하면 연구자의 학습을 저해하는가?

AI를 사용하여 논문을 작성하는 행위는 연구자가 갖추어야 할 사고 역량의 형성을 방해합니다. 이 점은 최근의 대규모 실험(large-scale experiment) 결과에서도 나타나고 있습니다. 예를 들어서, Bastani et al.(2025)은 약 1,000명의 고등학생을 대상으로 GPT-4 기반 학습 도구의 효과를 분석하였습니다. AI를 사용한 집단은 연습 단계에서 성적이 크게 향상되었습니다. 그러나 AI 접근을 차단한 평가에서는, 답을 바로 제시하는 방식의 AI를 사용한 집단이 AI를 전혀 사용하지 않은 집단과 비교하여 오히려 낮은 성취를 보였습니다. 이 결과에 대해서 연구진은 답을 제공하는 AI가 학습자의 역량 습득을 대체해 버린다고 해석하였습니다.

• Bastani, H., Bastani, O., Sungu, A., Ge, H., Kabakcı, Ö., & Mariman, R. (2025). Generative AI without guardrails can harm learning: Evidence from high school mathematics. Proceedings of the National Academy of Sciences, 122(26), e2422633122. https://doi.org/10.1073/pnas.2422633122

같은 맥락에서 Zhai et al.(2024)은 AI 대화 시스템에 대한 과의존이 학생의 인지 능력에 미치는 영향을 다루는 관련 문헌에 대하여 체계적 문헌고찰(systematic literature review)을 수행하였습니다. 연구진은 AI에 대한 과의존이 의사결정력과 비판적인 사고, 그리고 분석적 추론 능력을 약화시킨다고 주장하였습니다. 학위논문은 연구자의 독립적인 연구 역량을 증명하는 기회이고, 과정이며, 또한 가치있는 결과물입니다. 논문을 작성할 때에 AI에 의존할수록 연구자는 자신의 연구역량을 향상시킬 기회를 잃게 됩니다.

• Zhai, C., Wibowo, S., & Li, L. D. (2024). The effects of over-reliance on AI dialogue systems on students’ cognitive abilities: A systematic review. Smart Learning Environments, 11, 28. https://doi.org/10.1186/s40561-024-00316-7

ChatGPT를 써서 논문을 쓰는 것이 연구 윤리 기준에 어떻게 저촉되나?

ChatGPT를 사용해서 논문을 작성하는 것은 저자 책임의 원칙과 정직성의 원칙에도 저촉됩니다. 국제 출판윤리위원회(COPE)는 AI 도구가 저자 요건을 충족할 수 없다고 명시하고 있습니다. 저자는 연구 내용의 정확성과 진실성에 책임을 져야 하지만, AI 도구는 그 책임을 질 수 없기 때문입니다. 또한 COPE는 논문 작성에 AI 도구를 사용한 경우, 그 사실과 사용 방식을 투명하게 밝혀야 한다고 권고하였습니다. 자세한 내용은 COPE의 AI 저자 관련 입장문에서 확인할 수 있습니다.

국내 대학들도 생성형 AI 활용 지침을 마련하는 추세입니다. 다만 세부 기준은 대학마다 다르며, 따라서 소속 대학원이 마련한 규정을 반드시 확인하여야 합니다. 또한 국내에서 널리 쓰이는 표절 검사 서비스(예., GPT Killer)에도 AI 생성 문장을 탐지하는 기능이 추가되고 있습니다. 탐지 여부와 무관하게, AI의 사용 사실을 밝히지 않는 것은 연구 윤리를 위반하는 행위로 간주됩니다.

통계분석 결과에도 문제가 발생하는가?

AI 도구를 사용해서 논문을 작성할 때 따르는 위험은 연구 결과를 나타내는 부분에서 가장 큰 결함으로 이어집니다. 언어모델은 데이터 파일을 실제로 분석하지 않은 상태에서도 그럴듯한 통계 수치와 연구 결과에 관한 해석을 문장으로 만들어 냅니다. Ji et al.(2023)은 자연어 생성 모델의 환각 현상을 분석하였는데, 특히 입력된 자료에 근거하지 않은 내용을 유창하게 산출하는 경향이야 말고 AI 모델이 가지는 구조적인 특징이라고 주장하였습니다. 따라서 연구자가 자신의 데이터를 직접 분석하지 않고 AI가 제시한 수치를 ‘제4장. 연구결과’ 챕터에 옮겨 적으면, 그 수치와 결과물은 허위 자료가 됩니다.

• Ji, Z., Lee, N., Frieske, R., Yu, T., Su, D., Xu, Y., Ishii, E., Bang, Y. J., Madotto, A., & Fung, P. (2023). Survey of hallucination in natural language generation. ACM Computing Surveys, 55(12), Article 248, 1–38. https://doi.org/10.1145/3571730

통계분석을 수행하는 과정에서 AI 도구를 사용하더라도 몇 가지 원칙은 반드시 지켜야 합니다. 첫째, 분석 방법의 선택은 연구 문제와 자료의 특성에 근거하여 연구자가 결정합니다. 둘째, 모든 수치는 SPSS, R, AMOS 등의 통계 소프트웨어를 활용하여 얻은 결과물을 옮겨 적습니다. 셋째, 연구 결과의 해석은 효과 크기와 신뢰구간을 포함하여 연구자의 언어로 서술해야 합니다. AI가 적어주는 해석 문장은 어디까지나 참고 자료일 뿐이며, 산출물과 대조하지 않은 문장은 논문에 옮기지 않아야 합니다.

논문 심사 과정에서 AI로 논문을 작성했다는 사실이 드러날 수 있나?

AI를 사용하여 논문을 작성한 흔적은 구술 논문심사에서 가장 뚜렷하게 드러납니다. 심사위원은 흔히 (그리고 관행적으로) 연구자에게 연구 설계의 근거와 분석 방법의 선택 이유, 선행연구와의 관계를 질문합니다. AI가 작성한 문장을 그대로 옮겨 적은 연구자는 그 질문에 제대로 답을 하지 못합니다. 문장은 적혀 있으나 그 문장을 디펜스할 수 있는 사고의 과정이 없이 AI가 생성한 문장만을 옮겨 적었기 때문입니다.

또한 AI가 생성하는 문헌고찰의 결과는 AI가 가지는 특유의 형식적인 균질성을 가집니다. 선행연구의 고찰 결과를 비슷한 분량과 유사한 톤과 리듬, 어조로 나열하고, 연구들끼리 주장하는 쟁점이나 서로 반박하는 결과를 다루지 않는 경향이 강합니다. 논문 심사의 경험이 풍부한 교수라면 그 특징을 어렵지 않게 알아차립니다. 다만 이에 관한 내용은 프라임 컨설팅이 관찰한 사례 중의 일부분이며, 통계적으로 검증된 결과가 아님을 밝혀 둡니다.

논문 초안을 제출한 후에 페이퍼 심사 단계에서도 AI를 사용해서 논문을 작성했다는 흔적은 고스란히 읽혀집니다. 문헌적인 근거나 관련한 이론적인 프레임워크를 전혀 내세우지 않고 주장을 일반화하거나, 혹은 출처가 불분명한 수치, 서론에서 등장하는 연구 문제와는 결이 서로 다른 선행연구를 즐비하게 배치하는 사례가 대표적입니다. 심사위원이 구체적으로 특정한 문장의 출처를 요구할 때 연구자가 원문을 제시하지 못하면, 심사는 논문의 내용이 아닌 연구자의 정직성을 다루는 가혹한 절차로 바뀌게 됩니다. 학위논문 심사에서 가장 악몽같은 순간이기도 합니다.

마치면서

AI를 활용해서 논문을 쓰는 것이 물론 시간을 절약할 수는 있습니다. 그러나 치루어야 할 대가는 가혹한데, 논문과 연구자의 신뢰성은 물론이거니와 연구자의 사고 역량이 강화되기는 커녕 오히려 나빠지고 저자로서의 신뢰를 잃게 됩니다. 최근의 학계에서는 AI가 가지는 연구 도구로서의 역할이 더욱 강화되는 방향으로 움직이고 있습니다. AI 도구를 논문의 저자로 삼는 대신에, 연구자 자신의 판단을 보조하는 도구로 사용하는 것은 어떨까요?