생성형 AI가 생성한 참고문헌 중에서 최대 55%가 조작된 가짜 문헌으로 나타났습니다. 가짜 참고문헌은 완전한 조작부터 교묘한 연도 변형까지 네 가지 유형으로 나타나며, 논문의 심사 과정에서 탈락의 위기를 맞이할 수 있습니다. 연구자는 AI가 생성한 문헌을 반드시 원본 데이터베이스에서 교차 검증해야 합니다.
이 글의 순서 6개 항목
최근에는 많은 연구자들이 논문을 작성하는 과정에서 생성형 AI를 통해 문헌을 탐색합니다. 그리고 AI는 수초 만에 수십 편의 완벽한 형태를 갖춘 참고문헌 목록을 생성합니다. 하지만 그 문헌들의 대다수는 학술지에 존재하지 않는 ‘환각(hallucination)’의 결과물입니다.
Walters & Wilder(2023)는 ChatGPT가 생성한 서지사항을 분석하고 ‘인용’ 문헌에서 발생하는 조작과 오류를 구체적으로 분류하였습니다. 이들의 연구에 따르면, 생성형 AI는 논문의 제목과 저자, 연도, 학술지명 등에서 교묘한 오류를 범하는 것으로 나타났습니다. 나아가, Bhattacharyya et al.(2023)은 의학 영역에서 ChatGPT가 생성한 참고문헌의 정확도를 평가하였는데, 결과물의 대부분은 조작되어거나 또는 정확하지 않았습니다.
이 글에서는 Walters & Wilder(2023)와 Bhattacharyya et al.(2023)의 분석 결과를 바탕으로 가짜 참고문헌의 발생 비율을 살펴보고, 그 조작을 ‘완전한 조작’, ‘저자의 혼합’, ‘연도의 변형’, 권호(Volume & Issue)와 페이지 번호의 오류라는 네 가지 유형으로 나누어서 설명합니다.
- Walters, W. H., & Wilder, E. I. (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 13(1), 14045. https://doi.org/10.1038/s41598-023-41032-5
- Bhattacharyya, M., Miller, V. M., Bhattacharyya, D., & Miller, L. E. (2023). High Rates of Fabricated and Inaccurate References in ChatGPT-Generated Medical Content. Cureus, 15(5), e39238. https://doi.org/10.7759/cureus.39238
AI가 생성하는 가짜 참고문헌의 발생 비율은 어느 정도인가?
ChatGPT가 생성한 참고문헌의 절반가량이 가짜로 판정되며, 실재하는 문헌에서도 높은 비율로 오류가 관찰됩니다.
Walters & Wilder(2023)의 연구 결과에 따르면, GPT-3.5가 생성한 222개의 참고문헌 중에서 55%가 완전히 조작된 가짜 문헌인 것으로 나타났습니다. 모델이 GPT-4로 개선되면서 조작 비율은 18%로 감소하였으나, 오류는 여전히 존재합니다. 실재하는 문헌 중에서도 GPT-3.5의 43%, GPT-4의 24%에서 서지사항의 오류가 관찰되었습니다. 이는 최신 언어 모델조차 완벽한 사실을 ‘생성’하지 못함을 의미합니다.
또한, 특정한 학문 분야에서는 조작의 심각성이 더욱 두드러지게 나타나고 있습니다. Bhattacharyya et al.(2023)의 연구 결과에 따르면, 의학 영역에서 ChatGPT가 생성한 115개의 참고문헌 중 47%가 완전히 조작되었으며, 나머지 46%의 실제로 존재하는 문헌에서도 부정확한 서지사항이 포함되었습니다. 오직 7%의 문헌만이 완전하고 정확한 정보를 제공하였습니다. 특히 93%의 문헌에서 PubMed 고유 번호(PMID)가 잘못 기재되었습니다.
표 1.은 Walters & Wilder(2023)와 Bhattacharyya et al.(2023)의 연구에서 식별된 참고문헌 조작 비율을 나타내고 있습니다.
| AI 모델 및 연구분야 | 완전히 조작된 문헌의 비율 | 실재하는 문헌 중에서 오류 비율 |
|---|---|---|
| GPT-3.5 (일반 학문 분야) | 55% | 43% |
| GPT-4 (일반 학문 분야) | 18% | 24% |
표 1.이 나타내는 바와 같이, AI 모델이 지속적으로 발전하고 있음에도 불구하고 연구자는 AI가 제공한 문헌의 신뢰성을 직접 검증해야 합니다.
가짜 참고문헌은 왜 발생하는가?
궁극적으로 생성형 AI는 텍스트의 확률적인 패턴을 예측하는 언어 모델이기 때문입니다.
AI가 허위 참고문헌을 생성할 수 밖에 없는 첫 번째 이유는 학술 데이터베이스를 검색하지 않고 확률적으로 텍스트를 생성하기 때문입니다. 언어 모델은 사용자가 입력한 프롬프트의 요구에 가장 자연스럽게 이어질 수 있는 단어를 통계적으로 예측해서 문장을 완성합니다. 이 과정에서 ‘존 스미스’나 ‘의학 저널’과 같이 학술 텍스트에 자주 등장하는 단어들을 조합해서 겉으로 보기에는 완벽한 APA 형식의 서지사항을 생성합니다. 문헌의 실재 여부를 교차 검증하는 기능이 내장되어 있지 않기 때문에 그럴듯한 거짓말을 만들어 냅니다(Walters & Wilder, 2023).
둘째는 학습 데이터가 가지고 있는 ‘인식론적인 한계’입니다. 언어모델은 방대한 텍스트를 학습하지만, 논문의 세부적인 서지 정보나 페이지 번호를 모두 정확하게 기억하지 않습니다. 특히 유료 데이터베이스가 소장하고 있는 최신 논문이나 희귀한 학술지의 정보를 학습할 수 없다는 약점을 가지고 있습니다. 만약 사용자가 최신 논문을 탐색하라고 지침을 내린다면 AI 모델은 모른다고 답하지 않고 자신이 학습한 패턴에 따라 임의의 텍스트로 허위정보를 생성하는 환각을 발생시킵니다(Bhattacharyya et al., 2023).
AI가 생성한 가짜 참고문헌의 특징
AI가 생성한 가짜 참고문헌은 허위 논문을 창조하는것 부터 페이지 번호를 변형하는 것까지로 구분할 수 있습니다.
Walters & Wilder(2023)와 Bhattacharyya et al.(2023)의 연구를 종합한다면, 가짜 참고문헌은 연구자의 육안으로는 구별하기 어려운 정교한 형태를 가집니다.
- 완전한 조작(complete fabrication): 저자의 이름과 논문 제목, 학술지명이 모두 허위로 조합한 유형입니다. AI는 실제로 존재할 법한 그럴듯한 제목(예., ‘머신러닝이 의학교육에 미치는 영향’)을 지어내고, 저자의 이름과 유명 학술지 이름을 결합합니다.
- 저자의 혼합(author conflation): 실재하는 논문 제목과 학술지명을 사용하지만, 엉뚱한 저자의 이름을 붙이거나 저자의 순서를 뒤바꾸는 유형입니다. 해당 연구영역에서 이름이 잘 알려진 학자의 이름을 무작위로 추출해서 마치 그 학자가 논문을 쓴 것처럼 조합합니다.
- 연도의 변형(year alteration): 실재하는 저자의 이름과 논문 제목을 보여주지만, 논문의 출판 연도를 과거 또는 미래로 조작하는 유형입니다. 특히 연구자가 “최근 3년 이내의 논문만 찾아달라”라는 지침을 내릴 때 AI는 10년 전 논문의 제목을 가져오면서 연도만을 무작위로 수정합니다.
- 권호와 쪽수의 오류(volume and issue errors): 논문 자체가 실재하고 저자와 연도도 정확하지만, 학술지의 권, 호, 또는 페이지 번호를 틀리게 제시하는 유형입니다. 이는 AI가 서지사항을 정확하게 기억하지 못하고 무작위 숫자를 사용하기 때문에 발생합니다.
참고문헌의 무결성을 확보하는 절차는 무엇인가?
- 1단계 (AI를 사용해서 문헌 검색을 하지 않는다): 문헌을 검색하는 과정에서는 AI를 사용하지 않습니다. 학술 데이터베이스에서 키워드 검색을 통해 연구자가 직접 문헌을 수집해야 합니다.
- 2단계 (DOI의 유효성을 검증): AI가 생성한 문헌이 실제로 존재한다면, 각 문헌의 DOI(Digital Object Identifier)를 클릭해서 출판사가 운영하는 사이트로 이동하는지를 확인합니다. 가짜 문헌은 DOI 번호 자체가 존재하지 않거나 오류 페이지로 연결됩니다.
- 3단계 (논문제목과 저자가 서로 일치하는지를 확인): 논문 제목을 구글 스칼라(Google Scholar) 또는 학술 데이터베이스에 검색해서 노출되는 저자 목록과 AI가 제시한 저자가 서로 일치하는지를 확인합니다. 만약 전혀 엉뚱한 저자가 등장한다면 그 문헌을 즉시 삭제합니다.
- 4단계 (출판 연도를 교차 검토): 논문이 출판된 연도가 정확한지를 학술지 원문 페이지에서 확인해야 합니다. 연구자가 최신의 문헌을 요구한다는 지침을 AI에게 명령한다면 AI는 사용자의 요구를 따르기 위해서라도 논문의 연도를 조작하기 때문입니다.
- 5단계 (모든 원문을 열람한 후에 인용 여부를 확정): AI가 제시한 서지사항이 모두 올바르더라도, 반드시 논문의 원문을 열람하고 연구자가 직접 읽어야 합니다.
자주 묻는 질문 (FAQ)
Q. AI 검색 엔진이 찾아주는 참고문헌은 신뢰할 수 있나요?
A. 실시간 웹 검색 기능이 결합된 AI 도구는 순수한 언어 모델보다 조작 비율이 낮습니다. 하지만 링크를 잘못 연결하거나 엉뚱한 문장을 발췌하는 오류가 여전히 매우 흔하게 발생하기 때문에 반드시 원본 논문을 대조해야 합니다.
Q. AI가 생성한 논문의 제목을 구글 스칼라에서 검색하였더니 실제로 존재하는 논문이었습니다. 이 문헌은 안전한가요?
A. 논문 자체는 실재하더라도 저자의 순서, 연도, 또는 권호수와 같은 서지정보를 왜곡할 수 있습니다. 제목뿐만이 아니라 모든 서지정보를 확인해야 합니다.
Q. 논문 심사위원은 가짜 문헌을 어떻게 적발하나요?
A. 심사위원들은 자신의 연구 분야에서 낯선 제목이나 존재하지 않는 저자의 조합을 직관적으로 의심할 수 있습니다. 만약 의심되는 문헌의 DOI를 검색해서 찾을 수 없다면 가짜 문헌으로 판정합니다.
Q. AI가 생성한 가짜 문헌을 인용하면 어떤 문제가 발생하나요?
A. 연구자의 의도와 상관없이 가짜 논문을 인용하는 행위는 부정행위인 데이터 조작으로 판정이 내려집니다.
AI를 사용해서 논문을 작성할 때 발생하는 여러가지 치명적인 문제를 아래의 게시물에서 자세하게 다루고 있습니다.
- ‘AI가 생성한 논문의 초록은 심사자와 탐지기를 모두 통과하였습니다:’
- ‘논문작성은 곧 사고(思考)다‘
- ‘모델붕괴와 지식의 근친교배‘
- ‘메타인지 게으름(Metacognitive Laziness)‘
- ‘인지 부채(Cognitive Debt): ChatGPT로 쓴 논문은 왜 연구자의 머릿속에 남지 않는가?‘
- ‘AI 논문 철회 사례: 해외저널은 왜 게재를 취소하였는가?‘
- ‘인공지능(AI) 도구로 논문을 작성하면 위험한 이유: 학술적인 근거‘
결론
생성형 AI는 신뢰할 수 있는 서지 정보를 탐색하는 도구로서 매우 부적합합니다. Walters & Wilder(2023)와 Bhattacharyya et al.(2023)의 연구 결과가 나타내는 바와 같이, 언어모델이 생성한 참고문헌의 상당수는 완전히 조작되거나 세부 정보가 변형된 가짜 문헌입니다.
조작의 원인은 언어 모델이 단어의 패턴을 예측하는 확률적인 도구라는 한계에서 비롯됩니다. 그 결과, 논문의 제목과 저자 이름, 학술지 이름, 페이지 번호까지 교묘한 오류를 발생시켜 연구자의 진실성을 훼손합니다.
따라서 논문을 작성하는 연구자는 문헌을 수집 단계에서부터 AI에 의존하는 행위를 중단해야 합니다. 검증된 학술 데이터베이스에서 논문을 직접 탐색하고 확인하는 과정만이 학술적 결함의 발생을 예방할 수 있습니다.
