지식의 근친교배는 AI가 쓴 논문이 다음 세대 AI의 학습 데이터 재료가 되는 순환 속에서 지식의 다양성이 세대마다 줄어드는 현상을 의미합니다. Nature에 발표된 연구는 AI 생성 데이터로 AI를 반복 학습시키면 드문 정보부터 사라지는 되돌릴 수 없는 결함이 생긴다고 보고하였습니다.

이 글의 순서 7개 항목

지식의 근친교배란 무엇인가?
AI가 만든 데이터를 AI가 학습하면 무슨 일이 일어나는가?
그렇다면 학술 문헌은 얼마나 오염되었는가?
과학은 왜 ‘예외적인’ 지식에서 진보하는가?
연구자들은 이 순환에서 어디에 있는가?
연구자는 무엇을 할 수 있는가?
결론: 다음 세대의 유전자 풀

이번 글에서는 ‘지식의 근친교배’라는 독특한 비유를 통해 AI로 생성한 논문이 과학 전체에 미치는 장기적인 영향을 분석하려고 합니다. 옥스퍼드와 케임브리지 대학교 연구진은 2024년도 Nature에 발표한 논문에서 AI가 만든 데이터로 AI를 반복 학습시키면 모델이 붕괴한다는 사실을 실험으로 보였습니다. 근친교배의 비유가 왜 적절한지, 모델 붕괴가 무엇인지, 학술 연구영역이 이미 얼마나 오염되었는지, 과학이 왜 드문 지식에서 진보하는지, 그리고 개별 연구자가 이 순환에서는 어디에 서 있는지를 순서대로 다룹니다. 자신의 논문이 다음 세대 지식의 유전자 풀에 무엇을 보태는지에 관해서 고민해 보실 수 있습니다.

지식의 근친교배란 무엇인가?

지식의 근친교배는 AI가 생성한 논문이 다음 세대 AI의 학습 데이터로 입력되고, 그 AI가 다시 논문을 생성하는 순환 속에서 지식의 다양성이 세대마다 줄어드는 현상을 뜻합니다. 이 비유는 생물학을 그 기원으로 삼습니다. 유전학자인 Charlesworth & Willis(2009)는 근친교배가 유전적인 다양성을 줄여 부정적인 열성 형질을 드러내고 집단의 적응력을 떨어뜨리는 근친교배 약세(inbreeding depression)를 발생시킨다고 논의하였습니다. 특히, 집단이 작고 폐쇄적일수록 약세는 빠르게 누적됩니다.

Charlesworth, D., & Willis, J. H. (2009). The genetics of inbreeding depression. Nature Reviews Genetics, 10(11), 783–796. https://doi.org/10.1038/nrg2664

지식의 생태계에도 같은 원리가 작동합니다. 현재까지의 AI 언어모델은 인간이 만든 방대한 문헌을 학습하였습니다. 그 문헌에는 주류의 견해와 함께 비주류의 주장과 소수 의견, 예외적인 관찰, 실패한 실험, 특이한 표현이 섞여 있었습니다. 이 다양성이 모델의 유전자 풀(pool)입니다. 그런데 AI 모델이 생성한 문헌이 다시 학습 데이터에 입력되기 시작하면, 유전자 풀은 모델이 이미 알고 있는 것으로 좁혀집니다. 외부에서 새로운 유전자가 들어오지 않는 폐쇄적인 집단이 되는 것입니다.

인터넷 검색을 통해서 노출되는 일반적인 텍스트 정보와는 달리 학술 논문은 검증된 지식으로 간주되며 학습 데이터에서 높은 가중치를 받습니다. AI가 생성한 논문이 학술지에 실리면 그 내용은 사람이 검증한 지식의 자격으로 다음 모델에 학습됩니다. AI 학습 데이터의 오염이 가장 조용하고 가장 깊게 퍼지는 곳이 바로 학술 문헌입니다.

AI가 만든 데이터를 AI가 학습하면 무슨 일이 일어나는가?

AI가 만든 데이터를 AI가 반복적으로 학습하면 모델 붕괴(model collapse)가 발생합니다. 그리고 이 과정에서 데이터 분포의 꼬리(tail), 즉 드물지만 중요한 정보부터 사라집니다. 옥스퍼드 대학교의 Shumailov와 동료들은 언어모델, 변분 자동부호기, 가우시안 혼합 모형을 대상으로 이전 세대의 AI 모델이 생성한 결과물을 다음 세대 AI 모델이 학습하는 실험을 수행하였습니다.

Shumailov et al.(2024)은 AI 모델이 생성한 결과물을 스크리닝하지 않고 학습에 사용하면 회복이 불가능한 결함이 생기는데, 그 결함은 기존의 데이터 분포의 꼬리가 사라지는 형태로 나타나는 것으로 조사되었습니다. 특히, 중세 건축에 관한 텍스트로 시작한 AI 언어모델을 실험한 결과, 아홉 세대를 거친 모델은 건축과 무관한 산토끼 이야기를 반복하는 상태에 이르렀다고 합니다. 각 세대는 이전 세대가 자주 생성한 것을 더욱 자주 생성하고, 드물게 생성한 것은 아예 생성하지 않게 됩니다. 즉, 평균은 남고 예외는 사라진다는 것입니다.

Shumailov, I., Shumaylov, Z., Zhao, Y., Papernot, N., Anderson, R., & Gal, Y. (2024). AI models collapse when trained on recursively generated data. Nature, 631(8022), 755–759. https://doi.org/10.1038/s41586-024-07566-y

듀크 대학교의 Wenger(2024)는 Nature의 같은 호(issue)의 논평에서 Shumailov et al.(2024)의 연구를 기반으로 인터넷 전체로 확장하여 재현(replicate)하였습니다. AI 언어모델이 온라인 텍스트의 상당 부분을 생성하게 되면, 다음 세대의 AI 모델은 인간이 쓴 글과 AI가 만든 글을 구분하지 못한 채 학습하게 되고, 붕괴는 실험의 수준이 아니라 생태계 수준에서 일어난다는 것입니다. 그리고 연구자는 인간이 만든 원본 데이터에 대한 접근이 앞으로 모델의 핵심 자원이 될 것이라고 전망하였습니다. 사람이 직접 관찰하고 직접 만든 지식이 희소 자원이 되는 시대가 온다는 의미입니다.

Wenger, E. (2024). AI produces gibberish when trained on too much AI-generated data. Nature, 631(8022), 742–743. https://doi.org/10.1038/d41586-024-02355-z

그렇다면 학술 문헌은 얼마나 오염되었는가?

학술 문헌의 영역에서 AI가 생성한 논문이 차지하는 비율은 이미 측정이 가능한 수준에 이르렀는데, ‘언어의 획일화’라는 근친교배의 첫 증상이 나타나고 있습니다. 튀빙겐 대학교의 Kobak et al.(2025)는 PubMed에 등록된 1,500만 건 이상의 초록에서 어휘 빈도의 변화를 주목하며 추적하였습니다. 연구자들은 2024년 초록의 최소 13.5%에서 언어모델의 흔적이 나타났고, 일부 하위 연구분야와 국가에서는 그 비율이 40%에 근접한다고 논의하였습니다. 특히, 특정한 단어들의 사용 빈도가 2024년에 급증한 양상은 어휘의 다양성이 특정한 표현으로 수렴하는 현상을 보여 주고 있습니다.

Kobak, D., González-Márquez, R., Horvát, E.-Á., & Lause, J. (2025). Delving into LLM-assisted writing in biomedical publications through excess vocabulary. Science Advances, 11(27), eadt3813. https://doi.org/10.1126/sciadv.adt3813

특정한 어휘로의 수렴은 사소해 보이지만 근친교배의 정확한 초기 증상입니다. 생물학에서 유전적인 다양성의 감소는 눈에 띄는 질병보다 먼저 유전자 빈도의 변화로 나타납니다. 이와 유사하게, 학술 문헌에서 특정한 표현이나 문맥, 용어, 혹은 단어의 빈도가 급증한다는 것은 수천 명의 연구자가 동일한 표현을 사용하는 동일한 AI 모델을 활용하고 있다는 의미입니다. 표현이 유사해지면 사고의 틀도 같아지고, 사고의 틀이 같아지면 연구 질문도 같아지게 됩니다.

오염은 언어적인 표현에만 국한되지는 않아 보입니다. 앞서 AI 논문 철회 사례를 다루었던 게시물에서 보듯이, AI 챗봇이 생성한 문구가 남은 논문, 존재하지 않는 참고문헌을 인용한 논문, AI가 만든 그림을 본문에 그대로 옮긴 논문이 이미 심사과정을 통과하고 학술지에 게재되었습니다. 철회되는 논문은 극히 일부이며, 적발되지 않은 논문은 정상적인(?) 논문의 자격으로 데이터베이스에 그대로 남아있게 됩니다. 그 논문들이 다음 세대 AI 모델의 학습 데이터로서의 재료가 된다면 존재하지 않는 참고문헌은 실재하는 지식이라는 자격을 얻게 됩니다.

과학은 왜 ‘예외적인’ 지식에서 진보하는가?

과학은 평균이 아니라 예외에서 진보하며, 붕괴된 모델이 가장 먼저 삭제하는 것은 바로 이 ‘예외’입니다. 새로운 이론의 발전은 기존 이론이 설명하지 못하는 변칙적인 관찰로부터 시작됩니다. 통계학적인 관점에서, 과학의 진보는 분포의 중심이 아니라 꼬리(예., plus minus sigma)에서 일어납니다. 그런데 Shumailov et al.(2024)이 보고한 모델 붕괴는 정확히 꼬리부분부터 잘라 냅니다. AI가 생성한 문헌이 학습 데이터로 활용될 수록, 다음 세대의 AI 모델은 변칙이나 변조를 수행할 능력을 잃게 되고, 그 AI로 논문을 쓰는 연구자들은 변칙을 맞이할 기회를 잃게 됩니다.

과학의 다양성이 이미 줄어들고 있다는 자료가 관찰되고 있습니다. 미네소타 대학교의 Park et al.(2023)은 1945년부터 2010년까지 발표된 논문 4,500만 편과 특허 390만 건을 분석하였습니다. Park et al.(2023)은 기존의 지식을 대체하는 파괴적인(disruptive) 논문의 비율이 모든 분야에서 지속적으로 감소하였으며, 연구자들은 갈수록 더 좁은 범위에 놓인 기존의 지식에만 의존하고 있다고 주장하였습니다. 물론 이 감소의 양상은 생성형 AI가 등장하기 이전에 이미 진행 중이었습니다. 그런데 AI가 생성한 논문은 이 추세를 가속하는 요인으로 작용합니다.

Park, M., Leahey, E., & Funk, R. J. (2023). Papers and patents are becoming less disruptive over time. Nature, 613(7942), 138–144. https://doi.org/10.1038/s41586-022-05543-x

시카고 대학교의 Chu & Evans(2021)는 그 메커니즘을 설명하였는데, 9,000만 편의 논문을 분석한 결과, 한 연구분야에 출판되는 논문의 수가 많아질수록 새로운 아이디어가 자리 잡기 어려워지고 이미 정설이 된 논문만 더 인용된다고 주장하였습니다. 그리고 연구진은 정보의 홍수 속에서 연구자들이 가장 많이 인용된 논문에 의존하게 되고, 그 결과 정설이 고착된다고 결론지었습니다. AI 언어모델은 이 메커니즘을 자동화하는 디지털 장치입니다. AI 모델은 어떠한 문장 내에서 다음의 단어 위치에 놓일 수 있는 단어의 출현 확률을 기반으로 그 단어를 생성하는데, 정의에 따르면 ‘높은 확률을 가지는 단어’는 가장 많이 반복된 정설의 언어이기도 합니다.

Chu, J. S. G., & Evans, J. A. (2021). Slowed canonical progress in large fields of science. Proceedings of the National Academy of Sciences, 118(41), e2021636118. https://doi.org/10.1073/pnas.2021636118

유니버시티 칼리지 런던의 Doshi & Hauser(2024)는 작가들에게 AI가 제안한 아이디어를 참고로 하여 짧은 이야기를 쓰게 하였습니다. Doshi & Hauser(2024)는 AI의 도움이 개인의 창의성 점수를 높였지만, AI를 쓴 작가들의 이야기가 서로 비슷해져서 집단 전체의 다양성은 줄었들었다는 연구의 결과를 보고하였습니다. 연구진은 이를 사회적 딜레마로 규정하였는데, 개인에게는 이득이고 집단에는 손실인 구조입니다. 만약 모델 붕괴를 논문 작성이라는 맥락에 적용한다면, AI로 쓴 논문 한 편은 (인간) 저자에게 이득이지만 과학의 유전자 풀이라는 측면에서는 손실입니다.

Doshi, A. R., & Hauser, O. P. (2024). Generative AI enhances individual creativity but reduces the collective diversity of novel content. Science Advances, 10(28), eadn5290. https://doi.org/10.1126/sciadv.adn5290

연구자들은 이 순환에서 어디에 있는가?

연구자들은 이 순환에서의 소비자인 동시에 공급자입니다. 자신의 논문이 다음 세대 AI의 유전자가 된다는 점에서 근친교배의 당사자이기도 합니다.

AI를 사용한다면, 소비자로서의 연구자는 AI가 요약한 선행연구와 AI가 제안한 연구가설, 그리고 AI가 다듬어 놓은 문장을 사용합니다. 이 모두는 분포의 중심에서 나온 것입니다. 앞선 AI 아첨 게시물에서 다루었듯이 AI는 사용자의 견해에 동조하고, 비판적 사고의 외주화 게시물에서 다루었단 바 대로 연구자는 그 동조를 따져 보지 않게 됩니다. 연구자의 사고가 분포의 중심으로 끌려가는 것입니다. 그리고 공급자로서 연구자는 자신의 논문을 AI 학습 모델을 위한 재료로 제공합니다. 인간이 직접 관찰하고 직접 작성한 논문은 유전자 풀에 새로운 다양성을 더합니다. 하지만 AI가 생성한 논문은 이미 존재하고 있는 것에 다시 섞을 뿐입니다. Wenger(2024)가 지적하였듯, 인간이 창조한 데이터 원본은 앞으로 희소 자원이 됩니다. 한편, 연구자의 논문이 희소 자원인지 오염원인지는 그 논문이 어떻게 쓰였는가에 달려 있습니다.

프라임 컨설팅은 이 순환에서의 소비자 측면이 연구주제, 연구문제, 혹은 연구가설의 수렴으로 나타나는 것을 흔히 관찰할 수 있습니다. 같은 학기에 동일한 연구분야를 전공하는 여러 대학원생이 미리 만나서 서로 상의하지 않았음에도 불구하고 놀랍도록 서로 유사한 연구 문제와 이론을 가져 옵니다. 왜냐하면 동일한 AI 모델에게 같은 질문을 던졌기 때문입니다.

연구자는 무엇을 할 수 있는가?

연구자가 할 수 있는 것은 자신 스스로의 연구를 분포의 꼬리에 두는 것, 즉 AI가 생성할 수 없는 것을 생성하는 것입니다. 이는 AI를 사용하지 말라는 의미가 아니라, AI가 채워 주는 중심이 아니라 AI가 비워둘 수 밖에 없는 가장자리에서 연구의 가치를 찾으라는 뜻입니다. 프라임 컨설팅은 다음의 원칙을 제안합니다.

선행연구를 고찰하는 과정에서는 가능한 AI가 제시하지 않은 관련 문헌을 의도적으로 탐색합니다. 인용 수가 비교적 적은 논문, 주류 연구에서 나타나는 결론과는 일치하지 않는 연구 결과, 다른 언어권의 연구가 여기에 해당합니다.
연구 질문을 AI에 묻기 전에 실무나 현장에서 관찰되고 의문을 품을 수 있는 질문, 혹은 가지고 있는 자료에서 설명되지 않는 것을 먼저 적습니다. 변칙은 AI가 아니라 자료에서 나옵니다.
직접 수집한 원시자료의 비중을 높입니다. 인간이 새롭게 관찰하고 수집한 자료는 AI가 생성할 수 없는 유일한 것입니다.
자신의 논문에서 펼치고 싶은 핵심적인 주장, 그리고 오랫동안 자신의 기억에 남아 있을 것으로 생각되는 문헌고찰의 결과를 자신만의 언어로 만듭니다. 표현의 다양성은 사고의 다양성을 유지하는 최소한의 조건입니다.
AI가 제안한 연구가설이 ‘이미 잘 알려진’ 것이라면 그 자체를 경고 신호로서 심각하게 받아들입니다. 분포의 중심에 있는 가설은 새로운 지식이 되기가 불가능합니다.
AI를 사용하였다면, 그 범위를 자신의 논문에 정확하게 명시합니다. 다음 세대의 AI 모델이 인간이 쓴 글과 AI가 생성한 글을 서로 구분할 수 있도록 하는 것은 연구자가 지식 생태계에 기여할 수 있는 몇 안되는 방법입니다.

특히 위에서의 여섯 번째 항목은 개인 연구자의 윤리인식에 국한되지 않는 생태계 전체의 문제로 보아야 합니다. Shumailov et al.(2024)에 따르면, 모델 붕괴는 AI 모델이 인간의 데이터와 AI의 데이터를 ‘구분 없이’ 학습할 때 발생합니다. 만약 구분이 가능하다면 붕괴는 늦춰질 수 있습니다. 논문 저자가 자신이 AI를 사용했다는 사실을 공개한 논문은 다음 세대의 AI 모델에게 무엇이 인간의 관찰이고 무엇이 AI에 의한 재생산인지를 알려 주는 중요한 표지가 됩니다.

결론: 다음 세대의 유전자 풀

생물학에서 근친교배 약세를 되돌릴 수 있는 방법은 하나뿐입니다. 외부 개체군의 유전자를 들여오는 것입니다. 지식의 근친교배에서 외부 개체군은 바로 인간입니다. 아직 아무도 기록하지 않은 관찰, 아직 어떠한 AI 모델도 생성하지 않은 문장, 정설과는 어긋나는 자료가 유전자 풀에 새로운 다양성을 더할 수 있습니다. 하지만 이 글에서 다루어진 관련한 연구 사례들은 그 다양성이 이미 감소하고 있음을 보여주고 있습니다.

지금 학위논문을 쓰는 대학원생은 앞으로 수십 년 동안 지식을 생산해야 하는 세대입니다. 그 세대가 쓰는 논문이 다음 세대 AI의 학습 데이터가 되고, 그 AI가 다시 다음 세대 연구자의 조수가 됩니다. 한 세대의 선택이 순환을 통해 증폭되는 구조입니다. 자신의 논문이 이 순환에 무엇을 보태는지, 즉 새로운 유전자인지 복제된 유전자인지를 묻는 것은 과학 전체의 생존에 관한 질문입니다. 그 질문에 답하는 가장 확실한 방법은 자신의 자료에서 아직 설명되지 않은 것을 하나 하나 꼼곰하게 찾아가는 것 뿐입니다.

논문 팁과 전략