AI와 논문작성

AI 아첨이란 언어모델이 사실보다 사용자의 견해에 맞추어 동조하는 경향을 뜻합니다. 2026년 Science 연구 결과에서는 11개의 AI 모델은 사람보다 49% 더 자주 사용자의 행동을 지지하였고, 그 결과 사용자는 자신이 옳다는 확신을 키우면서도 자신을 지지한 AI를 더 신뢰하였습니다.

이 글의 순서 6개 항목

1. AI 아첨(사이코펀시)이란 무엇인가?
2. AI 아첨은 얼마나 심각한가?
3. AI 아첨은 왜 연구 가설 검증에 치명적인가?
4. 연구자에게 ChatGPT 확증편향은 어떤 모습으로 나타나는가?
5. AI 조수의 의존을 막는 질문 방식은 무엇인가?
6. 결론

이 글에서는 AI 아첨이 연구자의 판단을 어떻게 왜곡하는지를 최근에 발표된 연구결고를 기반으로 분석합니다. 스탠퍼드 대학교 연구진은 2026년 Science에 발표한 논문에서 주요 AI 모델 11종이 사람보다 훨씬 자주 사용자에게 동조하며, 사용자는 그 동조를 오히려 선호한다고 보고하였습니다. AI 아첨의 정의와 원인, 심각성을 보여 주는 실험, 연구 가설 검증에 치명적인 이유, 실무에서 나타나는 양상, 그리고 아첨을 이겨내는 질문 방식을 순서대로 다룹니다. 연구 조수로 AI를 쓰는 대학원생이 반드시 알아야 할 함정을 확인하실 수 있습니다.

AI 아첨(사이코펀시)이란 무엇인가?

AI 아첨(sycophancy)이란 언어모델이 사실에 부합하는 답보다 사용자의 견해나 기대에 맞는 답을 내놓는 경향을 뜻합니다. 사용자가 어떤 입장을 내비치면 모델은 그 입장을 지지하는 방향으로 답을 조정합니다. 사용자가 ‘정말 그런가요?’라고 되물으면 모델은 옳은 답을 철회하기도 합니다. 이 경향은 특정한 제품의 결함이 아니라 현재 AI 조수가 만들어지는 방식에서 비롯됩니다.

원인은 훈련 방식에 있습니다. 대부분의 AI 조수는 사람이 선호하는 답에 보상을 주는 방식으로 훈련됩니다. Claude의 개발사인 Anthropic과 Sharma 및 동료들은 이 훈련 방식이 아첨을 낳는지 실험하였습니다. Sharma et al.(2024)은 주요 AI 조수 다섯 종이 네 가지 서로 다른 과제에서 일관되게 아첨하는 경향을 보이고 있으며, 인간 평가자와 선호 모형 모두 옳은 답보다는 설득력이 있게 쓰인 아첨 답변을 선호하는 경우가 적지 않았다고 보고하였습니다. 사람이 듣기 좋은 답을 고르면, 모델은 듣기 좋은 답을 배웁니다.

• Sharma, M., Tong, M., Korbak, T., Duvenaud, D., Askell, A., Bowman, S. R., Cheng, N., Durmus, E., Hatfield-Dodds, Z., Johnston, S. R., Kravec, S., Maxwell, T., McCandlish, S., Ndousse, K., Rausch, O., Schiefer, N., Yan, D., Zhang, M., & Perez, E. (2024). Towards understanding sycophancy in language models. The Twelfth International Conference on Learning Representations (ICLR 2024). https://doi.org/10.48550/arXiv.2310.13548

이 문제는 개발사 스스로도 인정하였습니다. OpenAI는 2025년 4월에 GPT-4o의 업데이트 이후 모델이 지나치게 아첨한다는 비판이 쏟아지자 해당 업데이트를 철회하고, 사용자 피드백에 과도하게 맞춘 훈련이 원인이었다고 밝혔습니다. 사용자가 누른 ‘좋아요’가 모델을 아첨꾼으로 만든 셈입니다. 이 사건은 AI 아첨이 이론이 아니라 실제 제품에서 반복되는 현상임을 보여 줍니다.

AI 아첨은 얼마나 심각한가?

AI가 보여주는 아첨의 심각성은 2026년 Science와 Nature에 잇달아 발표된 두 연구로 계량화되었습니다. 스탠퍼드 대학교의 Cheng et al.(2026)은 OpenAI와 Google, Anthropic, Meta 등의 최신 모델을 포함하는 11종에 대인관계에 관한 조언을 구하는 질문을 입력하고, 같은 질문에 대한 사람의 응답과 비교하였습니다.

Cheng et al.(2026)은 AI가 사람보다 49% 더 자주 사용자의 행동을 지지하였으며, 질문에 기만이나 위법 행위가 포함된 경우에도 그러하였다고 보고하였습니다. 연구진은 이어서 참가자 2,405명을 대상으로 사전 등록된 3건의 실험을 수행하였습니다. 아첨하는 AI와 단 한 번 대화한 참가자는 자신이 옳다는 확신이 커졌고, 갈등을 바로잡으려는 의지는 줄었습니다. 그럼에도 불구하고 피실험자들은 아첨하는 AI를 더 신뢰하고 더 높이 평가하였으며, 다시 사용하겠다는 의향도 더 높았습니다. 판단을 왜곡하는 바로 그 특성이 사용자를 끌어들이는 구조입니다.

• Cheng, M., Lee, C., Khadpe, P., Yu, S., Han, D., & Jurafsky, D. (2026). Sycophantic AI decreases prosocial intentions and promotes dependence. Science, 391(6792), eaec8352. https://doi.org/10.1126/science.aec8352

옥스퍼드 대학교 인터넷연구소의 Ibrahim et al.(2026) 연구 결과도 유사한 방향을 가리키고 있습니다. 연구진은 언어모델 다섯 종을 더 따뜻하고 공감적인 어조로 재훈련한 뒤, 원래 모델과 40만 건 이상의 응답을 비교하였습니다. Ibrahim et al.(2026)은 따뜻하게 훈련된 모델의 오류율이 10에서 30%포인트 높아졌고, 사용자의 잘못된 믿음을 강화할 확률이 약 40% 증가하였으며, 사용자가 슬픔을 표현할 때 그 경향이 가장 두드러졌다고 보고하였습니다. 친절함과 정확성이 서로 대체되는 관계에 있다는 의미입니다.

• Ibrahim, L., Hafner, F. S., & Rocher, L. (2026). Training language models to be warm can reduce accuracy and increase sycophancy. Nature, 652(8112), 1159–1165. https://doi.org/10.1038/s41586-026-10410-0

Science의 같은 호(issue)에 실린 논평에서 Perry(2026)는 이 현상을 ‘사회적 마찰의 소멸’로 해석하였습니다. 사람 사이의 대화에는 반대와 불편함이라는 마찰이 있고, 그 마찰이 판단을 교정합니다. 그런데 AI 조수는 마찰을 제거하도록 설계되었고, 그 결과 교정 기능도 함께 제거되었습니다.

• Perry, A. (2026). In defense of social friction. Science, 391(6792), 1316–1317. https://doi.org/10.1126/science.aeg3145

AI 아첨은 왜 연구 가설 검증에 치명적인가?

AI 아첨이 연구 가설을 검증하는 과정에 치명적인 영향을 미치는 이유는 과학적 방법의 핵심이 가설을 지지하는 증거가 아니라 가설을 반박하는 증거를 찾는 데 있기 때문입니다. 과학철학자인 Popper(1963)는 어떤 가설이든지 그 가설을 지지할 수 있는 사례는 얼마든지 찾을 수 있으며, 과학은 반증 시도를 견뎌 낸 가설만을 잠정적으로 받아들인다고 설명하였습니다. 연구자의 임무는 자신의 가설을 무너뜨리려고 노력하는 것입니다. 하지만 가설에 동의만 하는 조수는 이 임무의 정반대에 서 있습니다.

• Popper, K. R. (1963). Conjectures and refutations: The growth of scientific knowledge. Routledge & Kegan Paul.

문제는 인간이 원래 반증에 서투르다는 점입니다. Wason(1960)은 피실험자에게 ‘2, 4, 6’이 따르는 규칙을 찾게 했는데, 대부분이 자신의 가설을 확인하는 사례만 시험하고 반박하는 사례는 시험하지 않는다고 주장하였습니다. Nickerson(1998)은 이 확증편향(confirmation bias, 자신의 믿음에 맞는 정보만 찾고 받아들이는 경향)이 과학자를 포함하는 모든 인간에게 편재한다고 논의하였습니다. 연구 훈련의 상당 부분은 이 편향을 억제하는 습관을 기르는 과정입니다.

• Wason, P. C. (1960). On the failure to eliminate hypotheses in a conceptual task. Quarterly Journal of Experimental Psychology, 12(3), 129–140. https://doi.org/10.1080/17470216008416717

• Nickerson, R. S. (1998). Confirmation bias: A ubiquitous phenomenon in many guises. Review of General Psychology, 2(2), 175–220. https://doi.org/10.1037/1089-2680.2.2.175

여기에 AI가 아첨을 더하면 편향은 억제되는 대신 더욱 증폭됩니다. 확증편향을 지닌 연구자가 ‘이 가설이 타당한가?’라고 묻고, 인간에 동의하도록 훈련된 AI 조수가 ‘타당하다’고 답하면, 인간과 AI 조수는 서로의 편향을 강화하는 폐쇄 회로(closed-loop)를 이룹니다. 지도교수와 동료 심사위원이 수행하던 반증의 역할이 사라지는 것입니다.

더욱 위험한 점은 연구자가 이 영향을 알아차리지 못한다는 사실입니다. 독일 잉골슈타트 공과대학교의 Krügel et al.(2023)은 767명의 피실험자에게 도덕적 딜레마에 대한 ChatGPT의 조언을 보여 주었습니다. 연구진은 ChatGPT의 조언이 일관성이 없음에도 피실험자 자신의 판단을 바꾸었으며, 자신이 영향을 받았다는 사실을 과소평가하였다고 보고하였습니다. 이들의 연구 결과는 AI의 동조를 ‘내 판단이 맞았다는 확인’으로 경험하는 것이며, ‘내 판단이 조정되었다’고 경험하지 않는 것으로 해석할 수 있습니다.

• Krügel, S., Ostermaier, A., & Uhl, M. (2023). ChatGPT’s inconsistent moral advice influences users’ judgment. Scientific Reports, 13, 4569. https://doi.org/10.1038/s41598-023-31341-0

인간과 AI의 조합이 항상 바람직한 판단을 가져오는 것은 아닙니다. MIT의 Vaccaro et al.(2024)은 인간과 AI의 협업 성과를 다룬 106건의 실험연구에 대해서 메타분석(meta analysis)을 수행하였습니다. 연구진은 인간과 AI의 조합이 평균적으로 인간 단독 혹은 AI 단독이 보여주는 성과의 최대치(maximum performance)에 미치지 못하였으며, 특히 판단과 결정 과제에서 더욱 두드러진다고 보고하였습니다. 가설의 타당성을 판단하는 것은 전형적인 결정에 관한 과제입니다.

• Vaccaro, M., Almaatouq, A., & Malone, T. (2024). When combinations of humans and AI are useful: A systematic review and meta-analysis. Nature Human Behaviour, 8(12), 2293–2303. https://doi.org/10.1038/s41562-024-02024-1

연구자에게 ChatGPT 확증편향은 어떤 모습으로 나타나는가?

실무적인 연구 환경에서 ChatGPT 확증편향은 연구계획서 평가, 통계 결과의 해석, 심사의견의 대응이라는 세 곳에서 반복적으로 관찰됩니다. 프라임 컨설팅의 학위논문 컨설팅 과정에서 접한 사례를 소개합니다. 세 장면의 공통점은 연구자가 이미 답을 정해 두고 질문하였다는 점입니다.

첫 번째 장면은 연구계획서입니다. ‘이 연구 설계가 적절하다고 생각하는데 어떻게 보십니까’라고 물으면, AI는 연구 설계의 장점을 나열하고 사소한 보완점을 덧붙입니다. 동일한 계획서를 지도교수에게 보이면 표본 추출의 근거와 통제변수의 누락을 먼저 지적받습니다. 연구자는 AI의 답을 먼저 들었기 때문에 지도교수의 지적을 과도한 비판으로 받아들이게 됩니다.

두 번째 장면은 통계의 결과 해석입니다. 연구 가설이 기각된 결과를 놓고 ‘이 결과를 어떻게 해석하면 좋을까요’라고 물으면, AI는 결과를 긍정적으로 포장하는 서사를 능숙하게 제공합니다. 표본의 특성, 도구에 의한 측정의 한계점, 상황적인 요인을 차례로 동원합니다. 이 서사는 논문의 문헌고찰 챕터에 그대로 옮겨지고, 기각된 가설은 어느새 ‘부분적으로 지지된’ 가설로 바뀌어 있습니다.

세 번째 장면은 심사의견의 대응입니다. 부정적인 심사의견을 AI에 보여 주며 ‘심사위원이 제 연구를 오해한 것 같습니다’라고 입력하면, AI는 심사위원의 오해 가능성을 지지하는 논거를 만들어 냅니다. 앞서 AI 논문 심사를 다루었던 게시물에서 보여주는 사실 오류가 있는 심사의견이라면 이 반응이 도움이 되겠으나, 타당한 지적에 대해서도 같은 반응이 나옵니다. 연구자는 수정해야 할 것을 수정하지 않은 채 반박문을 제출하게 됩니다.

세 장면 모두에서 결정적인 순간은 연구자가 되묻는 때입니다. Sharma et al.(2024)의 실험에서 AI 모델은 인간이 ‘정말 그런가요?’라고 되묻자 옳은 답을 철회하는 경향을 보였습니다. AI가 드물게 반대 의견을 냈더라도, 연구자가 한 번 반문하면 AI는 물러섭니다. 이 경험이 쌓이면 연구자는 자신의 판단이 AI의 판단을 이겼다고 믿게 되고, 자신의 가설을 더욱 확신하게 됩니다.

AI 조수의 의존을 막는 질문 방식은 무엇인가?

AI 조수의 의존을 막는 질문 방식의 핵심은 AI에게 자신의 입장을 알리지 않고, 동의가 아니라 반박을 명시적으로 요구하는 것입니다. AI 아첨은 사용자의 견해를 감지할 때 작동하므로, 견해를 숨기면 아첨의 단서가 사라집니다. 프라임 컨설팅은 다음의 과정을 제시합니다.

1. 가설이나 설계를 평가받을 때 자신의 선호를 문장에 담지 않습니다. ‘이 설계가 좋다고 생각하는데…’가 아니라 ‘이 설계의 결함을 찾아 주십시오’라고 묻습니다.
2. 반대 역할을 명시적으로 부여합니다. ‘이 가설이 틀렸다고 가정하고, 가장 강력한 반박 논거 세 가지를 제시하라’는 형식이 효과적입니다.
3. 연구가설을 뒷받침하는 연구문헌이 아니라 반대하는 문헌을 먼저 요구합니다. 이때 제시된 문헌은 반드시 DOI로 실재 여부를 확인합니다.
4. 동일한 질문을 서로 반대되는 전제로 두 번 묻고, 두 답이 모두 그럴듯하다면 AI의 판단이 아니라 인간의 전제를 따라간 것으로 간주합니다.
5. AI의 칭찬과 동의는 정보량이 없는 것으로 취급합니다. ‘훌륭한 설계입니다’라는 문장은 판단 근거에서 제외합니다.
6. AI로부터 얻은 답을 지도교수나 동료에게 보여주며 검증을 받습니다. 긜고 최종 판단은 반대할 수 있는 사람에게 맡깁니다.

이 절차는 AI를 쓰지 말라는 의미가 아닙니다. 반대 역할을 부여받은 AI는 연구자가 미처 생각하지 못한 반론을 빠르게 생성하는 유용한 도구가 됩니다. 그리고 문제는 사용 방식입니다. 동의를 구하는 질문은 확증편향을 증폭시키고, 반박을 구하는 질문은 확증편향을 억제합니다. 같은 도구가 질문의 형식에 따라 정반대의 효과를 냅니다. 논문 컨설팅의 가치도 같은 자리에 있습니다. 컨설팅의 역할이 연구자의 계획에 동의하는 데만 그친다면 AI 아첨과 다를 바가 없습니다.

결론

AI 아첨의 위험은 세 가지로 요약됩니다. 첫째, AI 조수는 인간보다 49% 더 자주 동조하도록 훈련되어 있으며, 되물으면 옳은 답도 철회합니다. 둘째, 과학은 반증으로 전진하는데, 동의만 하는 AI 조수는 확증편향을 억제하는 대신 증폭합니다. 셋째, 연구자는 이 영향을 자각하지 못한 채 아첨하는 AI를 더욱 신뢰하게 됩니다. 앞으로 AI 도구 개발사들은 아첨을 줄이는 방향으로 모델을 조정하겠지만, 사용자가 동조를 선호하는 한 아첨은 사라지지 않을 것으로 보입니다. 연구자에게 필요한 것은 더 정직한 AI를 기다리는 것이 아니라 질문을 바꾸는 것입니다. 여러분의 연구가설을 AI에 입력하고, 이번에는 ‘이 가설이 틀렸다고 가정하고 반박하라’고 요청해 보시기 바랍니다. 그 반론에 답할 수 없다면 가설을 고칠 때이고, 답할 수 있다면 심사에 설 수 있는 준비가 된 것입니다.