논문작성은 곧 사고(思考)다: 인공지능(AI)을 활용한 대필이 논문에서 빼앗아 가는 것

글쓰기는 곧 사고(思考)라는 명제는 인지심리학에서 오랫동안 검증되어 왔습니다. 연구자는 문장을 쓰는 과정에서 자신의 목표를 발견하고 알고 있던 지식을 변형합니다. 인공지능(AI)을 활용한 대필은 사고의 과정이 없는 완성된 문장만이 남겨집니다.

이 글의 순서 8개 항목

1. ‘글쓰기=사고’라는 생각은 어디에서 시작되었나?
2. 작가는 글을 쓰는 동안 머릿속에서 무엇을 하는가?
3. 지식 서술과 지식 변형은 무엇이 다른가?
4. 사고로서의 글쓰기가 학습을 높인다는 근거가 무엇인가?
5. AI 대필은 논문작성으로부터 무엇을 빼앗는가?
6. AI로 논문을 작성한다면 논문의 어느 부분에서 가장 큰 손실이 발생하는가?
7. 자주 묻는 질문 (FAQ)
8. 결론

영국의 소설가 E. M. Forster는 1927년도에 강연록 『소설의 이해(Aspects of the Novel)』에서 한 노부인의 말을 빌려 “내가 말한 것을 보기 전에 내가 무엇을 생각하는지 어떻게 알겠는가”라고 적었습니다. 이 문장은 이후 논문을 작성하는 연구자들이 즐겨 인용하는 문장이 되었습니다. 사람은 생각을 먼저 끝내고 그것을 글로 옮기는 것이 아니라, 글을 쓰면서 비로소 자신의 생각을 알게 된다는 뜻이기 때문입니다. 이 글에서는 글쓰기를 사고(思考)의 과정으로 파악한 연구들이 어떠한 배경에서 등장하였는지 살펴보고, 인공지능(AI)을 활용한 대필이 논문작성에서 연구자로부터 무엇을 빼앗아 가는지를 설명합니다.

‘글쓰기=사고’라는 생각은 어디에서 시작되었나?

글쓰기를 사고의 과정으로 보는 관점은 1970년대 미국의 작문 교육에서 시작되었습니다. 그때까지 학교의 작문 수업은 완성된 글을 평가하는 데에만 중심을 두었습니다. 교사는 학생이 제출한 글의 맞춤법과 구성을 고쳐 주었을 뿐, 학생이 그 글을 쓰는 동안 머릿속에서 무슨 일이 일어났는지에는 전혀 관심을 두지 않았습니다. 연구자들의 사정도 크게 다르지 않았습니다. 글은 이미 정리된 생각을 담는 그릇이라는 전제가 널리 퍼져 있었기 때문입니다.

이 전제에 대해 처음으로 의문을 던진 연구자가 Janet Emig입니다. Emig는 고등학생들이 글을 쓰는 장면을 직접 관찰하며 그들이 쓰는 과정을 기록하였습니다. 그리고 1977년에 발표한 논문에서, 글쓰기는 말하기나 듣기, 읽기와 구별되는 고유한 학습 양식이라고 주장하였습니다. Emig(1977)는 글을 쓰는 사람은 생각을 손으로 직접 만들어 내고, 만들어 낸 결과를 눈으로 다시 확인하며, 그 결과를 바탕으로 생각을 다시 고친다고 설명하였습니다. 손과 눈과 뇌가 하나의 고리로 이어지기 때문에, 글쓰기는 다른 어떤 언어 활동보다 학습을 깊게 만든다는 것입니다.

• Emig, J. (1977). Writing as a mode of learning. College Composition and Communication, 28(2), 122–128. https://doi.org/10.2307/356095

Emig(1977)의 주장은 교육 현장에 큰 반향을 일으켰습니다. 미국의 여러 대학이 전공 수업에서 글쓰기를 학습 도구로 쓰는 프로그램을 도입하였고, 이 흐름은 ‘학습을 위한 글쓰기(writing to learn)’라는 이름으로 퍼져 나갔습니다. 그러나 Emig(1977)의 논문은 관찰과 논증에 기반한 에세이였습니다. 글을 쓰는 동안 머릿속에서 정확히 어떤 일이 일어나는지를 측정한 연구는 아닙니다. 그런데 그 공백을 메운 사람이 카네기멜런 대학교의 두 연구자였습니다.

작가는 글을 쓰는 동안 머릿속에서 무엇을 하는가?

수사(修辭)학자인 Linda Flower와 인지심리학자 John Hayes는 작가가 글을 쓰는 동안 떠오르는 생각을 모두 소리 내어 말하게 하고, 그 발화를 녹음해서 분석하였습니다. 이 방법을 사고 구술법(think-aloud protocol)이라고 합니다. 두 연구자는 수년에 걸쳐 숙련된 작가와 초보 작가의 사고 구술 기록을 비교하였습니다. 그리고 1981년, 글쓰기의 인지 과정을 설명하는 모형을 발표하였습니다.

Flower와 Hayes(1981)는 네 가지 명제로 자신들의 이론을 요약하였습니다. 첫째, 글쓰기 과정은 작가가 글을 쓰는 동안 조율하고 조직하는 여러 개의 구별되는 사고 과정의 집합으로 이해하는 것이 가장 적절하다는 점입니다. 둘째, 이 과정들은 하나의 과정이 다른 과정 안에 포함될 수 있는 위계적 구조를 갖는다고 주장하였습니다. 셋째, 글을 쓰는 행위는 목표를 지향하는 사고 과정이며, 그 과정은 작가가 스스로 키워 가는 목표의 연결망에 따라 진행한다고 논의하였습니다. 넷째, 작가는 두 가지 방식으로 자신의 목표를 만들어 낸다는 점입니다. 상위 목표와 그것을 뒷받침하는 하위 목표를 세우는 방식이 하나이고, 글을 쓰는 행위 속에서 학습한 것을 바탕으로 기존의 목표를 바꾸거나 새로운 목표를 세우는 방식이 다른 하나입니다.

• Flower, L., & Hayes, J. R. (1981). A cognitive process theory of writing. College Composition and Communication, 32(4), 365–387. https://doi.org/10.2307/356600

논문작성과 관련하여 가장 눈여겨볼 것은 바로 네 번째 명제입니다. 작가는 무엇을 쓸지 완전히 결정한 뒤에 쓰기 시작하지 않습니다. 쓰는 도중에 자신이 무엇을 말하려 하였는지를 발견하고, 그 발견에 따라 목표를 수정해 나갑니다. Flower & Hayes(1981)의 관찰에서는 숙련된 작가일수록 이 목표의 수정을 자주, 그리고 더욱 깊게 하였습니다. 반면, 초보 작가는 처음에 만든 주제를 끝까지 따라가는 경향이 강하였고, 하지만 숙련된 작가는 쓰는 동안에도 주제 자체를 다시 정의해 나갔습니다. 숙련도의 차이는 문장력이 아니라 쓰는 동안 사고를 얼마나 바꾸는가에서 나타났습니다.

지식 서술과 지식 변형은 무엇이 다른가?

지식을 서술하는 것은 이미 알고 있는 것을 머리에서 떠오르는 순서대로 옮겨 적는 글쓰기입니다. 반면, 지식의 변형은 쓰는 과정에서 알고 있던 것 자체를 바꾸며 글을 쓰는 것입니다. 이 구분은 토론토 대학교의 교육심리학자인 Carl Bereiter와 Marlene Scardamalia가 1987년의 저서에서 제시하였습니다. 두 연구자는 어린 학생과 성인 작가의 글쓰기를 오랫동안 비교하였는데, 두 집단이 글을 쓰는 방식 자체가 다르다는 사실에 주목하였습니다.

Bereiter & Scardamalia(1987)에 따르면, 지식의 서술 모형에서 작가는 주제와 관련된 내용을 기억에서 꺼내고, 그 내용이 글에 어울린다고 판단하면 그대로 적습니다. 그리고 다음 내용을 다시 꺼냅니다. 이 방식으로도 글은 완성됩니다. 그러나 글을 쓰기 전과 쓴 뒤에 작가의 지식은 달라지지 않습니다. 지식의 변형 모형에서는 두 개의 문제 공간이 서로 영향을 주고받습니다. 하나는 무엇을 말할지에 관한 내용 공간이고, 다른 하나는 어떻게 말해야 독자에게 전달될지에 관한 수사를 위한 공간입니다. 작가가 독자를 고려해서 표현의 문제를 해결하다 보면, 그 해결이 내용의 공간으로 되돌아와 작가의 생각을 바꿉니다. 글쓰기가 지식을 변형하는 것입니다.

• Bereiter, C., & Scardamalia, M. (1987). The psychology of written composition. Lawrence Erlbaum Associates.

인지심리학자인 Ronald Kellogg은 이 구분을 발달의 관점으로 확장하였습니다. Kellogg(2008)는 글쓰기 능력이 아동기부터 청소년기 후반을 거쳐 성인 초기에 이르기까지 20년 이상에 걸쳐 발달하며, 초보 작가는 지식 서술 단계에서 성인 작가의 특징인 지식 변형 단계로 나아간다고 설명하였습니다. 그리고 전문 작가는 여기서 한 단계 더 나아가 지식의 가공(knowledge-crafting) 단계에 이릅니다. 이 단계에서의 작가는 자신이 계획한 내용과 이미 쓴 글, 그리고 독자가 그 글을 어떻게 해석할지를 작업기억(working memory) 안에서 동시에 다룹니다. Kellogg(2008)는 논문에서 성숙한 성인에게 사고와 글쓰기는 쌍둥이라고 불러도 될 만큼 밀접하게 연결되어 있다고 주장하였습니다.

• Kellogg, R. T. (2008). Training writing skills: A cognitive developmental perspective. Journal of Writing Research, 1(1), 1–26. https://doi.org/10.17239/jowr-2008.01.01.1

대학원에서의 학위 과정은 바로 이 발달의 마지막 구간입니다. 학위논문을 쓰는 연구자는 자신의 연구를 선행연구 속에 위치시키고, 심사위원이라는 까다로운 독자를 설득해야 합니다. 이 과정에서 연구자는 지식의 변형과 지식 가공을 반복할 수밖에 없습니다. 학위논문을 통해 연구자가 성장하는 이유는 결과물이 아니라 바로 이 반복에 있습니다.

사고로서의 글쓰기가 학습을 높인다는 근거가 무엇인가?

사고로서의 글쓰기가 학습을 높인다는 주장은 두 편의 메타분석 논문으로 뒷받침됩니다. Emig 이후 학습을 위한 글쓰기는 교육 현장에 빠르게 퍼졌지만, 효과에 대한 연구 결과는 일치하지 않았습니다. Bangert-Drowns et al.(2004)은 학교 현장에서 운영된 ‘학습을 위한 글쓰기 프로그램’을 다루었던 48편의 논문에 대해서 메타분석을 수행하였습니다.

Bangert-Drowns et al.(2004)은 글쓰기가 일반적인 학업 성취를 나타내는 지표에 크기(effect size)는 작지만 긍정적인 영향을 미친다고 보고하였습니다. 효과를 높인 요인은 두 가지였습니다. 학생에게 자신의 이해 상태를 돌아보게 하는 메타인지(meta-cognition) 촉진 질문을 제공한 경우와, 프로그램을 오래 운영한 경우였습니다. 반대로, 글쓰기 과제의 분량이 길수록 효과는 감소하였습니다. 이 결과는 글을 많이 쓰는 것보다 글을 쓰면서 자신의 생각을 스스로 평가하는 것이 학습을 가능하게 한다는 점을 나타냅니다.

• Bangert-Drowns, R. L., Hurley, M. M., & Wilkinson, B. (2004). The effects of school-based writing-to-learn interventions on academic achievement: A meta-analysis. Review of Educational Research, 74(1), 29–58. https://doi.org/10.3102/00346543074001029

16년이 흐른 뒤에, Graham et al.(2020)은 과학과 사회, 수학 교과에서 수행한 56편의 실험연구를 담은 논문에 대해 메타분석을 수행하였습니다. 이들의 연구결과에서는 교과 내용에 대해 글을 쓰는 활동이 학습효과를 지속적으로 상승시켰으며, 효과의 크기는 0.30으로 나타났습니다. 이 효과는 교과와 학년에 관계없이 유사하게 나타났습니다. Bangert-Drowns et al.(2004)과 Graham et al.(2020)이 각각 수행한 메타분석의 결과에서는 세부 조건에서는 차이가 나타났지만, 글을 쓰는 행위가 학습을 이루게 한다는 패턴에서는 일치하고 있었습니다.

• Graham, S., Kiuhara, S. A., & MacKay, M. (2020). The effects of writing on learning in science, social studies, and mathematics: A meta-analysis. Review of Educational Research, 90(2), 179–226. https://doi.org/10.3102/0034654320914744

물론 Bangert-Drowns et al.(2004)과 Graham et al.(2020)의 연구 결과와는 정반대의 결과가 나타난 근거도 제시되었습니다. Mueller & Oppenheimer는 강의를 들으면서 노트북으로 필기한 학생과 손으로 필기한 학생을 비교하였습니다. 그리고 이들의 연구결과에서는 노트북으로 필기한 학생이 강의 내용을 그대로 옮겨 적는 경향이 강하였고, 그 결과, 개념을 이해하였는지 묻는 문제에서 더 낮은 점수를 평가받은 것으로 나타났습니다. 손으로 필기하는 학생은 속도의 한계 때문에 내용을 자기 말로 요약했어야 했고, 바로 그 요약 과정이 ‘이해’를 가능하게 했다는 것입니다. 같은 내용을 기록하더라도 자신의 언어로 다시 쓰지 않으면 학습이 일어나지 않는다는 의미이기도 합니다.

• Mueller, P. A., & Oppenheimer, D. M. (2014). The pen is mightier than the keyboard: Advantages of longhand over laptop note taking. Psychological Science, 25(6), 1159–1168. https://doi.org/10.1177/0956797614524581

AI 대필은 논문작성으로부터 무엇을 빼앗는가?

AI 대필은 목표의 발견, 지식의 변형, 그리고 글쓰기를 통한 학습이라는 세 가지를 연구자로부터 빼앗습니다. 지금까지 소개한 연구들은 모두 생성형 AI가 등장하기 훨씬 이전에 수행되었습니다. 그러나 이 연구들이 설명한 원리를 추적한다면, AI가 문장을 대신 써 줄 때 무엇을 얻을 수 없는지를 예상할 수 있습니다.

첫째, 목표의 발견이 사라집니다. Flower & Hayes(1981)가 관찰한 숙련된 작가는 글을 쓰는 도중에 자신이 무엇을 말하려고 하였는지를 발견하고 목표를 수정하였습니다. 만약 논문을 써야 하는 연구자가 AI에게 서론을 작성해 달라고 프롬프트한다면, 이는 서론을 쓰는 동안 일어났어야 하는 목표의 재정의를 건너뛰는 행위입니다. 연구자는 처음에 입력한 주제를 그대로 유지한 채 완성된 서론을 AI로부터 받습니다. 다만, 그 주제가 정말로 자신이 물어보고 싶었던 질문인지의 여부를 확인할 기회는 찾아오지 않습니다.

둘째, 지식의 변형이 사라집니다. Bereiter & Scardamalia(1987)의 모형에서 지식을 바꾸는 힘은 수사 공간의 문제를 해결하는 과정에서 나타납니다. 논문을 어떻게 써야 심사위원이 납득할지를 고민하다 보면 자신의 논리에 빈틈이 있다는 사실을 알게 됩니다. AI는 이 수사의 문제를 연구자 대신 해결합니다. 그 결과, 연구자의 내용 공간에는 아무 변화도 일어나지 않습니다. 매끄러운 문장이 논리의 빈틈을 덮어 버리기 때문에, 연구자는 빈틈이 있었다는 사실조차 인식하지 못합니다.

셋째, 글쓰기를 통한 학습이 사라집니다. Mueller & Oppenheimer(2014)의 실험에서 내용을 그대로 옮겨 적은 학생은 이해에 이르지 못하였습니다. AI가 만든 문장을 논문에 붙여 넣는 행위는 받아 적기보다 훨신 더 수동적인 행위입니다. 받아 적는 학생은 적어도 손이라도 움직였지만, AI 대필에 기대는 연구자는 그 조차도 행하지 않습니다. 두 메타분석이 확인한 학습 효과가 발생할 가능성조차 없는 것입니다.

인지 부채(Cognitive Debt): ChatGPT로 쓴 논문은 왜 연구자의 머릿속에 남지 않는가?

지금까지 설명한 세 가지 형태의 손실을 종합한다면 하나의 역설이 드러납니다. Bereiter & Scardamalia(1987)는 지식의 서술을 초보 작가의 글쓰기로 비유하였습니다. 하지만 초보 작가라도 자신의 기억에서 꺼낸 자신의 지식을 서술하려고 합니다. 하지만 AI 대필로 완성한 논문은 그보다 한 단계 아래에 위치합니다. 연구자의 지식이 아니라 언어모델이 학습한 다른 사람들의 지식을 서술하기 때문입니다. 겉으로는 전문 작가가 쓴 글처럼 보이지만, 그 글을 만든 사고는 초보 작가의 단계에도 이르지 못합니다.

AI로 논문을 작성한다면 논문의 어느 부분에서 가장 큰 손실이 발생하는가?

손실이 가장 큰 부분은 서론에서 등장하는 연구의 필요성, 이론적 배경, 그리고 논의에서의 결과 해석입니다. 세 부분의 공통점은 연구자가 이미 가지고 있는 정보를 옮기는 곳이 아니라, 논문을 집필하는 과정에서 새로운 판단을 만들어야 하는 곳이라는 점입니다.

서론에서 연구의 필요성은 연구자가 왜 이 연구를 수행해야 하는지를 처음으로 스스로에게 납득시키는 영역입니다. 연구자가 이 부분을 직접 작성하다가 막힌다면, 이는 연구문제가 아직 세련되게 정제되지 않았다는 신호입니다. 하지만 그 막힘이 오히려 연구 설계를 수정하는 출발점이 됩니다. 하지만 AI가 이 부분을 대신 작성하면 연구자는 막힘을 느끼지 않게 되고, 정교화시키지 못한 연구문제를 해결하기 위해 자료를 수집하기 시작합니다.

이론적 배경은 여러 풍부한 선행연구를 하나의 논리로 엮어내는 영역입니다. 연구자가 문헌을 탐색하면서 서로 다른 결과를 발견하고, 그 이유를 설명할 수 있는 방법을 탐색하는 과정에서 자신의 연구가설을 설계합니다. 하지만, AI는 문헌을 요약할 수 있을 지언정, 그 요약문으로부터 연구자가 무엇을 발견해야 하는지를 알려 주지 않습니다.

논의는 분석의 결과가 무엇을 의미하는지를 연구자가 판단하는 곳입니다. 컨설팅 실무 현장에서 학위논문을 살피다 보면, 연구의 결과(Results) 챕터에서 작성한 내용과 논의 챕터에서의 내용이 서로 일치하지 않는 케이스를 상당히 흔하게 관찰할 수 있습니다. 예를 들어서, 연구가설이 기각되었음에도 불구하고 논의 챕터에서는 선행연구와 일치한다고 서술하거나, 또는 결과에서 등장하지 않던 결과를 해석하는 경우입니다. 그렇게 작성한 이유가 무엇인지를 물으면 답하지 못하는 경우가 태반입니다. 왜냐하면, 글을 쓰는 동안 사고의 과정을 연구자가 거치지 않았기 때문입니다.

자주 묻는 질문 (FAQ)

Q. 글쓰기는 곧 사고라는 말은 비유가 아닌가요?

A. 비유가 아니라 인지심리학 영역에서의 연구 결과입니다. Kellogg(2008)는 사고와 글쓰기는 서로 쌍둥이처럼 연결되어 있다고 설명하였습니다.

Q. AI 대필과 AI 교정은 어떻게 구별하나요?

A. 사고의 과정을 누가 수행하였는지로 구별합니다. 연구자가 직접 작성한 글의 철자와 표현을 다듬는 것은 교정입니다. 하지만, 연구자가 제시해야 하는 주장과 논리를 담은 문장을 AI가 처음부터 만들었다면 대필입니다.

Q. 지식의 변형을 어떻게 인식할 수 있나요?

A. 논문을 작성하기 전에 생각하였던 주장과 작성한 후의 주장을 비교한다면 인식할 수 있습니다. 글을 쓰는 과정에서 주장이 더욱 선명해졌거나 방향이 수정되었다면 지식 변형이 일어난 것입니다. 하지만, 처음과 끝이 서로 같다면 지식의 서술에만 머문 것입니다.

Q. 영어 논문은 AI 없이 작성하기가 어려운데 어떻게 하나요?

A. 모국어(예., 한국어)로 먼저 생각을 쓰고, 그 원고를 영어로 옮기는 단계에서 AI를 사용하는 방법을 고려할 수 있습니다. 사고는 모국어 초안에서 일어나야 하고, AI는 언어의 전환만 돕게 해야 합니다.

Q. 사고로서의 글쓰기는 어느 정도의 효과가 있나요?

A. Graham et al.(2020)이 수행한 메타분석의 결과에서는 교과 내용에 대해 글을 쓰는 활동의 효과 크기가 0.30으로 나타났습니다. 그리고 Bangert-Drowns et al.(2004)의 메타분석에서는 메타인지 촉진 질문을 함께 제공할 때 효과가 더욱 커진 것으로 나타났습니다.

Q. AI로 작성한 논문으로는 심사과정에서 그 사실이 드러날까요?

A. 문장에서 드러나게 되고, 그리고 연구자의 답변에서 반드시 드러날 수 밖에 없습니다. 예를 들어서, 심사위원이 서론의 전개 논리를 질의하였을 때 연구자가 답하지 못한다면, 그 서론은 연구자의 사고에서 나오지 않았다는 사실로 드러날 수 밖에 없습니다.

결론

인공지능이 매끄럽게 만들어 준 문장은 외견상으로 흠잡을 데 없는 유려함을 지니지만, 그 속에는 연구가설과 데이터 사이에서 치열하게 방황하며 자신의 길을 찾아간 ‘연구자의 고유한 사유’가 결여되어 있습니다. 글을 쓰는 과정은 단어를 선택하고 문장을 버리는 씨름 속에서 비로소 자신의 생각이 구조화되고 정교해지는 인지적인 훈련 과정입니다. 이 고통스러운 단계를 AI에 외주화 한다면, 연구자는 자신이 쓴 글 앞에서 정작 그 의미를 전혀 이해하지 못하는 낯선 관찰자로 전락할 것입니다.