이중부호화이론(DCT)은 인간의 인지가 언어체계(verbal system)와 비언어체계(non-verbal system)라는 두 표상의 체계로 정보를 처리한다고 설명하는 인지심리학 이론입니다. 글과 그림을 함께 제시하는 교수설계의 근거를 제공하여 멀티미디어 학습 연구의 출발점이 됩니다. 교육학, 외국어교육, 의학교육, 광고 연구에서 활용됩니다.
이 글의 순서 11개 항목
이중부호화이론(Dual Coding Theory; DCT)은 인간의 기억과 사고를 언어적인 표상과 비언어적인 표상의 상호작용으로 설명하는 인지심리학 이론입니다(Paivio, 1971). DCT에 따르면, 정보가 언어 부호와 심상 부호로 함께 저장될 때 하나의 부호로만 저장될 때보다 더 잘 기억됩니다.
이중부호화이론의 등장 배경
1950년대까지 북미 심리학은 행동주의가 지배하였습니다. 행동주의는 관찰할 수 있는 자극(stimulus)과 반응(response)만을 과학의 대상으로 인정하였습니다. 그 결과 마음속의 그림을 뜻하는 심상(imagery)은 객관적으로 연구할 수 없는 주관적인 개념으로만 취급되었습니다.
캐나다 맥길대학교의 대학원생이었던 Paivio는 단어 쌍(pair)을 암기하는 짝연합학습(paired-associate learning) 실험에서 뜻밖의 현상을 발견하였습니다. 구체적인 단어가 추상적인 단어보다 회상 단서로서 훨씬 효과적이었던 것입니다. 그는 구체어가 머릿속에 심상을 쉽게 불러일으키고, 이 심상이 기억을 붙잡아 두는 ‘개념적인 말뚝(conceptual peg)’의 역할을 한다고 주장하였습니다(Paivio, 1969).
심상을 의심하는 행동주의자들을 설득하기 위해서는 그들이 신뢰하는 엄격한 실험 방법을 사용해야 하였습니다. Paivio는 925개 명사의 구체성과 심상가를 평정한 기준을 만들고(Paivio et al., 1968), 이 값을 독립변수로 조작하는 실험을 거듭하였습니다. 그 성과는 『심상과 언어 과정(Imagery and Verbal Processes)』(Paivio, 1971)으로 집대성되었고, 심상은 다시 인지심리학의 정식적인(?) 연구 주제로 복귀하였습니다.
그림이 단어보다 더 잘 기억되는 그림의 우월성 효과(picture superiority effect)도 같은 프레임워크에서 설명되었습니다. Paivio & Csapo(1973)는 그림이 언어 부호와 심상 부호를 모두 활성화할 가능성이 높기 때문에 단어보다 더 잘 회상된다고 해석하였습니다.
이중부호화이론의 구성
DCT는 두 개의 표상 체계와 세 가지 처리 연결로 구성됩니다(Clark & Paivio, 1991).
- 언어체계(verbal system): 단어와 문장처럼 대상을 임의적인 기호로 나타내는 언어적 표상, 즉 로고젠(logogen)을 다루는 체계입니다. 언어적 표상은 순차적으로 처리됩니다.
- 비언어체계(nonverbal system): 사물의 모양, 소리, 동작, 정서적인 감각처럼 비언어적 대상을 나타내는 심상, 즉 이마젠(imagen)을 다루는 체계입니다. 심상은 여러 요소를 동시에 통합하여 처리할 수 있습니다.
- 표상적 연결(representational connection): 외부 자극이 각 체계의 표상을 직접 활성화하는 연결입니다.
- 참조적 연결(referential connection): 단어가 심상을 불러일으키거나 그림이 이름을 불러일으키는 것처럼, 두 체계를 서로 잇는 연결입니다.
- 연합적 연결(associative connection): 같은 체계 안에서 표상과 표상을 잇는 연결입니다.
두 체계는 서로 독립적으로 작동하면서도 참조적 연결을 통해 상호작용합니다. 구체어는 심상을 쉽게 불러일으키기 때문에 언어 부호와 심상 부호로 이중적으로 저장될 가능성이 높습니다. Clark & Paivio(1991)는 심상 부호와 언어 부호의 효과가 가산적(additive)이라는 특징 때문에, 두 부호를 함께 사용할 때 언어 부호만 사용할 때보다 기억이 향상된다고 설명하였습니다.
Mayer(2001)는 DCT를 기반으로 작업기억(working memory)의 용량 제한과 능동적인 처리를 결합해서 멀티미디어 학습의 인지이론(cognitive theory of multimedia learning)을 제시하였습니다.
키페이퍼(key paper)
- Paivio(1971), Imagery and Verbal Processes: DCT를 체계적으로 처음 제시한 원문입니다. 언어 과정과 심상 과정을 서로 분리되면서도 연결된 표상 체계로 설명하며, DCT를 이론적 배경으로 삼는 모든 논문이 인용해야 합니다.
- Clark & Paivio(1991), Educational Psychology Review: DCT를 지식 표상, 학습과 기억, 교수, 개인차, 동기, 불안, 운동기술 등 교육의 여러 영역에 적용한 종합 논문입니다. 교육 맥락에서 DCT를 이론적 배경으로 삼는 연구라면 반드시 인용해야 합니다.
- Mayer & Anderson(1991), Journal of Educational Psychology: 자전거 펌프의 작동 원리 학습에 관한 두 번의 실험에서, 내레이션을 애니메이션과 동시에 제시한 집단이 애니메이션 전에 제시한 집단보다 문제해결의 수행 점수가 우수하였습니다. DCT를 멀티미디어 교수설계로 연결한 출발점으로 인용됩니다.
- Lee & Shin(2012), Computers in Human Behavior: 72명을 대상으로 절차 과제를 학습할 때 언어 정보의 양식(화면 텍스트, 음성)과 시각 표상의 형식(정지 그림, 동작 단서를 더한 그림, 애니메이션)을 조작한 2×3 실험입니다. 공간능력(spatial ability)의 수준이 낮은 학습자는 애니메이션에서, 공간능력이 높은 학습자는 정지(static) 그림에서 더 높은 수행을 보였습니다. 언어 정보와 시각 정보의 결합 효과가 학습자 특성에 따라 달라짐을 보여주므로, 멀티미디어 학습의 개인차를 다루는 연구에서 인용할 수 있습니다. 참고로, 이 논문의 저자 중에서 1인은 프라임 컨설팅 대표입니다.
최신 해외 연구 5편
- Chen et al.(2026), Applied Sciences
87명을 대상으로 중국 세 도시의 관광 홍보물을 텍스트형, 이미지형, 마스코트-텍스트 결합형으로 제시하고 시선추적과 기억검사를 수행하였습니다. 결합형 홍보물 그룹은 총 응시시간이 가장 길었고, 텍스트를 포함한 홍보물 그룹은 이미지만을 제시한 홍보물 그룹보다 사실 회상의 정확도가 높은 것으로 나타났습니다.
- Li & Zhong(2025), Frontiers in Psychology
중국어를 배우는 30명의 영어권 학습자를 대상으로 2×2 피험자내 설계(within subject design)로 접근해서 의미 일치 과제를 수행하게 하였습니다. 이모지(emoj)와 중국어 단어를 짝지은 조건은 영어와 중국어 단어를 짝지은 조건보다 반응이 빠르고 정확하였으나, 의미가 불일치하는 조건에서는 그 이점이 감소한 것으로 나타났습니다.
- Corral-Gudino et al.(2025), Medical Science Educator
3개 학년도에 걸쳐 459명의 의과대학 5학년 학생을 대상으로 임상 요약 인포그래픽의 효과를 피험자내 설계로 분석하였습니다. DCT와 인지부하이론 등을 근거로 제작한 인포그래픽은 류마티스학 시험 점수를 유의하게 높이는 것으로 나타났으며, 응답 학생 중에서 86%가 인포그래픽이 도움이 되었다고 응답하였습니다.
- Otti et al.(2025), The Clinical Teacher
의과대학생, 임상 교육자, 교육과정 책임자가 함께 안과 임상술기 인포그래픽 6종을 공동 설계한 10단계 절차를 제시하였습니다. 연구진은 이미지와 텍스트가 두 인지 경로를 활성화한다는 DCT를 설계의 근거로 삼았으며, 공동 설계가 자료의 적합성과 학생 참여를 높였다고 주장하였습니다.
- Wooten & Cuevas(2024), International Journal on Social and Education Sciences
49명이 초등학교 5학년을 대상으로 사회 교과 두 단원에서 DCT에 기반한 수업의 효과를 준실험 설계로 접근해서 검증하였습니다. 두 번째 단원에서 처치 집단의 어휘 학습과 내용 지식이 통제 집단보다 유의하게 높았으나, 학습 태도에는 유의한 변화가 나타나지 않았습니다.
최근의 연구들은 DCT를 시선추적, 이모지, 인포그래픽과 같은 새로운 매체와 측정 방법에 적용하고 있습니다.
이중부호화이론을 활용할 수 있는 연구영역
교육학, 교육공학
글과 그림, 내레이션과 애니메이션을 결합하는 멀티미디어 교수설계의 효과를 검증하는 연구에서 DCT가 기본적인 프레임워크로 활용되고 있습니다.
외국어교육
그림, 몸짓, 이모지와 같은 비언어 정보를 활용한 어휘 학습의 효과를 설명하는 연구에 DCT가 적용되고 있습니다.
의학교육, 간호교육
인포그래픽, 해부 영상, 임상술기 동영상을 포함하는 시각 자료를 활용해서 교육의 효과를 분석하는 연구에서 DCT가 사용되고 있습니다.
이중부호화이론으로 접근할 때에 유의해야 할 점
DCT로 실험을 설계할 때에는 자극의 구체성과 심상가를 통제해야 합니다. 만약 단어 자극을 사용한다면 Paivio et al.(1968)의 주장과 같이 구체성과 심상가를 확인한 후에 조건 간의 자극을 맞추어야 합니다. 그렇지 않으면 처치의 효과와 자극 자체의 차이가 혼재합니다.
그림을 추가한다고 해서 학습이 항상, 그리고 반드시 향상되지는 않습니다. Mayer & Anderson(1991)의 연구에서는 동일한 내레이션과 애니메이션이라도 두 정보를 동시에 제시할 때에만 효과가 나타났습니다. Lee & Shin(2012)에서는 같은 시각 표상의 효과가 학습자의 공간능력에 따라 반대로 나타났습니다. 따라서 언어 정보와 시각 정보의 제시 시점, 형식, 학습자 특성을 함께 설계하고 통제해야 합니다.
DCT의 이론적인 가정에 대한 논쟁도 고려해야 합니다. Pylyshyn(1973)은 모든 정보가 궁극적으로 명제(proposition)의 형태로 저장된다고 논의하였는데, 심상을 독립된 표상 체계로 보는 관점을 비판하였습니다. 따라서 연구 결과를 해석할 때에는 이중 부호화 이외의 설명 가능성을 함께 고려해서 논의하는 것이 바람직합니다. 개인의 심상 능력도 결과에 영향을 미칠 수 있기 때문에 (Clark & Paivio, 1991), 피실험자의 능력과 관련한 변수를 공변량으로 측정하는 방안을 고려할 수 있습니다.
자주 묻는 질문 (FAQ)
이중부호화이론과 멀티미디어 학습의 인지이론은 어떻게 다른가요?
DCT는 언어 정보와 비언어적인 정보가 서로 다른 체계에서 표상된다고 설명하는 기억 이론입니다. 한편, Mayer(2001)의 멀티미디어 학습의 인지이론은 DCT에 작업기억의 용량 제한과 능동적인 처리를 결합해서 교수설계의 원리로 발전시킨 이론입니다.
DCT는 설문 연구에도 쓸 수 있나요?
DCT는 주로 실험 연구에서 활용되는 이론입니다. 만약 설문조사로 접근하기 위해서는 학습자가 지각한 만족도보다 회상이나 이해도와 같이 기억 수행을 직접 측정하는 결과변수를 포함하는 것이 이론에 더 부합합니다.
참고문헌
Chen, C., Xu, Q., Lin, Y., & Tian, J. (2026). Visual attention and factual recall in tourism promotional materials: An eye-tracking study of mascot–text composite designs under natural viewing. Applied Sciences, 16(16), Article 8022. https://doi.org/10.3390/app16168022
Clark, J. M., & Paivio, A. (1991). Dual coding theory and education. Educational Psychology Review, 3(3), 149–210. https://doi.org/10.1007/BF01320076
Corral-Gudino, L., Simón-Pérez, C., Pérez-Castrillón, J. L., Martín-Escudero, J. C., Dueñas-Ruiz, A., Briongos-Figuero, L. S., & Miramontes-González, P. (2025). Infographics with clinical summaries improve medical student performance: A within-subject intervention study with gender-based analysis. Medical Science Educator, 35, 1947–1958. https://doi.org/10.1007/s40670-025-02384-x
Lee, D. Y., & Shin, D.-H. (2012). An empirical evaluation of multi-media based learning of a procedural task. Computers in Human Behavior, 28(3), 1072–1081. https://doi.org/10.1016/j.chb.2012.01.014
Li, Y., & Zhong, Z. (2025). Disentangling the facilitation effect of emoji in vocabulary recognition: Experimental evidence from semantic matching tasks. Frontiers in Psychology, 16, Article 1629078. https://doi.org/10.3389/fpsyg.2025.1629078
Mayer, R. E. (2001). Multimedia learning. Cambridge University Press.
Mayer, R. E., & Anderson, R. B. (1991). Animations need narrations: An experimental test of a dual-coding hypothesis. Journal of Educational Psychology, 83(4), 484–490. https://doi.org/10.1037/0022-0663.83.4.484
Otti, V., Clough, N., Gishen, F., Russell, M., & Mathew, R. G. (2025). How to codesign infographics to teach clinical skills. The Clinical Teacher, 22(1), Article e70180. https://doi.org/10.1111/tct.70180
Paivio, A. (1969). Mental imagery in associative learning and memory. Psychological Review, 76(3), 241–263. https://doi.org/10.1037/h0027272
Paivio, A. (1971). Imagery and verbal processes. Holt, Rinehart and Winston.
Paivio, A., & Csapo, K. (1973). Picture superiority in free recall: Imagery or dual coding? Cognitive Psychology, 5(2), 176–206. https://doi.org/10.1016/0010-0285(73)90032-7
Paivio, A., Yuille, J. C., & Madigan, S. A. (1968). Concreteness, imagery, and meaningfulness values for 925 nouns. Journal of Experimental Psychology, 76(1, Pt. 2), 1–25. https://doi.org/10.1037/h0025327
Pylyshyn, Z. W. (1973). What the mind’s eye tells the mind’s brain: A critique of mental imagery. Psychological Bulletin, 80(1), 1–24. https://doi.org/10.1037/h0034650
Wooten, J. O., & Cuevas, J. A. (2024). The effects of dual coding theory on social studies vocabulary and comprehension in elementary education. International Journal on Social and Education Sciences, 6(4), 673–691. https://doi.org/10.46328/ijonses.696
