AI에게 일을 맡기는 시대의 가장 어려운 질문은 성능이 아니라 신뢰의 문제입니다. 얼마나 믿어야 적당한가? 인간-AI 상호작용 연구의 최전선에 있는 신뢰 캘리브레이션(trust calibration)에 대해서 소개를 드리겠습니다.
“AI 에이전트 시대: 과신과 불신, 양쪽 모두가 위험이다”
생성형 AI는 이제 스스로 계획하고 실행하는 에이전트로 진화하고 있습니다. 코드를 작성하고 일정을 조율하며 프로세스의 에러를 진단하는 AI 에이전트가 산업의 현장으로 들어오면서, 인간의 역할은 작업의 수행자에서 위임과 감독의 주체로 이동할 것입니다. 위임의 시대에 성패를 가르는 변수는 신뢰입니다. 인간과 자동화의 관계를 다룬 대표적인 연구인 Parasuraman & Riley(1997)는 자동화(automation)의 문제가 기술 그 자체보다 인간의 사용 방식, 곧 오용(misuse)과 불사용(disuse)에서 비롯된다고 주장하였습니다. 시스템을 과도하게 믿게 되어 감독을 소홀히 하는 오용과, 시스템을 불신하여 그 효용을 버리는 불사용은 동전의 양면처럼 함께 나타납니다.
- Parasuraman, R., & Riley, V. (1997). Humans and automation: Use, misuse, disuse, abuse. Human Factors, 39(2), 230-253.
이들 두 가지 위험은 오늘의 AI 환경에서 더 첨예해졌습니다. 한편에서 사람들은 유창하고 확신에 찬 AI의 답변을 사실로 수용하는 자동화 편향에 노출됩니다. 다른 한편에는 반대의 힘도 작동합니다. Dietvorst et al.(2015)은 사람들이 알고리즘의 오류를 한 번 목격하고 나면, 그 알고리즘이 인간보다 여전히 정확함에도 불구하고 알고리즘의 사용을 회피한다는 점을 일련의 실험으로 확인하였습니다. 이는 알고리즘 회피(algorithm aversion)입니다. 완벽하지 않은 AI와 일해야 하는 시대에, 무조건적인 신뢰와 무조건의 불신은 모두 성과와 안전을 해치는 선택인 것입니다.
- Dietvorst, B. J., Simmons, J. P., & Massey, C. (2015). Algorithm aversion: People erroneously avoid algorithms after seeing them err. Journal of Experimental Psychology: General, 144(1), 114-126.
“신뢰 캘리브레이션: 믿음의 눈금을 성능에 맞추는 일”
해법의 방향을 제시한 것이 신뢰 캘리브레이션의 개념입니다. Lee & See(2004)의 연구는 자동화 신뢰 연구 영역에서 기념비적인 업적으로 손꼽힙니다. 연구자들은 바람직한 상태는 높은 신뢰가 아니라 조율된 신뢰라는 관점을 제시하였습니다. 신뢰 캘리브레이션은 사용자의 신뢰 수준을 시스템의 실제 능력에 정렬시키는 것을 의미합니다. 시스템이 잘하는 영역에서는 믿고 맡기되, 시스템의 한계 영역에서는 의심하고 개입하는 것, 곧 적정한 의존(appropriate reliance)이 인간-자동화 협업의 목표라는 것입니다. 이 관점은 이후의 연구들이 신뢰의 선행요인들을 체계화하는 토대가 되었으며, Hoff & Bashir(2015)는 성향적, 상황적, 학습된 신뢰의 세 가지 형태의 층으로 요인들을 조직화하는 프레임워크를 마련하였습니다.
- Lee, J. D., & See, K. A. (2004). Trust in automation: Designing for appropriate reliance. Human Factors, 46(1), 50-80.
- Hoff, K. A., & Bashir, M. (2015). Trust in automation: Integrating empirical evidence on factors that influence trust. Human Factors, 57(3), 407-434.
그런데 문제는 기존의 신뢰 이론이 전제해 온 자동화와 오늘의 AI 에이전트가 다르다는 점입니다. 전통적인 자동화는 정해진 기능을 예측 가능한 방식으로 수행하는 시스템이었습니다. 반면에 생성형 AI 에이전트는 능력의 경계가 들쭉날쭉하여 어제 잘하던 과업을 오늘 엉뚱하게 그르치고, 모르는 것을 모른다고 말하는 대신 그럴듯한 확신으로 포장하며, 업데이트에 따라 성능의 지형이 수시로 달라집니다. 사용자가 신뢰의 눈금을 맞추어야 할 대상 자체가 흔들리는 셈입니다. 신뢰 캘리브레이션의 고전 이론을 AI 에이전트의 조건에 맞게 다시 설계해야 합니다.
프라임 컨설팅을 방문한 의뢰인은 반도체를 생산하는 모 기업에서 AI 도입 업무를 수행하는 산업공학 박사학위 소지자였습니다. 의뢰인은 신뢰 캘리브레이션을 검증하는 실험 연구를 처음에 구상하였으나, 변수의 선정과 가설의 도출을 뒷받침할 이론과 프레임워크가 AI 에이전트의 맥락에서는 아직 마련되어 있지 않다는 벽에 부딪혔습니다. 프라임은 순서를 바꾸는 전략을 제안하였습니다. 자동화 신뢰의 고전 이론과 최근의 인간-AI 상호작용 문헌을 고찰하여 AI 에이전트 맥락의 신뢰 캘리브레이션 개념 모형을 설계하는 것을 연구의 목표로 삼는 방향입니다. 아울러 개념단계에서의(conceptual) 논문이 갖추어야 할 논증의 구조, 곧 기존 이론의 한계를 특정하고 새로운 구성요소의 도입을 정당화하며 검증이 가능한 연구 명제(proposition)로 모형을 마무리하는 전개의 설계를 함께 논의하였습니다.
의뢰인은 시스템 요인과 인간 요인, 과업 요인의 세 축으로 신뢰 캘리브레이션의 선행요인들을 식별하고, 초기 신뢰의 형성에서 모니터링과 조정을 거쳐 적정 의존에 이르는 동적인 과정을 담은 개념적인 모형을 설계하였습니다. 그리고 모형의 각 경로를 후속 연구가 검증할 수 있는 연구 명제들로 제시하였습니다.
의뢰인의 사례가 주는 시사점은 개념적 연구의 전략적인 가치입니다. 많은 연구자들이 학위와 게재의 요건으로 데이터 기반의 경험적(empirical) 연구만을 떠올리지만, 이론의 지형이 아직 그려지지 않은 신생의 영역에서는 개념 모형의 설계가 그 자체로 독립적인 기여가 됩니다. 특히 기술의 변화가 기존 이론의 전제를 흔드는 국면, 곧 지금의 AI 전환기야말로 개념적 연구의 수요가 가장 큰 시기입니다.
