같은 사람이 내비게이션이 안내하는 경로는 의심 없이 따르면서, 인공지능이 제시하는 권고는 거부합니다. 인간은 언제 알고리즘을 신뢰하고 언제 외면하는가…? 이 질문을 행동 실험의 양적연구로 규명하여 HCI(human-computer interaction) 분야의 SCI급 해외저널에 게재한 논문컨설팅 후기와 성공사례에 대해서 말씀을 드리겠습니다.
“한 번의 실수에 돌아서다: 알고리즘 혐오의 발견”
알고리즘 혐오는 알고리즘의 판단이 인간의 판단보다 정확함에도 불구하고 사람들이 알고리즘의 사용을 회피하는 현상을 가리킵니다. 이 현상을 실험으로 포착한 연구가 Dietvorst et al.(2015)입니다. 연구진은 참가자들에게 예측 과제를 부여하고 알고리즘과 인간의 수행을 관찰하게 하였습니다. 주목할 만한 연구의 결과는 오류를 목격한 이후에 나타났습니다. 피실험자들은 알고리즘이 인간보다 우수한 성과를 보였음에도 알고리즘의 실수를 목격한 뒤에는 알고리즘의 선택을 포기하였습니다. 인간의 실수에는 관대하면서도 기계의 실수에는 가혹한 비대칭이 확인된 것입니다. 알고리즘에 대한 신뢰는 성능의 함수가 아니라 실수를 대하는 심리의 함수라는 점이 드러난 결과입니다.
- Dietvorst, B. J., Simmons, J. P., & Massey, C. (2015). Algorithm aversion: People erroneously avoid algorithms after seeing them err. Journal of Experimental Psychology: General, 144(1), 114-126.
이후의 연구는 혐오가 완화되는 조건의 규명으로 나아갔습니다. Dietvorst et al.(2018)은 사용자가 알고리즘의 산출값을 조금이라도 수정할 수 있는 권한을 부여받을 때 알고리즘의 사용이 회복된다는 점을 보여주었습니다. 통제감의 확보가 신뢰의 조건이라는 발견입니다.
- Dietvorst, B. J., Simmons, J. P., & Massey, C. (2018). Overcoming algorithm aversion: People will use imperfect algorithms if they can (even slightly) modify them. Management Science, 64(3), 1155-1170.
“상반된 증거의 등장: 알고리즘 선호”
그런데 정반대의 증거도 제시되었습니다. Logg et al.(2019)은 조언 수용 패러다임을 활용한 일련의 실험에서는, 연구 참여자들이 동일한 조언이라도 인간보다 알고리즘이 출처일 때 자신의 판단에 더 크게 반영하는 것으로 나타났습니다. 연구자들은 이 현상을 알고리즘 선호(algorithm appreciation)라고 명명하였습니다. 혐오와 선호라는 상반된 결과의 공존은 모순이 아니라 조건의 문제를 제기합니다. 어떤 과제에서, 어떤 사용자가, 어떤 경험 이후에 알고리즘을 신뢰하거나 거부하는가의 질문입니다.
- Logg, J. M., Minson, J. A., & Moore, D. A. (2019). Algorithm appreciation: People prefer algorithmic to human judgment. Organizational Behavior and Human Decision Processes, 151, 90-103.
Castelo et al.(2019)의 실험 결과에 따르면, 사람들은 수치와 계산이 개입하는 객관적 과제에서는 알고리즘을 수용하는 반면, 취향과 감정이 개입하는 주관적 과제에서는 알고리즘을 회피하는 것으로 나타났습니다. 의료의 영역에서도 유사한 연구 결과가 확인되었습니다. Longoni et al.(2019)은 환자들이 인공지능의 의료 권고를 거부하는 메커니즘으로서 고유성 무시(uniqueness neglect)의 지각을 탐색하였습니다. 알고리즘이 자신의 고유한 사정을 반영하지 못한다는 믿음이 저항의 원천이라는 것입니다.
- Castelo, N., Bos, M. W., & Lehmann, D. R. (2019). Task-dependent algorithm aversion. Journal of Marketing Research, 56(5), 809-825.
- Longoni, C., Bonezzi, A., & Morewedge, C. K. (2019). Resistance to medical artificial intelligence. Journal of Consumer Research, 46(4), 629-650.
“산업공학 HCI 분야 SCI급 해외저널 논문컨설팅 후기와 성공사례”
의뢰인은 산업공학과에서 HCI를 전공하는 박사과정 연구자였으며, 기업의 인공지능 수요예측 시스템 구축 프로젝트에 참여한 경험을 가지고 있었습니다. 프로젝트의 현장에서 목격한 장면이 연구의 씨앗이 되었습니다. 시스템의 예측 정확도가 실무자의 판단을 상회하였음에도 불구하고, 실무자들은 시스템의 권고를 수정하거나 무시하는 선택을 반복하였습니다. 정확한 기계가 외면당하는 이유를 규명하고 싶다는 것이 의뢰인이 프라임을 방문한 이유였습니다.
의뢰인은 기술수용모형(technology acceptance model)을 가반으로 하는 연구를 구상하고 있었습니다. 그러나 프라임은 수용자 태도가 아닌 행동의 측정을 제안하였습니다. 수용 의도를 묻는 설문은 실제의 사용 행동과 괴리될 수 있으며, SCI급 저널의 심사는 행동 지표의 증거를 요구하는 경향이 뚜렷하기 때문입니다. 프라임이 안내한 설계는 조언 가중치(weight of advice)를 종속변수로 삼는 실험이었습니다. 이에 따라 의뢰인은 과제 유형(예., 수치 추정 과제와 선호 판단 과제)과 알고리즘의 오류 관찰 여부를 조작하는 실험디자인을 구성하였고, 참가자가 알고리즘의 조언을 접한 전후의 판단 변화량으로 수용의 정도를 계량하였습니다.
수집한 자료를 분석한 결과, 오류를 관찰하기 전의 피실험자들은 인간의 조언보다 알고리즘의 조언을 더 크게 반영하는 알고리즘 선호를 보이는 것으로 나타났습니다. 그러나 알고리즘의 오류를 관찰한 이후에는 과제의 유형에 따라 반응이 다르게 나타났습니다. 수치 추정 과제에서는 선호가 유지된 반면, 선호 판단 과제에서는 조언의 반영이 급격히 감소하는 혐오로 전환되었습니다. 혐오와 선호가 별개의 현상이 아니라 과제와 경험의 조건에 따라 교차하는 하나의 연속선임을 보여준 연구의 결과입니다. 투고한 이후의 심사 과정에서는 조작 점검의 보강과 효과크기의 보고를 요구받았습니다. 추가 분석 결과를 담은 manuscript으 수정본을 투고한 이후에 산업공학 HCI 분야의 SCI급 국제학술지에 게재 승인을 받았습니다.
알고리즘 혐오와 선호의 연구가 던지는 질문은 인간-컴퓨터 상호작용을 이해하는 방식에서 비롯됩니다. 공학은 오랫동안 시스템의 성능을 높이는 것에 집중해 왔고, 정확한 시스템은 사용될 것이라는 전제를 의심하지 않았습니다. 그러나 사용의 여부를 결정하는 것은 성능 뿐만이 아니라 신뢰이며, 신뢰는 기술의 속성이 아니라 인간과 기계의 관계에서 형성되는 산물입니다. 정확도를 높이는 과제와 신뢰를 설계하는 과제는 별개의 문제라는 인식이 이 연구 영역의 출발점입니다.
알고리즘 혐오는 우수한 도구를 외면하는 비합리로 보이지만, 기계의 판단에 설명과 책임을 요구하는 합리적인 경계이기도 합니다. 다른 한편으로는, 알고리즘 선호는 효율의 원천이지만, 기계의 판단을 확인 없이 따르는 맹목적인 의존으로 흐를 위험을 함께 가지고 있습니다.
무엇보다 의뢰인의 연구 주제는 알고리즘이 결정의 자리에 들어온 오늘의 사회를 이해하는 데 큰 도움이 됩니다. 채용의 서류가 알고리즘으로 걸러지고, 대출의 승인과 진료의 권고에 인공지능이 개입하는 시대입니다. 사람들이 기계의 판단을 언제 받아들이고 언제 밀어내는지를 규명하는 일은, 인간 중심의 인공지능 설계라는 시대의 과제와 직결됩니다. 신뢰할 수 있는 시스템이 아니라 적절하게 신뢰되는 시스템을 만드는 일, HCI 연구가 답해야 할 질문이 여기에 있습니다.
