박사학위 취득으로 마무리된 산업공학 논문컨설팅 후기입니다. 기능성 게임(serious game)의 사용성 평가를 실험연구로 수행한 과정을 소개합니다.
‘기능성 게임(serious game)’은 재활의학과 간호학, 산업공학, 디자인학, 교육학, 경영학, 그리고 컴퓨터 과학 등을 포함하는 광범위한 연구 영역에서 다루어지고 있습니다. 기능성 게임은 엔터테인먼트 특징을 가지는 주요 목적(예., 재미, 대리만족 등) 이외의 추가적인 목적을 달성하기 위해 고안된 게임을 의미합니다. 기능성 게임이 추구하는 핵심은 게임의 속성과 메커니즘의 구현을 통하여 게이머가 삶의 목표를 달성하도록 참여시키는 것입니다. 게임 속성과 메커니즘의 많은 부분이 엔터테인먼트 요소에 의해서 각색은 되어지나, 기능성 게임의 기초를 이루는 주요한 개념은 행동주의와 구성주의 등의 영역에서 비롯되고 있습니다. 예를 들어서, 목표와 피드백, 규칙, 도전 및 판타지를 포함하는 전형적인 엔터테인먼트 요소의 구현은 기능성 게임의 참여를 위한 동기를 부여할 수 있습니다.
기능성 게임의 활용은 의료와 군사, 교육 등을 포함하는 다양한 영역으로 확산되어 왔습니다. 특히 주목해야 하는 분야는 신경심리 및 재활 분야입니다. 예를 들어서, 뇌졸중과 뇌종양 등을 포함하는 후천성 뇌 손상은 현대 사회에서 널리 퍼져있는 질병 중의 하나인데, 이는 인지 및 행동적 결손을 발생시키며 환자의 일상생활에 부정적인 영향을 미칩니다. 신경심리 재활의 목표는 뇌 손상 환자가 장애를 극복하는 것을 돕고 일상적인 자기관리와 활동으로의 복귀를 촉진하는 것입니다. 이를 위한 재활 프로그램은 수개월에 걸쳐 진행되어야 하며 환자가 반복적인 운동에 참여해야 합니다. 그리고 환자는 병원 내에서의 치료를 마치고 가정으로 복귀하여도 치료를 계속해야 하기도 합니다. 가정 안에서의 훈련과 운동 반복을 통한 재활은 기능성 게임의 접근을 통해서 새로운 기회를 마련할 수 있다는 특징을 가집니다.
주목해야 할 점은, 신체적 재활과 인지적 재활이 서로 구별되어야 한다는 것입니다. 특히 신체적 재활은 운동 능력과 감각 운동 기능의 복구에 초점을 맞추고 있는데, 균형 장애의 재활을 돕기 위해 설계된 기능성 게임을 통하여 반복적인 자극을 통해 손상된 기능을 회복하는 사례가 다수의 연구 결과에서 관찰되고 있습니다. 그리고 신체적 재활에서 기능성 게임의 활용은 비디오 게임이 가지는 동기적이고 매력적인 구성요소로부터 큰 이익을 얻을 수 있습니다. 특히 게이밍 역학을 통해 구현된 적응적 난이도 시스템은 적절한 도전 과제의 제시를 가능하게 하며 환자의 요구에 용이하게 커스터마이징할 수 있다는 장점을 가집니다.
신체적 재활 영역과 비교하여 인지적 재활 영역에서는 기능성 게임의 활용도와 치료 효과가 상대적으로 낮다고 평가받고 있다는 것이 중론입니다. 인지적 재활에서는 게임과 인지적 또는 정신적 운동을 통합함으로써 인지 기능을 훈련하기 위한 수단으로 개발되어 왔습니다. 예를 들어서, 뇌 훈련 게임은 주의력과 작업 기억력(또는 단기 기억력) 등을 강화하는 것을 목표로 합니다. 기능성 게임이 가지는 접근 방법은 짧은 훈련을 반복적으로 수행하기 때문에 운동 재활을 위한 회복 기반의 재활 접근법과 유사하게 작동하게 됩니다. 대부분의 뇌 훈련 게임은 건강한 고령자, 또는 가벼운 인지 장애를 가진 사람들을 위해 개발되어 왔습니다. 그러나 뇌 손상의 결과로 인지 장애를 가진 환자들을 대상으로 기능성 게임의 효과를 평가하기 위해 수행된 다수의 무작위 대조군 실험 연구들에서는 통계적으로 유의한 치료 효과가 관찰되고 있지 않다는 점이 연구 결과의 일반적인 패턴이기도 합니다.
우리나라 모 대학교에서 산업공학을 전공하는 의뢰인의 박사학위 논문 컨설팅 후기와 성공사례에 대해서 전해드리겠습니다.
산업공학은 다른 전공분야와 비교하여 매우 다학제적(multi-disciplinary)인 특징을 가지고 있습니다. 전통적인 산업공학이 추구하는 연구영역은 크게 생산 시스템과 최적화, 인간공학으로 분류할 수 있습니다. 그리고 우리나라 대학 산업공학이 다루는 인간공학은 인체역학(biomechanics)과 인간-컴퓨터 상호작용(human-computer interaction; HCI)으로 구분할 수 있는데, 특히 HCI 영역은 인지심리학과 디자인 평가 방법론, 그리고 UI/UX 기반의 사용성(usability) 평가 등에 관한 연구를 수행하고 있습니다. 오늘 소개해 드리는 의뢰인도 사용성 평가를 연구주제의 키워드로 삼은 케이스입니다.
사용성이란, 사용자가 제품이나 서비스를 ‘얼마나 잘’ 사용할 수 있는지에 대한 여부를 의미합니다. 여기서 ‘얼마나 잘’은 ‘얼마나 쉽게’, ‘얼마나 빠르게’,… 등의 측면에서 평가할 수 있는 속성을 의미합니다. 참고의 말씀으로, ISO 9241-11에 따르면 사용성은 효과성(effectiveness)과 효율성(efficiency), 그리고 만족도(satisfaction)의 측면에서 주어진 과업을 어느 정도의 수준으로 사용할 수 있는지에 대한 여부를 의미합니다.
”Usability is the extent to which a product can be used by specified users to achieve specified goals with effectiveness, efficiency, and satisfaction in a specified context of use.” (출처: https://www.iso.org/obp/ui/#iso:std:iso:ts:20282:-2:ed-2:v1:en)
모 대학교 병원의 재활의학과와 공동으로 수년간에 걸쳐서 연구과제를 수행하고 있는 의뢰인은 기능성 게임의 사용성 평가를 연구주제로 박사학위 논문을 완성하기를 원했습니다. 의뢰인이 특히 관심을 가지고 있었던 사용성 평가 요소 중의 하나는 게임 환경이 환자에게 제공하는 ‘피드백 제시’입니다. 피드백 제시는 효과적인 기능성 게임의 디자인을 위한 중요한 구성요소입니다. 예를 들어서, 피드백의 유형과 피드백의 양, 그리고 타이밍은 게임을 통한 재활 효능감과 재활 동기에 영향을 미치고 있다는 점이 기존의 문헌에서 관찰할 수 있습니다.
의뢰인의 핵심 연구주제는 바로 피드백의 타이밍 효과이었는데, 피드백을 크게 ‘즉시 피드백(immediate feedback)’과 ‘지연 피드백(delay feedback)’으로 구분하고 이것이 재활을 위한 학습 효과에 어떠한 영향을 미치는지를 규명하고자 하였습니다. 의뢰인이 설계한 연구 가설은, ‘즉시 피드백’ 조건에서는 기능성 게임을 통하여 재활 운동을 하는 환자가 잘못 수행된 운동에 관한 정보를 즉시 제공받아 재활 운동을 즉각적으로 수정하고 지식 습득에 기여할 수 있다는 아이디어입니다. 그러나 ‘즉시 피드백’을 환자의 인지 과정에서 처리하는 과정은 운동과 학습 과정에 필요한 인지적 자원(cognitive resource)과 서로 경쟁(compete) 하게 되어, 결국 학습 과정을 방해할 수 있다는 가설입니다. 이와는 반면에 ‘지연 피드백’ 조건에 참여하는 환자는 기능성 게임 플레잉을 완료한 후에 환자의 전반적인 성과를 명시적으로 제시하는 환경을 의미합니다. 의뢰인은 ‘지연 피드백’을 제공받는 환자들은 ‘즉시 피드백’ 조건에서의 환자와 비교하여 오랜 기간에 걸쳐 지식 유지를 용이하게 할 것으로 예상하지만 지식 습득 중에서 얻게 되는 성과는 감소할 것으로 예측하였습니다.
의뢰인의 연구 가설을 설계하기 위해서는 인지적 자원 간의 경쟁과 함께 이에 따른 인지적 부하(cognitive load)의 발생을 해석하는 인지심리학적인 이론이 연구의 전반을 주도해야 합니다. 프라임 컨설팅은 그 유명한 Alan Baddeley의 ‘Model of Working Memory’와 Mary Hegarty의 ‘Mental Animation Process’ 등을 포함하는 다수의 관련 이론을 의뢰인에게 제시하였습니다. 그리고 의뢰인의 연구 가설을 검증하기 위해서는 정교한 실험 디자인이 요구되었는데, 프라임 컨설팅은 임의화된 블록 디자인(randomized block design)을 제시하고 이를 기반으로 하는 연구 방법론에 관하여 상세한 교육을 제공하였습니다.
소속 학교로부터 IRB 승인을 얻은 의뢰인은 비교적 단기간에 걸쳐서 피실험자로부터 데이터를 수집할 수 있었으며, 통계분석 결과를 통하여 다수의 의미 있는 연구의 결과를 관찰할 수 있었습니다. 그리고 약 6개월 동안의 기간에 걸쳐 프라임의 지도를 받으며 충실하게 학위논문을 작성한 의뢰인은 심사위원들로부터 다수의 수정과 보완 의견을 받게 되었습니다. 심사위원들의 심사의견은 상당히 까다로웠는데, 약 1달 동안 수정 과정을 거치면서 각 심사위원들 간의 1:1 미팅도 이루어지게 되었습니다. 여러 가지 심사 의견에 대해서 심사위원들을 설득하는 과정이 필요했었는데, 의뢰인은 결국 3차 논문 심사를 마지막으로 학위논문 심사를 성공적으로 마칠 수 있었습니다.
