5-point 또는 7-point (Likert) scaling system을 사용하는 설문조사에 대해서 생각해 보겠습니다.
“I prefer going to Chinese restaurants with a large variety of menu choices”
위의 예문으로 제시된 문장에 대해서 응답자가 동의하는 정도를 설문조사를 통해서 조사하려고 합니다.
1. 5-point scaling system을 사용한다면, 응답자는 아래의 5가지 범주 중에서 1가지를 선택합니다.
(1) strongly disagree (2) disagree (3) neutral (4) agree (5) strongly agree
2. 7-point scaling system을 사용한다면, 응답자는 아래의 7가지 범주 중에서 1가지를 선택합니다.
(1) strongly disagree (2) disagree (3) more or less disagree (4) neutral (5) more or less agree (6) agree (7) strongly agree
5-point scaling system의 경우, ‘agree’ 한 느낌으로 선택하고 싶다면 2개의 옵션인 ‘(4) agree’ 와 ‘(5) strongly agree’ 중에서 한 개를 선택하면 됩니다.
만약 7-point scaling system의 경우, ‘agree’한 느낌으로 선택하고 싶다면 3개의 옵션인 ‘(5) more or less agree’와 ‘(6) agree’, 그리고 ‘(7) strongly disagree’ 중에서 한 개를 선택해야 합니다.
7-point scaling system과 비교할 때, 5-point scaling system에서는 응답자가 선택해야 할 옵션이 무엇인지 보다 확연하게 구분되어 있습니다. 즉, minimum level of detectable change(detectability) 가 크다는 것을 알 수 있습니다.
Detectability가 크도록 설문지를 디자인하면 설문 데이터의 bias를 줄일 수 있습니다.
그 유명한 NASA-Task Load Index(TLX)의 예를 들어보겠습니다.
NASA-TLX는 20-point scaling system을 사용합니다. ’17점과 18점 간 변화의 차이’와 ’16점과 17점 간 변화의 차이’를 응답자는 서로 구별을(detect) 할 수 있을까요?
설문조사를 위한 scaling system의 디자인 이슈 중에서 detectability는 많은 고민거리를 던져주는 문제 중의 하나입니다. 아래의 두 논문은 좋은 공부거리를 제공하는 문헌입니다.
– Finstad, K. (2010). Response Interpolation and Scale Sensitivity: Evidence Against 5-Point Scales. Journal of Usability Studies, 5(3), 104-110.
– Leung, S. (2011) A Comparison of Psychometric Properties and Normality in 4-, 5-, 6-, and 11-Point Likert Scales. Journal of Social Service Research, 37(4), 412-421.
