온라인 설문조사에 참여하는 응답자의 10% 안팎은 설문문항을 제대로 읽지도 않고 응답합니다. 이들의 응답은 상관계수를 부풀리거나 요인분석의 결과를 왜곡시킬 수 있습니다. 이를 예방하기 위한 대응 방법은 두 가지입니다. 설문지에 주의 점검을 안내하는 문항을 미리 셋팅하고, 데이터를 수집하기 전에 제거 기준을 문서로 설계하는 것입니다.
이 글의 순서 6개 항목
설문조사의 링크를 조사 대상자들에게 배포한 후 이틀 만에 300명의 응답자가 참여해서 조사를 완료했습니다. 그런데 분석을 시작한 첫날에 이상한 신호가 나타납니다. Cronbach’s alpha 값을 계산해 보니 선행연구에서 관찰되는 값보다 작게 나온 것입니다. 그리고 역코딩(reversed-coding) 문항으로 평가한 값이 순코딩한 다른 문항들의 값과는 예상하지 못한 상관관계가 나타났습니다. 이 외에도 확인적 요인분석(confirmatory factor analysis)을 수행해 보니 계산된 모형 적합도(model fit) 지수의 값들은 최소 만족기준을 충족시키지 못하고 있습니다. 연구자는 마음을 졸이며 설문 문항이 한글로 번역이 제대로 된 것인지를 의심하기 시작하였고, 이미 수집한 표본의 특성을 의심하고, 연구를 지배하는 이론을 의심하기도 합니다. 그런데 원인은 다른 곳에서 발견되었습니다. 응답자 중의 일부가 문항을 읽지도 않고 아무 번호나 대충 선택했기 때문입니다. 연구방법론을 다루는 문헌은 응답자의 이러한 행동을 불성실한 응답(insincere/careless response) 또는 불충분한 노력 응답(insufficient effort response)이라고 부릅니다. 이 글은 불성실한 응답의 규모와 피해, 식별할 수 있는 평가지표, 그리고 설문 데이터의 클리닝을 위한 절차를 문헌적인 근거와 함께 소개합니다.
온라인 설문조사에서의 불성실한 응답은 얼마나 흔한가?
이 질문에 대해서 처음으로 체계적인 답을 내놓은 연구가 Meade & Craig(2012)가 공개한 논문입니다. 연구진은 대학생들을 대상으로 장기간의 설문조사를 시킨 후에 여러 식별 지표를 동시에 적용하여 불성실한 응답자를 가려냈습니다. 잠재 프로파일 분석(latent profile analysis)으로 응답자를 분류한 결과, 표본의 약 10~12%가 불성실 응답자로 판정되었습니다. 열 명 중에서 한 명 이상이 문항을 제대로 읽지 않았다는 뜻입니다. 특히 이들의 연구결과에서는 불성실한 응답의 유형이 하나 이상으로 나타났습니다. 모든 문항에 무작위로 답하는 유형과, 특정 번호만 계속 클릭하는 유형 등으로 구분되었습니다.
불성실한 응답이라고 판정하는 비율은 표본의 특성과 조사의 상황에 따라 다르게 나타납니다. 이에 관한 후속 연구들의 추정치는 3%에서 46%까지 넓게 퍼져 있습니다. 설문조사에 담긴 지시문을 읽어야만 통과할 수 있는 문항을 처음으로 제안한 Oppenheimer et al.(2009)은 이 문항 하나로 걸러지는 응답자를 제거할 수만 있어도 통계적 검정력(statistical power)과 측정의 신뢰도가 커진다는 점을 실험연구의 결과를 통해 검증하였습니다. 성실하게 평가한 응답값만 남겨 두어도 분석결과의 품질이 달라진다는 뜻입니다.
- Meade, A. W., & Craig, S. B. (2012). Identifying careless responses in survey data. Psychological Methods, 17(3), 437–455. https://doi.org/10.1037/a0028085
- Oppenheimer, D. M., Meyvis, T., & Davidenko, N. (2009). Instructional manipulation checks: Detecting satisficing to increase statistical power. Journal of Experimental Social Psychology, 45(4), 867–872. https://doi.org/10.1016/j.jesp.2009.03.009
불성실한 응답은 분석 결과를 어떻게 왜곡하는가?
문항을 읽지도 않고 대충 클릭한 응답은 이리저리 흩어지는 노이즈의 특징을 가지는데, 따라서 변수 사이의 상관관계를 실제의 수준보다 약하게 만들 수밖에 없습니다. 하지만 상관계수의 값이 통계적으로 유의한 것으로 나타난다면, 두 변수의 실제 상관관계는 계산된 것보다 더 강하다고 해석할 수 있습니다. 그런데 Huang et al.(2015)이 수행한 실험결과가 이 통념을 뒤집었습니다. 서로 다른 두 개념을 측정하기 위해 서로 다른 두 개의 척도가 있다고 가정을 합니다. 그리고 두 척도 모두에 일관성있게 응답한 성실 응답 집단과, 두 척도 모두에 중간 점수(예., 3-3-3-3-3)를 클릭한 불성실 응답 집단이 있다고 가정을 합니다. 이 때에 두 변수의 상관계수를 계산하고 두 집단을 서로 비교하면 어떠한 일이 생기는지 살펴보겠습니다. 예를 들어서, 상관계수는 한 척도에 높은 점수로 응답한 사람이 다른 척도에도 높은 점수를 매겼는지를 전체 응답자에 걸쳐 계산한 값입니다. 그런데 첫 번째 척도에 높은 점수를 매긴 사람이 두 번째 척도에는 다소 낮은 점수를 매겼고(성실 응답자 집단), 첫 번째 척도에 중간 점수를 매긴 사람이 두 번째 척도에도 중간 점수를 답했다(불성실 응답자 집단)라고 가정을 합니다. 이 때에 상관관계 값을 계산하면 계수의 부호는 불성실한 응답자 집단에서 정(+)의 관계로 나타날 가능성이 커지게 됩니다. 측정하려는 두 변수가 실제로는 아무런 관계가 없음에도 불구하고 불성실한 응답자라는 특징 때문에 상관관계가 존재한다고 해석되는 것입니다. 연구진은 시뮬레이션과 실제 데이터 모두에서 이러한 ‘부풀림(inflation)’ 현상을 확인하였습니다. 불성실한 응답이 상관관계를 희석하는 무작위 오차가 아니라, 애초에 존재하지도 않는 상관관계를 만들어내는 체계적 편향(systematic bias)을 만든다는 결론입니다.
- Huang, J. L., Liu, M., & Bowling, N. A. (2015). Insufficient effort responding: Examining an insidious confound in survey data. Journal of Applied Psychology, 100(3), 828–845. https://doi.org/10.1037/a0038510
불성실한 응답은 측정 도구의 분석 결과도 왜곡을 시킵니다. 이 과정을 이해하기 위해서는 역채점 문항 값의 계산 과정을 이해해야 합니다. 직무만족의 수준을 측정하는 5개 문항 가운데 4개가 “나는 내 일에 만족한다”처럼 긍정형으로 서술되어 있고, 나머지 1개가 “나는 내 일이 지겹다”와 같이 부정형으로 서술되어 있다고 가정합니다. 역코딩 문항은 점수의 방향이 반대입니다. 따라서 직무에 만족하는 사람일수록 낮은 점수에 응답해야 합니다. 그리고 데이터 수집이 완료가 된 후에 연구자는 분석을 수행하기 전에 역코딩된 문항의 점수를 6-X=?로 계산합니다. 즉, 5점 척도를 기준으로 1점을 5점으로, 2점을 4점…. 5점을 1점으로 바꾸는 것입니다. 그런데 성실한 응답자의 데이터에서는 역코딩이 문제를 일으키지 않습니다. 직무에 만족하는 성실한 응답자는 긍정형 문항에 4점이나 5점으로 응답하고, 부정형 문항에는 1점이나 2점으로 답을 할 것입니다. 부정형 문항의 점수를 순코딩 문항으로 역산하면 4점이나 5점이 되어, 다섯 문항의 점수가 모두 같은 방향으로 정렬이 됩니다. 그런데 문항을 잘 읽지 않는 불성실한 응답자는 긍정형과 부정형을 구분하지 못합니다. 예를 들어서, 다섯 문항 모두에 4점에 응답하였다고 가정합니다. 연구자가 부정형 문항의 점수를 순코딩으로 변환한다면, 이 응답자의 점수는 긍정형 네 문항이 4점, 부정형 한 문항이 2점이 됩니다. 동일한 개념의 값을 측정하는 문항들임에도 불구하고 점수가 서로 어긋나는 것입니다.
불성실한 응답이 누적되면 다음 세 가지 형태의 분석 결과에 부정적인 영향을 미치게 됩니다.
첫 번째는 Cronbach’s alpha 계수값이 작아지게 됩니다. 알파 값은 문항들 사이의 상관관계가 높을수록 커지는 값이며, 따라서 역코딩 문항과 순코딩 문항 사이의 상관관계가 낮아지기 때문입니다.
두 번째는 요인분석(factor analysis)의 수행 결과에 부정적인 영향을 미칩니다. 요인분석은 상관관계가 높은 문항들을 하나의 성분(component)으로 수렴시키는 방법입니다. 만약 설문조사 자료가 다수의 불성실한 응답을 담고 있다면 순코딩 문항들끼리의 상관과 역코딩된 문항들끼리의 상관관계만 높은 것으로 유지됩니다. 이에 따라 하나의 개념을 측정하려는 문항들이 문장의 서술방향, 즉 순코딩과 역코딩에 따라 두 성분으로 나뉘게 됩니다. 구성개념이 2개라서가 아니라 문항을 서술하는 방향이 서로 다른 것으로 ‘불성실하게’ 응답한 결과가 허위성분으로 나타난다는 의미입니다.
마지막으로 세 번째는, 확인적 요인분석을 수행한 결과를 통해 얻어지는 적합도 지수의 값이 최소만족 기준을 충족시키지 못할 가능성이 커집니다. 이를테면, 어떠한 연구자는 5문항이 하나의 구성개념에 수렴될 것으로 예상되는 측정모형(measurement model)을 설계하였으나, 불성실한 응답자료가 섞인 자료를 분석하면 연구자의 예측을 훼손하는 적합도 지수 값을 얻게 됩니다.
불성실한 응답은 어떤 평가지표로 식별해야 하는가?
가장 대표적인 문헌은 Curran(2016)의 연구입니다. Curran(2016)은 두 가지 형태의 평가 안을 제시하였습니다.
첫 번째 안은 응답자에 배포할 설문조사에 소수의 지시형 문항(instructed response item)을 배치하는 것입니다. 예를 들어서, 설문조사 페이지의 특정한 위치에 “이 문항에는 2번을 선택하십시오”와 같이 정답이 정해진 문항입니다. 그리고 허위 문항(bogus item)을 함께 배치하는 것입니다. 예를 들어서, “나는 화성에 가 본 적이 있다”에 대해서 성실한 응답자라면 선택할 수 있는 응답은 단 하나로 정해지는 문항입니다. 지시형 문항과 허위문항을 실무에서는 ‘주의 점검 문항(attention check item)’이라고 일컫습니다.
두 번째 안은 수집이 완료된 자료를 평가할 수 있는 지표입니다. 불성실한 응답이라고 판정을 내리기 위해서 사용할 수 있는 가장 단순하지만 강력한 지표는 응답 시간(response time)입니다. Huang et al.(2012)은 설문문항 1개당 2초의 응답시간을 기준으로 제안하였습니다. 예를 들어서, 100개의 설문문항으로 구성된 설문조사를 3분 만에 완료한 응답자는 문항을 읽지 않았다고 판단하는 것이 합리적입니다.
이 외에도 일직선 응답 지수(longstring index), 짝수-홀수 일관성(even-odd consistency), 심리측정 반의어(psychometric antonyms), 마할라노비스 거리(Mahalanobis distance) 값이 수집이 완료된 자료로부터 불성실한 응답을 가려내기 위한 평가지표로 활용되고 있습니다.
- Curran, P. G. (2016). Methods for the detection of carelessly invalid responses in survey data. Journal of Experimental Social Psychology, 66, 4–19. https://doi.org/10.1016/j.jesp.2015.07.006
- Huang, J. L., Curran, P. G., Keeney, J., Poposki, E. M., & DeShon, R. P. (2012). Detecting and deterring insufficient effort responding to surveys. Journal of Business and Psychology, 27(1), 99–114. https://doi.org/10.1007/s10869-011-9231-8
설문 데이터의 클리닝은 어떤 순서로 수행해야 하는가?
다음의 다섯 가지 단계를 제안합니다.
- 첫째, 데이터를 수집하기 전에 이상치(outlier) 제거에 관한 기준을 문서화합니다. 이 문서는 세 가지 사항을 포함해야 합니다. 구체적으로, 어떤 종류의 평가지표를 사용할 것인지, 각 지표에서의 몇 점부터 또는 몇 점 아래까지를 불성실한 응답으로 판정할 것인지, 그리고 판정 기준의 경계에 걸친 자료를 제거할 것인지의 여부입니다.
- 둘째, 설문지를 설계할 때 주의 점검 문항을 미리 서술해 놓습니다. “이 문항에는 2번을 선택하십시오”처럼 정답이 정해진 지시형 문항이나 또는, “나는 화성에 가 본 적이 있다”처럼 주의깊게 읽으면 답이 하나뿐인 것을 알게 되는 가짜 문항을 사용합니다. 설문지의 특정한 곳에 집중시키지 말고 처음 부분, 중간 부분, 그리고 마지막 부분에 하나씩 배치하는 것이 이상적입니다.
- 셋째, 수집이 완료되면 평가지표의 값을 계산합니다. 조사를 완료하는 데 걸린 시간, 같은 번호를 연속으로 누른 최대 개수(일직선 응답 지수), 전체 응답의 패턴이 다른 응답자들과 얼마나 다른지를 측정하는 마할라노비스 거리 등을 활용합니다.
- 넷째, 불성실한 응답이라고 판단되는 자료를 제거합니다. 그리고 이에 관한 모든 내용을 연구방법론을 다루는 챕터(예., 제4장. 연구의 방법)에 서술해야 합니다.
- 다섯째, 불성실한 응답을 제거하기 전의 분석 결과 vs. 제거한 후의 분석 결과를 비교할 수 있는 테이블을 설계합니다. 이 테이블은 일종의 민감도 분석(sensitivity analysis)으로 활용될 수 있습니다.
| 가상 사례: 사회복지학 석사과정에 재학 중인 한 연구자는 온라인 패널로 400명의 자료를 수집하는 계획을 마련하였습니다. 그리고 이상치의 제거 기준을 서술한 연구계획서를 마련해 놓았습니다. 문항 1개당 응답 시간 2초 미만, 주의 점검 문항 2개 중에서 1개 이상의 오답 표기, 일직선 응답 지수 상위 기준 초과 가운데 두 가지 이상에 해당하면 제거한다는 내용이었습니다. 수집된 자료를 관찰한 결과, 400명 중에서 41명이 불성실하게 응답한 것으로 판단하였습니다. 이 자료를 제거한 후에 계산된 Cronbach’s alpha 값은 제거하기 전의 0.68에서 0.84로 커진 것으로 나타났습니다. 그리고 확인적 요인분석을 수행하여 적합도의 수준을 평가해 보니 최소만족 기준을 충족시키는 것으로 나타났습니다. 이 사례는 프라임 컨설팅이 체험한 실무 현장을 참고하여 재구성한 가상의 시나리오입니다. |
자주 묻는 질문 (FAQ)
Q. 불성실한 응답은 온라인 설문에서 얼마나 나오나요?
A. 대학생 표본 연구에서 10~12%가 불성실 응답자로 판정되었습니다. 후속 연구들의 추정치는 표본과 상황에 따라 3%에서 46%까지 보고되었습니다. 온라인 수집에서는 일정 비율의 오염을 전제하고 설계하는 것이 안전합니다. 실무적으로 15%를 많이 사용합니다.
Q. 불성실한 응답을 삭제하지 않으면 어떤 문제가 생기나요?
A. 신뢰도의 수준이 떨어지고 요인구조가 왜곡됩니다. 그리고 조건에 따라 서로 무관한 변수 사이에 통계적으로 유의한 상관관계가 만들어지기도 합니다.
Q. 주의 점검 문항은 몇 개를 넣어야 하나요?
A. 분량이 비교적 많은 설문조사를 기준으로 2-3개를 앞-중간-뒤에 나누어 배치하는 방식이 일반적입니다.
Q. 응답 시간은 어떤 기준으로 판정하나요?
A. 관련 문헌이 제안하는 판별 기준은 1개의 문항당 2초입니다.
Q. 통계분석 결과를 확인한 뒤에 불성실한 응답자의 자료를 제거해도 되나요?
A. 위험합니다. 결과를 확인한 뒤에 제거하는 것은 결국 분석결과를 유리하게 만드는 선택이 될 수 있기 때문입니다.
Q. 설문조사를 할 때에 주의 점검 문항을 배치하지 않고 데이터를 이미 수집하였으면 어떻게 하나요?
A. 데이터 수집이 완료된 이후에도 불성실한 응답을 판단할 수 있는 여러 평가 지표들을 사용하면 됩니다. 대표적으로, 응답 시간, 일직선 응답 지수, 짝수-홀수 일관성, 마할라노비스 거리는 주의 점검 문항의 반영이 없이도 계산이 가능합니다.
결론
온라인 설문조사 방식은 데이터 수집의 속도와 규모를 혁명적으로 변화시켰다는 점에서 큰 의미가 있습니다. 하지만 연구자는 응답자 자료의 품질을 관리해야 한다는 과제를 안게 되었습니다. 10명의 응답자 중에서 1명이 설문문항을 제대로 읽지 않고 있다는 사실은 엄연한 현실입니다. 이 현실을 무시한 분석은 낮은 신뢰도와 왜곡된 요인구조, 과대평가된 상관관계를 부담해야 합니다. 하지만 이 현실을 계획에 반영한 분석은 논문심사 과정에서 스스로 방어력을 갖출 수 있습니다. 이 차이를 만드는 것은 고급 통계 기법이 아니라 자료 수집 전의 꼼꼼한 준비입니다.
