통제변수(control variable)의 환상: 변수를 투입할 수록 분석결과가 오염되는 역설
통제변수를 많이 투입할수록 분석이 엄격해진다는 잘못된 믿음은 방법론을 다루는 문헌에서 '도시전설'로 분류되었습니다. 매개변수를 통제하면 관심변수의 영향력 일부가 제거되고, 충돌변수를 통제하면 존재하지도 않았던 인과관계가 만들어지게 됩니다.…
통제변수(control variable)의 환상: 변수를 투입할 수록 분석결과가 오염되는 역설
통제변수를 많이 투입할수록 분석이 엄격해진다는 잘못된 믿음은 방법론을 다루는 문헌에서 '도시전설'로 분류되었습니다. 매개변수를 통제하면 관심변수의 영향력 일부가 제거되고, 충돌변수를 통제하면 존재하지도 않았던 인과관계가 만들어지게 됩니다.…
연구모형은 하나인데 분석은 왜 여섯 개입니까? 모형을 나누어서 검증한 논문이 심사에서 지적받는 이유
구성개념(construct)의 개수가 10개가 넘는 연구모형을 여러 개의 부분으로 나누어서 검증을 하면 세 가지 형태의 오류가 함께 발생합니다. 누락된 변수가 회귀계수를 왜곡하고, 검정 횟수가 증가하여 제1종…
불성실한 응답의 해부: 온라인 설문조사의 데이터를 오염시키는 응답자들
온라인 설문조사에 참여하는 응답자의 10% 안팎은 설문문항을 제대로 읽지도 않고 응답합니다. 이들의 응답은 상관계수를 부풀리거나 요인분석의 결과를 왜곡시킬 수 있습니다. 이를 예방하기 위한 대응 방법은…
‘p=0.049<0.050의 유혹’: 많은 논문들에서의 p값(p-value)들은 왜 0.05 바로 아래에 몰려 있는가?
심리학 영역을 다루는 상위 세 저널에서 수집한 p값(p-value) 3,627개의 분포 모양을 그려보니 0.045와 0.050 사이에 설명하기 어려운 쏠림이 관찰되었습니다. 그 쏠림의 흔적이 p-hacking입니다. 유혹은 도덕이…
p-Value > 0.05 : 통계적으로 유의하지 않은 결과를 리포팅하는 tip
p-Value는 귀무가설(null hypothesis)이 참이고 다른 모든 가정이 유효하다면 실제로 관측된 값 이상을 얻을 확률을 의미합니다. 실험데이터를 다루는 연구논문에서는 통계분석 결과가 통계적으로 유의한지(statistically significant) 또는 유의하지…
ANOVA 분석결과 : Interaction effect가 통계적으로 유의하지 않은 경우
ANOVA(Analysis of Variance)를 수행하다 보면 factor 간의 interaction effect가 통계적으로 유의하지 경우(p-Value > 0.05)가 발생할 수 있습니다.예를 들어서 설명하겠습니다.-----------1개의 dependent measure에 대해서 2개의 factor가 미치는…
변수(variable)의 의미
학생들에게 '변수란 무엇입니까?'라는 질문을 종종 던지곤 합니다.그런데 놀랍게도 정확한 의미를 알고 대답하는 학생들을 찾기가 쉽지 않습니다.변수란, "우리의 관심의 대상이 되는 값들이 동일한 특성을 가지고 있을…
Sample size에 대해서 잘 기술한 책:
실험을 수행하기 전에 원하는 statistical power를 ensure하기 위해서는 sample size를 얼마로 세팅해야 하는가에 대한 고민을 하곤 합니다.아래의 책을 소개합니다.Kraemer, H. C. & Thiemann, S. (1987).…
메타분석 (Meta-analysis)
메타분석(meta-analysis)이란, 기존의 문헌들을 체계적으로 평가하고 결과들을 종합적으로 분석하여 일관성이 있는 하나의 패턴이 발견될 수 있는지를 분석하는 통계적인 분석방법입니다.특정한 연구주제로부터 관찰된 다양한 연구결과들에 대해서 일반화가 가능해지고,…
SPSS 21 이전 버전에서 Kolmogorov-Smirnov test의 오류
IBM이 개발한 SPSS는 통계분석을 위한 패키지로서 널리 사용되고 있습니다.SPSS를 사용하여 Kolmogorov-Smirnov 테스트를 수행하기 위한 옵션은 아래와 같이 2가지가 있습니다.(참고로, Kolmogorov-Smirnov test와 Shapiro-Wilk test는 모두 데이터의…
수폄타당도 vs. 판별타당도의 차이
Convergent validity (수렴타당도): what a measure should correlate withDiscriminant validity (판별타당도): what a measure should not correlate with.
R-squared 값이 (-) 부호가 나오는 경우
R2 값은 predicted model의 설명력(explanative power)을 나타내기 위해서 매우 흔하게 사용하는 index입니다.R의 제곱이기 때문에 R2 값은 절대로 (-) 부호가 나타날 수 없다고 생각하는 경우가 대부분입니다.그러나,…