학위논문이 반드시 연구자가 직접 연구 대상자를 모집해서 설문조사를 수행하는 1차 자료의 수집이라는 연구방법으로만 완성되는 것은 아닙니다. 이미 생산되어 축적된 공공기관의 공식 문서, 언론 보도 기사, 국가 통계 및 대규모 패널 자료 등을 학술적인 분석 기준에 따라 재구성하는 방법, 즉 사례연구(case study), 내용분석(content analysis), 2차 자료 분석(secondary data analysis)을 적용하는 것만으로도 학문적 가치와 독창성을 확보한 우수한 학위논문으로 완성할 수 있습니다.
이 글의 순서 7개 항목
많은 대학원생들은 학위 논문을 완성하려면 적어도 200-300명 이상의 응답자로부터 자료를 직접 수집해야 한다고 생각합니다. 하지만 학위논문의 주된 목적은 자료의 수집 과정에서 투입하는 노력을 평가하는 데 있지 않습니다. 논문심사 과정에서는 연구가 다루려는 현상을 조명하는 학술적인 시각과 논증을 전개하는 역량을 종합적으로 평가합니다. 한편, 현실에서는 이미 오랜 기간에 걸쳐 축적되어 온 우수한 공공 자료와 민간 자료가 광범위하게 마련되어 있습니다. 조직의 성장과 쇠퇴 과정을 기록한 백서, 특정한 사안을 다루는 수만 건의 언론 보도 기사, 국가적 차원에서 대규모로 구축된 종단적 패널 조사(예., 한국복지패널, 아동/청소년패널) 자료가 대표적인 연구방법의 예입니다.
이미 풍부하게 구축된 자료를 연구자가 학술적인 분석 틀 안에서 다시 해석하고 새로운 시사점을 밝혀낼 수 있다면, 설문자료를 직접 수집하지 않고도 완성도가 높은 논문을 얼마든지 작성할 수 있습니다. 이 글에서는 이미 구축되어 있는 자료를 효과적으로 활용하는 세 가지 종류의 방법론과 이들의 활용 방안을 살펴보도록 하겠습니다.
연재글 순서
- 연구문제가 방법을 정한다: 연구방법 선택의 판단을 위한 경로
- 양적 연구 vs. 질적 연구: 연구 패러다임의 충돌과 방법론 선택의 기준
- 혼합연구 방법론(Mixed Methods Research): 양적연구와 질적연구의 통합적인 설계 전략
- 설문조사 연구의 설계: 설문지를 설계하기 전에 확인해야 하는 방법론적인 청사진
- 실험 연구의 설계: 중재 프로그램의 순 처치 효과 규명을 위한 인과 추론의 방법론적인 체계
- 사례연구와 문헌연구: 데이터를 수집하지 않고 기존의 자료(archival data)를 활용하는 연구설계
- 변수와 측정: 모호한 개념을 통계 모형으로 전환하는 ‘조작적 정의’
- 타당도의 위협: 연구설계의 취약 지점과 타당도의 저해 요인
- ‘제4장. 연구의 방법’ 작성: 재현 가능성(replicability)의 구현
왜 기존의 자료를 사용해야 하는가?
만약 논문심사 위원이 “이 연구에서는 왜 기존의 자료로 접근하였습니까?“라는 질문에 대해 “설문지를 배포하기가 귀찮아서 편하게 하려고 하였습니다“라고 대답한다면 논문심사에서 불합격 판정을 받을 것입니다. 연구자가 기존의 자료를 활용하는 데에는 다음과 같은 네 가지 당위성이 존재합니다.
첫째, 연구 대상에 대한 접근 불가능성(inaccessibility)입니다. 1997년 외환위기 당시의 정책 결정 과정과 같은 역사적인 사건이나 북한 이탈 주민의 초기 정착 기록, 기밀 해제 공공 문서 등은 일반 연구자의 현장 접근이나 조사가 엄격하게 제한됩니다. 따라서 이들 대상을 분석하기 위해서는 문헌연구와 사례연구가 방법론적인 대안으로 선택할 수 있습니다.
둘째, 거시적, 제도적인 현상의 규명입니다. ‘지방자치단체들 내에서 예산 갈등의 발생 메커니즘’이나 ‘조직의 혁신 문화 도입 과정’과 같은 주제는 소수의 개인을 대상으로 설문조사를 수행한다면 구체적인 양상을 밝혀내기가 어렵습니다. 조직 차원의 거시적 맥락을 다루기 위해서는 조직이 공식적으로 생산한 기록물과 사례를 통해 분석해야 합니다.
셋째, 종단적(longitudinal) 변화 추적의 필요성입니다. 특정한 사회적 사안을 다룬 언론 보도의 시각이 10년에 걸쳐 어떻게 변화해 왔는가를 확인하기 위해서는, 장기간에 걸쳐 누적된 신문 기사 자료를 분석하는 내용분석(content analysis)이 현상의 시계열적인 추이를 조명하는 데 효과적인 접근법입니다.
넷째, 대규모 표본의 대표성 확보입니다. 연구자 개인이 수집한 200명 규모의 편의 표집한 설문 자료와 비교한다면, 국가통계포털(KOSIS)이나 국책연구기관이 구축한 5,000명 규모의 층화 표집 패널 자료는 외적 타당도, 즉 연구 결과에 의한 일반화 측면에서 통계적인 대표성을 확보할 수 있습니다.
연구 설계 1. 사례연구(case study): 깊이있는 탐구와 사례 선정의 타당성
사례연구는 특정한 현상, 사건, 정책, 혹은 조직을 독립된 단일 사례로 설정하고, 그 내부에서 전개되는 상호작용과 역학 관계를 탐색하기 위한 연구 설계입니다.
학위논문 심사에서의 주요 쟁점: “왜 하필이면 이 사례를 선정하였는가?”
학위논문 심사 과정에서 심사위원은 다음과 같은 질문을 제기합니다. “수많은 조직(기업 혹은 교육기관 등) 가운데 왜 A기관을 분석 대상으로 선정하였는가? 연구자 본인이 재직하고 있는 기관이라서 자료 수집의 편의성을 고려한 것이 아닌가?”라는 질문이 대표적입니다. 사례를 선정한 이유에 대해서 다음의 기준 중에서 한 가지 이상으로 제시해야 합니다.
- 전형성(typical/representative case): 대상 사례가 해당하는 산업 분야나 정책 영역에서 가장 보편적이고 대표적인 특성을 반영하고 있기 때문입니다. 따라서 여타 유사한 사례를 이해하고 비교하는 기준점의 역할을 수행할 수 있기 때문입니다.
- 극단성 및 이탈성(extreme/deviant case): 동일한 제도나 정책이 도입되었음에도 불구하고 특정한 기관만이 성공을 거두었거나 실패를 경험하였을 때, 이러한 현저한 격차를 유발한 원인을 확인하기 위함입니다.
- 희소성 및 계시성(revelatory case): 지금까지는 학계나 외부 연구자의 현장 접근이 제한되어 오다가, 최근의 관련 자료가 대외적으로 공개된 드문 사례에 해당하며, 사례 자체의 탐색 가치와 시사점이 높기 때문입니다.
- 종단성(longitudinal case): 어떠한 사례가 10년 이상의 장기간에 걸쳐 어떻게 변화하고 전개되었는지의 양상을 조명해야 하는데, 마침 그 생애 주기를 추적하고 분석하기에 적합한 시계열적 자료가 풍부하게 축적되어 있기 때문입니다.
사례연구는 하나의 인터뷰 자료만으로는 완결성을 확보하기 어렵습니다. 기관의 내부 결재 문서, 연례 보고서, 언론 보도 기사, 주요 인물에 대한 인터뷰 등을 통해 자료를 수집하고 이를 교차 검증하기 위한 삼각검증(triangulation) 절차를 수행해야 타당도를 인정받을 수 있습니다.
연구 설계 2. 내용분석(content analysis): 텍스트를 자료로 변환하는 코딩(coding) 절차
내용분석은 서적이나 언론에 보도된 기사, 연설문, 방송 영상, SNS 게시물 등 인간의 행위에 의해서 만들어진 비정형적인 기록물(텍스트)을 구조화된 범주(category)로 분류하고, 이를 수량화하거나 정성적인 의미로 해석하는 연구 설계입니다.
내용분석을 위한 5단계 절차
- 분석 대상의 선정과 표집(sampling): “2020년 1월부터 2023년 12월까지 OO일보와 OO신문 사회면에 보도된 ‘기본소득’에 관한 모든 기사물”과 같이 분석 대상이 되는 모집단의 범위와 자료수집 기간을 설정해야 합니다.
- 분석 단위의 설정: 1건의 기사 전체를 긍정적으로 또는 부정적으로 평가할 것인지(기사 단위), 아니면 기사 안에서의 특정한 문단이나 개별 어휘를 단위로 식별할 것인지를 설정해야 합니다. 분석 단위를 어떻게 설정하느냐에 따라 분석 결과가 달라지게 됩니다.
- 코딩 프레임(coding frame) 구성: 코딩을 위한 기준 체계를 설계하는 단계입니다. 선행연구가 다루는 논의를 바탕으로 “보도 프레임 유형: 1=경제적 부담, 2=복지 권리, 3=정치적 포퓰리즘”과 같이 범주를 식별합니다.
- 평가자 간 신뢰도(inter-coder reliability) 검증: 연구의 객관성을 확보하기 위해 필수적으로 거쳐야 하는 단계입니다. 연구자 1인의 주관적인 판단에만 의존해서 자료를 코딩한다면 분석 결과의 신뢰도를 확보하기 어렵습니다. 따라서 연구자와 제3의 평가자 1인이 독립적으로 코딩해야 합니다. 이후에는 두 평가자 간의 일치 수준(Holsti의 신뢰도 또는 Cohen’s Kappa 계수)이 최소 .70 이상을 충족한다는 결과를 논문에서 기술해야 합니다.
- 자료의 분석과 해석: 빈도분석, 교차분석, 언어 네트워크 분석 등으로 텍스트에 내재된 담론의 구조적인 특성과 사회적 의미를 탐색합니다.
설계 3. 2차 자료 분석(secondary data analysis): 공공 데이터를 활용한 통계 분석
2차 자료 분석은 정부, 국책연구기관, 국제기구(OECD, World Bank) 등이 막대한 예산과 전문 인력을 투입해서 수집한 공신력 있는 대규모 원시 데이터(raw data)를 연구자 자신의 새로운 가설 모형에 투입해서 통계 분석을 수행하는 설계입니다. 한국복지패널, 청년패널조사, 국민건강영양조사 등이 2차 자료의 대표적인 예입니다.
[2차 자료 분석의 한계와 방어]
- 약점: 2차 자료는 학위논문의 연구를 위해 설계된 것이 아닙니다. 따라서 연구자의 가설에 맞는 ‘맞춤형’ 변수 문항이 없습니다. 예를 들어서, ‘조직침묵’이라는 변수의 값을 사용하고 싶지만, 패널 데이터에는 “나는 직장에서 의견을 내는 편이다”라는 문항만을 찾을 수 있고, 이 문항이 측정하려는 구성개념(construct)에 대한 정보는 찾을 수 없습니다.
- 방어법(조작적 정의의 타협): 학위논문에서 ‘제3장. 연구의 방법’ 챕터에서 2차자료의 활용에 대한 방법론적인 제약을 먼저 서술해야 합니다. 가령 “본 연구는 2차 패널 자료를 활용함에 따라 변수의 값을 활용하는 과정에서 제약이 존재한다. 이에 따라 본 연구는 선행연구(김ㅇㅇ, 2023)가 접근한 변수의 구성 방식을 준용하였다. 패널 자료의 a, b, c 문항에 대한 평균값을 계산하고, 이를 잠재변수의 대리 지표(proxy)로 설정하였다”와 같이 기술해야 합니다.
아울러 2차 자료를 활용하기 위해서는 동일한 자료를 사용한 최근 3년간의 선행문헌을 확인해야 합니다. 다수의 연구자가 해당 2차 자료를 이미 활용하였을 가능성이 높기 때문입니다. 선행문헌에서는 독립변수, 종속변수, 매개변수 등의 변수들이 어떠한 모습으로 조합되어 어떻게 차별화하였는지, 또는 표본의 조건을 어떻게 달리 설정하였는지를 드러내지 못한다면 선행연구를 답습했다고 평가절하될 수 있습니다.
| 가상 사례: 언론정보학 석사과정 연구자의 내용분석 수행 과정 언론정보학을 전공하며 석사과정에 재학 중인 A씨는 ‘유튜브(Youtube) 허위정보 채널 제작자’라는 키워드를 가지고 학위논문을 위한 연구를 구상하고 있었습니다. A씨는 채널 제작자를 섭외해서 심층 인터뷰를 수행하려고 시도를 했었으나, 여러가지 현실적인 한계에 부딪히게 되어 당초의 계획이 여의치 않게 되었습니다. A씨는 지도교수의 조언에 따라 연구 설계를 내용분석으로 전환하였습니다. 연구 대상자를 직접 면담하는 대신, 구독자 10만 명 이상의 정치 유튜브 채널 5곳을 분석 대상으로 선정하였습니다. 이어서 최근 3개월 동안 업로드된 150개의 영상으로부터 썸네일 이미지와 텍스트 자료를 수집하였습니다. A씨는 썸네일의 시각적인 요소와 자극적인 어휘를 분석 단위로 설정하고, 혐오적인 표현을 4개의 유형으로 범주화하였습니다. 이와 함께, 분석의 객관성을 제고하기 위해 동료 연구자와 함께 무작위로 추출한 30개의 영상을 대상으로 2인이 독립적으로 코딩을 수행하였습니다. 평가자 간의 일치도를 나타내는 Cohen’s Kappa 계수는 0.85로 나타나 높은 신뢰도를 확보한 것을 확인한 뒤에 본격적인 코딩에 착수하였습니다. 연구자는 인터뷰 방식으로는 탐색하기가 어려웠던 대중의 분노를 유발하기 위해 제작한 허위정보 영상들의 양상과 함께 썸네일 디자인 방식을 확인할 수 있었습니다. (본 사례는 언론정보학 석사학위논문 컨설팅 실무 경험을 바탕으로 재구성한 가상의 시나리오입니다.) |
자주 묻는 질문 (FAQ)
Q. 사례연구로 논문을 작성하면 분석 대상의 표본이 특정 기업 1곳에 불과한데, 이를 학위논문으로 인정받을 수 있을까요?
A. 학위논문으로 물론 인정받을 수 있습니다. 하버드 비즈니스 리뷰(Harvard Business Review)를 비롯한 저명한 학술지에서는 단일 사례연구로 접근한 연구가 상당한 비중을 차지합니다. 다만, 분석의 깊이가 압도적이어야 합니다. 예를 들어서, 기업의 사례에 관한 역사적인 문서, 임원부터 실무진에 이르는 다수의 이해관계자가 참여한 인터뷰 자료와 이들에 대한 교차 분석 결과, 외부 평가 보고서 등을 입체적으로 조망하는 상세한 기술이 전제된다면, 학술적인 가치가 매우 높은 우수한 학위논문으로 완성될 수 있습니다.
Q. 내용분석을 위한 코딩 과정에서 2인의 평가자를 확보하기 어려워 연구자 1인이 단독으로 코딩작업을 수행하였습니다. 학위논문의 심사 과정에서 지적을 받게 될까요?
A. 논문심사 과정에서 방법론적으로 결함이 있다고 지적받을 가능성이 매우 높습니다. 연구자 1인의 주관적인 해석에만 의존해서 코딩을 수행한다면 분석의 객관성을 담보하기 어렵기 때문입니다. 만약 동료 연구자를 섭외하기가 어렵다면 차선책으로 ‘연구자 내 신뢰도(intra-coder reliability)’를 평가하고 신뢰도 값을 제시해야 합니다. 구체적으로, 연구자가 수집한 자료의 10% 분량을 1차로 코딩한 후에, 2-4주의 시차를 두고 동일한 자료를 대상으로 코딩을 다시 수행합니다. 그리고 1차 코딩과 2차 코딩 결과의 일치도가 80% 이상에 도달한다는 사실을 계산값으로 입증해야 합니.
Q. 2차 패널 자료를 활용해서 논문을 작성하려고 합니다. 하지만, 연구자가 분석자료를 직접 수집하지 않았다는 이유로 연구의 독창성이 부족하다는 비판을 받지 않을까요?
A. 2차 패널자료로 접근하는 연구에서의 독창성은 자료를 수집하거나 생성한 주체가 아니라 분석 모형과 연구 설계에서의 차별성에 달려 있습니다. 이미 대외적으로 공개된 자료라도 분석의 관점을 달리 한다면 독창적인 연구로 인정받을 수 있습니다. 예를 들어서, “대부분의 선행연구들은 변수 A와 변수 B의 관련성을 중심으로 수행되었다. 그러나 본 연구는 관련 문헌에서는 주목을 받지 못했던 특정한 하위 집단(예., 비정규직, 한부모 가구)을 선별하고 다중집단 분석(multi-group analysis)을 수행하였다”로 기술해서 연구의 차별성을 부각시킬 수 있습니다. 또는 “본 연구는 기존의 선형 회귀모형으로는 조명하지 못한 비선형적인 관계를 규명하기 위해 머신러닝 기법으로 접근하였다”라는 방법론적인 접근을 통해 차별화를 도모할 수 있습니다.
Q. 선행연구를 종합적으로 분석하는 문헌연구만으로는 석사학위 논문을 완성할 수 있을까요?
A. 역사학, 철학, 문학 등을 포함하는 인문학 영역에서는 선행문헌을 대상으로 텍스트 분석이나 담론 비판의 결과를 통해 학위논문으로 완성할 수 있습니다. 하지만 경영학, 행정학, 교육학 등의 영역에서는 기존의 연구들을 요약하고 정리하는 서술형 고찰의 방식으로는 학위논문의 완성으로 이어지기가 어렵습니다. 사회과학 분야에서 그 가치를 인정받을 수 있는 문헌연구의 행태는 새로운 학술적인 결론을 제시할 수 있는 고도화된 방법론인 체계적 문헌고찰(systematic literature review)과 메타분석(meta-analysis)입니다.
결론
자료를 직접 수집하지 않는 연구의 설계 방식에는 사례연구, 내용분석, 2차 자료 분석 등이 있습니다. 사례연구는 소수의 사례를 깊이있게 분석하고, 내용분석은 텍스트와 기록 자료를 기준에 따라 범주화하며, 2차 자료 분석은 공공기관 등이 이미 구축한 대규모 원시자료를 활용합니다. 이들 자료를 활용하는 주된 목적은 연구대상에 접근이 어렵거나, 거시적인 현상을 탐색하기 위함입니다. 다만, 직접 조사를 함으로써 발생하는 물리적인 부담을 줄일 수는 있더라도 오히려 방법론적으로 난이도가 상당히 높습니다.
사례연구는 전형성, 극단성, 접근성, 희소성 중에서 명확한 기준으로 분석 단위의 범위를 선정해야 합니다. 그리고 문서와 인터뷰자료, 관찰 기록 등 여러가지 형태의 자료를 교차 분석해서 분석의 신뢰도와 타당성을 높여야 합니다. 내용분석을 수행하기 위해서는 분석 대상의 선정, 분석 단위의 설정, 분석 범주의 설계, 코딩, 자료 분석과 해석의 단계를 거쳐야 합니다. 2차 자료를 활용하기 위해서는 연구자의 분석 모형에 필요한 여러 변수가 이미 갖추어져 있는지를 확인해야 합니다. 그리고 결측값과 가중치의 처리에 관한 통계적인 처리 기준을 별도로 마련해야 합니다.
