심사에서 떨어지는 연구계획서의 공통점은 연구문제-이론-연구방법 사이의 단절에 있습니다. 심사위원은 3개의 요소를 따로 채점하지 않고 연결이 끊긴 자리를 찾아 질문합니다. 프로포절을 제출하기 전에 9개 항목에 대한 일관성을 체크하는 연구자가 심사를 통과합니다
이 글의 순서 5개 항목
해마다 5월과 11월이 되면 대학원 강의실마다 프로포절 심사가 열립니다. 발표자는 준비한 PPT 슬라이드를 띄우고, 심사위원들은 연구계획서를 넘깁니다. 발표를 시작하고 몇 분이 흐른 뒤에 한 심사위원이 연구계획서의 앞장과 뒷장을 열심히 번갈아 가면서 읽습니다. 그리고 질문을 던집니다, “연구문제는 1장에 있는데, 왜 4장의 설문 문항에는 그 개념이 없습니까?” 발표장이 갑자기 싸늘해 집니다. 참고문헌을 100여 개나 인용한 계획서가 이 질문에 멈추는 장면을 프라임은 상담 현장에서 흔히 떠올릴 수 밖에 없습니다. 이 글은 그 심사위원의 질문, 곧 연구계획서의 일관성에 관한 이야기를 다룹니다.
왜 프로포절 심사에서 떨어지는가?
프로포절 심사에서 떨어지는 공통적인 원인은 연구계획서 각각의 챕터에서 드러나는 결함보다는 챕터와 챕터 사이의 어긋남에 있습니다. 심사위원은 3개의 질문을 순서대로 이어서 던집니다: 이 문제를 세상이 반드시 알아야 할 가치가 있는가? 이 이론은 이 문제를 풀기 위해서 사용해야 하는 이론이 맞는가? 그리고 이 연구방법은 과연 이 문제를 정확하게 풀 수 있는가…? 이 질문들에 대해서 딱 한 줄로 답변을 할 수 있다면 프로포절 심사에 통과할 수 있습니다. 하지만 한 곳이라도 막히는 부분이 있다면 그때부터는 심사위원들의 무차별적인 공격이 시작됩니다. 그리고 대부분의 심사위원들은 연구의 설계를 집중적으로 건드립니다. 만약 연구 설계에 문제가 있다면 그림을 처음부터 다시 그려야 합니다.
해외 학술지의 에디터들은 앞서 서술한 프로포절이 가지는 문제점에 대해서 같은 시각을 가지고 있습니다. 예를 들어서, Academy of Management Journal의 에디터인 Bono & McNamara(2011)는 심사과정에서 리젝을 당하는 논문의 원고들에서 드러나는 공통적인 결함을 공개하였습니다. 연구진이 지목한 리젝 판정을 주는 단골 사유는 연구의 설계였고, 설계는 연구문제로부터 만들어져야 한다고 주장하였습니다. 그리고 연구 설계에서 드러나는 결함은 자료수집이 끝난 뒤에는 고칠 방법이 없다고 지적하였습니다. 프로포절 심사가 유독 엄격한 이유가 여기에 있습니다. 프로포절은 설계를 고칠 수 있는 마지막 단계이기 때문입니다.
- Bono, J. E., & McNamara, G. (2011). Publishing in AMJ—Part 2: Research design. Academy of Management Journal, 54(4), 657-660. https://doi.org/10.5465/amj.2011.64869103
연구문제는 어떤 기준으로 평가를 받는가?
연구문제에 대한 평가 기준은 공백의 발견보다는 문제 제기의 깊이에 있습니다. 많은 연구계획서가 “선행연구가 부족하므로 본 연구가 필요하다…”라는 논리 하나로 연구의 필요성을 만듭니다. 심사위원은 바로 그 점에 대해서 거꾸로 묻습니다. “그 공백은 채울 가치가 있는 공백입니까…?”
이 질문의 배경에는 연구문제의 설정 방식을 정면으로 다룬 논문에 있습니다. Sandberg & Alvesson(2011)은 경영학 문헌에서 등장하는 연구문제의 구성 방식을 분석하였습니다. 그런데 대다수의 연구가 공백 찾기(gap-spotting)에 머물러 있는 것으로 나타났습니다. 공백 찾기는 기존의 문헌과 문헌들 사이에서 이어지는 흐름에서 빈 곳을 찾아서 채우는 방식입니다. Sandberg & Alvesson(2011)은 기존의 연구가 다루는 가정(assumption) 자체에 의문을 던지는 문제화(problematization)가 매우 흥미로운 이론을 만들 가능성이 크다고 논의하였습니다.
- Sandberg, J., & Alvesson, M. (2011). Ways of constructing research questions: Gap-spotting or problematization? Organization, 18(1), 23-44. https://doi.org/10.1177/1350508410372151
물론 오해를 해서는 안됩니다, 공백 찾기 자체가 결격 사유는 아닙니다. 학위논문이 다루는 연구문제의 대부분은 공백 찾기에서 출발하는 것은 어찌 보면 당연합니다. 그런데 문제는 공백의 존재만 말하고 공백의 가치를 말하지 않는 프로포절입니다. “선행연구가 없다”는 문장 뒤에는 “그런데 없어서 무엇이 문제인가?”라고 서술하는 문장이 등장해야 합니다.
이론과 방법은 어디에서 어긋나는가?
이론 쪽의 어긋남부터 살펴 보겠습니다. Whetten(1989)은 이론적 측면에서의 기여 요건을 무엇(What), 어떻게(How), 왜(Why)의 세 질문으로 구분하였습니다. ‘무엇’은 어떤 변수를 다루는가의 문제이고, ‘어떻게’는 변수들이 어느 방향으로 연결되는가의 문제이며, ‘왜’는 그 연결이 성립하는 이유의 문제입니다. Whetten(1989)에 따르면, 대부분의 원고가 ‘무엇’과 ‘어떻게’ 단계에서 머무르고 ‘왜’를 설명하지 못합니다. 이를테면, 연구모형(conceptual model)에서 그려지는 화살표마다 “왜 이 관계인가”에 대한 설명을 해야 한다는 뜻입니다.
- Whetten, D. A. (1989). What constitutes a theoretical contribution? Academy of Management Review, 14(4), 490-495. https://doi.org/10.5465/amr.1989.4308371
Sutton & Staw(1995)는 이론처럼 보이지만 이론이 아닌 것을 5개로 나열했는데, 이것은 참고문헌의 단순한 나열, 데이터, 변수, 도형, 그리고 연구가설입니다. 50편의 문헌을 인용한 이론적 배경도, 변수와 연구가설이 가지런하게 그려져 있는 연구모형도, ‘왜’에 대한 주장과 그 근거를 찾을 수 없다면 이론으로서 제 기능을 하지 못한다는 뜻입니다.
- Sutton, R. I., & Staw, B. M. (1995). What theory is not. Administrative Science Quarterly, 40(3), 371-384. https://doi.org/10.2307/2393788
한편, 연구방법 선정에 어긋남이 있는지를 판단하는 기준이 하나 있습니다. Edmondson & McManus(2007)는 연구방법 선택의 기준으로 해당 분야에서 이론의 성숙도를 제시하였습니다. 연구진은 이론의 발전 단계를 초기(nascent), 중간(intermediate), 그리고 성숙(mature)으로 구분하였습니다. 그리고 성숙한 영역에는 가설검증형 양적연구가, 초기 영역에는 개방형 질적연구가 타당한 방법론이라고 설명하였습니다. 초기 단계의 주제, 즉 아직은 현상으로만 관찰되며 이론으로 설명할 수 없는 문제(또는 문제를 설명할 수 있는 마땅한 이론이 없을 때)를 풀기 위해 설문조사 자료를 수집하고 가설을 검증하려고 한다면 측정해야 하는 구성개념 자체가 아직 명확하지 않기 때문에 연구 전체의 그림이 흔들리게 됩니다. “왜 질적연구가 아닙니까”라는 심사위원의 질문은 대부분 이 기준으로부터 등장합니다.
- Edmondson, A. C., & McManus, S. E. (2007). Methodological fit in management field research. Academy of Management Review, 32(4), 1155-1179. https://doi.org/10.5465/amr.2007.26586086
연구문제-이론-연구방법의 일관성 체크리스트를 어떻게 사용하는가?
심사위원 질문 방식을 기준으로 9개의 항목으로 이루어진 일관성 체크리스트는 아래와 같습니다. 항목마다 “예”라고 답할 수 있는지 확인하시기 바랍니다. 만약 3개 이상의 항목에서 “아니오”가 나오면 프로포절 심사를 연기하는 것이 좋습니다. 심사 일정보다는 논리의 연결이 우선입니다.
- (연구문제) 연구문제를 한 문장의 의문문으로 쓸 수 있는가.
- (연구문제) 그 문제가 풀리면 무엇이 달라지는지, 학술적 가치와 실무적 가치를 각각 말할 수 있는가.
- (연구문제) 연구문제에 등장하는 모든 개념이 이론적 배경에서 정의되는가.
- (이론) 연구모형의 화살표마다 “왜 이 관계인가”에 대한 답이 있는가.
- (이론) 이 연구가 사용하려는 이론이 다른 경쟁 이론보다 적합한 이유를 설명할 수 있는가.
- (이론) 연구가설이 이론에서 도출되는가, 아니면 변수의 나열에 그치는가.
- (방법) 연구 주제를 이론 성숙도의 기준으로 판단한다면 연구방법이 서로 어울리는가.
- (방법) 표본과 측정이 연구문제의 분석수준(개인 vs. 팀 vs. 조직)과 일치하는가.
- (방법) 측정도구의 문항이 이론적 배경의 개념적 정의와 동일한 용어를 사용하는가.
| 가상 시나리오: 사회복지학 박사과정의 한 연구자는 첫 프로포절 심사를 통과하지 못하였습니다. 연구문제는 교사의 직무열의를 다루었는데, 측정도구의 문항은 직무만족을 묻고 있었습니다. 연구자는 위의 체크리스트를 통해 프로포절 계획서의 상당 부분을 뜯어 고쳤습니다. 세 번째 항목과 아홉 번째 항목에서 “아니오”가 나왔습니다. 연구자는 이론적 배경에서 직무열의에 대한 개념적인 정의를 다시 셋팅하고, 그 정의와 같은 말을 사용하는 타당화된 측정도구로 교체하였습니다. 한 학기 후의 재심사에서 프로포절 심사를 무난하게 통과하었습니다. 첫 번째 심사과정에서 지적된 심사의견은 다시 듣지 못하였습니다. 이 가상 시나리오는 프라임이 체험한 컨설팅 실무 상황을 참고하여 재구성한 가상의 시나리오입니다. |
결론
심사위원이 던졌던 질문으로 돌아가 보겠습니다. 이 문제는 물어 볼 가치가 있는가, 이 이론은 이 문제에 맞는가, 그리고 이 방법은 과연 이 문제를 풀 수 있는가..? 소개해 드린 관련 문헌의 연구결과는 이 3개의 질문들에 대한 기준을 보여주고 있습니다. 문제 제기의 깊이와 ‘왜’에 관한 논증, 그리고 이론 성숙도와 연구 방법의 일치함입니다. 그리고 9개의 항목으로 이루어진 일관성 체크리스트는 프로포절 심사를 받기 전에 스스로 확인하는 절차입니다.
