질적 연구의 타당도 강화를 위한 조치 결정

  타당도를 강화하기 위한 선택은 사실 여러 가지 선택을 포함한다. 이 모든 선택은 질적 연구의 타당도를 강화하는 방식과 관련되어 있다. 언뜻 보기에 ‘타당도 강화’라는 개념은 타당도를 명백한 이분법적 개념으로 보는(‘타당도가 있다’ ‘타당도가 없다’ 중 양자택일이라고 보는) 우리의 이해에 반하는 것이다. 그러나 모든 연구는 하나의 연구 안에 여러 다른 주장을 담고 있으며, 그중 어떤 것은 타당하고 어떤 것은 타당하지 않다. 여러분의 목표는 이 주장의 타당도를 최대한 많이 확인하여 연구 전체의 타당도를 강화하는 것이다. 

연구에서의 타당도

  질적 연구를 포함한 모든 종류의 연구에서 핵심이라 할 수 있는 질 관리 이슈는 연구와 그 결과의 타당도에 대한 것이다. 타당한 연구란, 자료의 수집과 분석이 적절하여 연구의 결론이 연구의 대상이 된 실제 세계(또는 실험실)를 정확하게 반영하고 대표하는 것을 말한다. 반대로, 어떤 분야의 연구 든 잘못된 결론에 도달했다면 그 연구는 가치가 없다. 그러한 극단적인 결과가 초래되는 일이 자주 발생하지는 않지만, 연구에서 결과와 결론의 타당도를 강화할 수 있는 설계를 사용하는 것은 매우 중요하다. 

 

  타당도 이슈는 연구 결과에만 국한되지 않는다. 이 이슈는 현장 사건이나 연구 참여자의 관점을 단순하게 설명할 때도 해당된다. 이런 수많은 사항들이 연구가 제시하는 진실로 받아들여지기 때문에 이 모든 것들은 타당도를 요구한다. 질적 연구에서는 타당도에 대한 바람과 상대주의-사실주의 간 연구자의 입장 취하기를 혼돈하지 않아야 한다. 다시 말해서, 상대주의 입장(즉, 단일한 실재는 없다는 입장)을 취한 연구라 해도 그 결과가 가지는 타당도에 대해 여전히 고민해야 한다. 같은 입장을 취하고 있는 다른 연구들이 여러분의 연구와 같은 증거를 수집하고 같은 결론에 이르렀는지를 바탕으로 타당도라는 문제를 생각하게 된다. 

 

  멕스웰은 “묘사, 결론, 설명, 해석 또는 그 외의 기록이 갖는 정확성 또는 신빙성”을 언급하면서 타당도 이슈를 강조하였다. 멕스웰은 자신의 연구와 많이 다른 질적 연구를 바탕으로 타당도 문제를 다루는 일곱 가지 방법을 종합하여 정리하였다. 여기에 제안된 실제들은 이해와 실행이 어렵지 않으며, 이 각각은 역시 ‘선택’의 문제다. 즉, 여러분의 선택에 따라 이 전략은 여러분의 연구에 포함될 수 있다. 

 

  앞에 제시된 일곱 가지 중 네 번째인 ‘모순된 증거와 부정적 사례 찾기’(즉 상반되거나 경쟁적인 설명을 시험해보기)와 다섯 번째인 ‘삼각검증’에 대해서는 좀 더 자세한 설명이 필요하다. 이 두 가지 실제는 일반적으로 인식되는 것보다 훨씬 더 광범위한 작업니다. 이 둘 모두는 연구자가 연구를 수행하는 내내 체계적인 자세와 태도를 유지하게 된다. 이런 점에서 이 두 가지 모두 단일한 구체적 실제를 넘어서는 그 무엇이라 할 수 있다. 다음에서는 이 두 가지에 대해 자세히 논의하였다. 

 

예 ) 질적 연구의 타당도를 위협하는 요소에 대처하는 일곱 가지 전략 조셉 멕스웰은 타당도 위협 요소를 예방하기 위한 일곱 가지 점검 사항을 제시하였다.  1. 장기간에 걸쳐 높은 강도로 현장에 참여하기 : 여러 번의 관찰과 면담 기회를 포함하여 현장 상황에 대한 완전하고 깊이 있는 이해를 이끌어 내기 2. '풍부한' 자료 : 세부적이고 다양한 자료를 수집함으로써 현장 관찰과 면담을 충분하게 실행하기 3. 참여자의 타당도 확인하기 : 연구 참여자가 자기 보고한 행동과 관점에 대한 해석상의 오류를 줄이기 위해 연구 참여자로부터 피드백 받기 4. 모순된 증거와 부정적 사례 찾기 : 상반되거나 경쟁적인 설명을 시험해 보기 5. 삼각검증 : 여러 자료원으로부터 수렴적 증거를 모으기 6. 준통계(quasi-statistics) : 어떤 일이 '전형적이다' '드문일이다' 또는 '널리 유행되고 있다'는 식으로 형용사를 사용하여 표현하는 대신 수치를 사용하기 7. 비교 : 여러 환경, 집단 또는 사건에 따른 연구 결과를 명백하게 비교하기

상반되는 설명

  상반되는 설명이란, 단순히 대안적인 해석을 말하는 것이 아니다. 진정한 상반적 설명은 서로 경쟁하며 공존할 수 있다. 여러분의 연구에서 연구 결과와 해석이 서로 다른 상반적 설명에 의해 반박될 수 있는 것이라고 생각해 보라. 만약 상반적 설명 중 하나가 원래 했던 해석보다 좀 더 그럴듯하다고 판명된다면, 이에 대해 각주를 다는 정도를 넘어 원래의 해석을 포기해야 할 것이다. 

 

  상반적 설명을 적절하게 인식하고 자신이 원래 했던 해석을 포기함으로써 오히려 연구 타당도를 강화하게 되며, 특히 연구의 일부로 각각의 상반적 설명을 수용하거나 거부한 근거를 철저하게 논의한다면 타당도는 더욱 강화될 것이다. 

 

  연구자들은 연구 과정 내내 상반적 설명을 추구함으로써 의도적으로 연구를 강화하려는 노력을 기울인다. 상반적 설명은 연구 결과에 대한 최종 해석 단계 뿐 아니라 연구의 모든 지점에 존재한다. 예를 들어, 여러분은 특정 현장 환경이나 현장 면담 대상자를 선택하면서 불가피하게 그 환경이나 사람들에 대한 어떤 가정을 하게 된다. 이러한 환경이나 사람들은 연구 주제에 대한 귀중한 정보를 제공해 줄 자료다. 자료를 수집하는 동안, 상반적 가설은 수집된 정보가 여러분을 잘못 인도할 수 있으며, 다른 자료가 더 좋은 정보를 제공할 만한 가능성을 여러분에게 계속 지적해 줄 것이다. 자료 수집 중에 이러한 상반적 설명을 검증하기 위한 조치를 지속적으로 취해야 한다. 

 

  연구자들이 상반되는 견해에 대해 바람직한 태도를 갖는 것은 단순히 연구의 결론부에 한두 개의 상반적 설명을 나열하는 것보다 훨씬 중요하다. 상반되는 견해에 대한 바람직한 태도는 연구를 수행하는 내내 ‘회의적’ 감각을 유지하는 데서 비롯된다. 여기서, ‘회의적’이라 함은 다음과 같은 질문을 자신에게 해 보는 것을 포함한다. 

 

- 사건과 행동은 겉으로 보이는 모습이 그대로인가? 

- 연구 참여자들이 연구자와 이야기할 때 솔직한 반응을 보이는가? 

- 연구의 주제와 본질에 대해 연구자가 원래 가졌던 가정이 정말 옳은가? 

 

  이러한 회의적 태도는 상반적 설명에 대해 생각하지 못했을 때보다 더 많은 자료를 수집하고 더 많은 분석을 하게 만들 것이다. 즉, 여러분은 더 많은 확인 작업을 할 것이고, 원래 하려던 것보다 더 많은 자료를 찾아볼 것이며, 심지어 다소 가능성이 적은 사안도 무시하지 않고 탐색해 볼 것이다. 다시 말해서, 여러분이 하려는 연구와 연구 방법은 모든 측면에서 상반적 설명이 발생할 수 있다. 이러한 상반적 설명을 배제할 수 있는 명백한 증거를 확보하는 것은 연구의 타당도를 강화하는 데 필수적이다. 

 

  또한 상반적 설명을 반박하는 것이 아니라 마치 상반적 설명의 가능성을 확립하려고 노력하는 사람처럼, 최대한 열심히 ‘모순된 증거’를 찾으려는 노력을 기울여야 한다. 그것은 찾으려는 성실한 노력에도 불구하고 증거를 찾을 수 없다면, 비로소 연구의 궁극적 설명, 귀인 또는 해석에 대해 자신감을 가질 수 있을 것이다. 

 

  한마디로, 연구를 수행하는 모든 단계에서 모든 종류의 상반적 설명이 가능하다. 회의적인 태도를 유지하며 수행된 연구일수록 설득력이 있다. 이러한 연구들은 그럴듯한 상반적 설명을 찾고 검증하려는 노력을 연구 절차의 필수적인 요소로 포함한다. 이 경우, 상반적 사고가 주로 논문 초록처럼 짧은 연구 요약의 형태로 최종 연구 결과물의 일부가 된다. 

삼각검증

  삼각검증의 원리는 서로 다른 3개의 기준점이 만나는 점을 물체의 정확한 위치를 계산하는데 사용되는 항공학에서 비롯된 것이다. 연구에서 이 원리는 연구를 통해 보고되는 특정 사건, 묘사 또는 사실을 입증하거나 확인하기 위해 최소한 세 가지 방법을 추구하려 할 때 적용된다. 이러한 확인 과정은 연구의 타당도를 강화하는 또 다른 방법이다. 

 

  삼각검증은 자료 수집 단계와 주로 관련되는 경향이 있지만, 상반적 사고와 마찬가지로 연구의 전 과정에 적용될 수 있다. 자료를 수집할 때 이상적인 삼각검증은 세 가지 자료를 통해 확인하는 것뿐 아니라 서로 다른 종류의 자료 세 가지를 찾는 것을 말한다. 즉, 어떤 사건을 직접 보았고(직접 관찰), 그 장소에 있던 누군가가 그 사건을 보고하기도 했고(구두 보고), 그 이후에 다른 사람이 작성한 보고서에서도 유사한 형태로 그 사건이 묘사되었다면(문서), 그 사건을 보고하는 것에 대해 상당한 확신을 갖게 될 것이다. 한편 연구가 다른 자료와의 연계 없이 연구 참여자의 세계관에만 초점을 둔 것이더라도, 그 연구 참여자의 관점을 정확하게 지시하기 위해 그와 대화를 몇 번 더 함으로써 삼각검증을 하고 싶을 것이다. 

 

  다양한 유형의 자료를 얻는 것이 용이하지 않을 때도 많다. 자료 확인을 위해 다른 자료를 구하지 못한 채, 세 사람의 구두 보고(또는 서로 다른 세 문서에서 나온 정보)에 의존해야 할 수도 있다. 이 경우, 그 자료가 정말 세 가지의 독립된 보고를 대표하고 있으며, 서로 어떤 식으로든 연관될 가능성이 배제되었는지 주의를 기울여야 한다. 예를 들어, 세 가지 문서 중 두 가지가 처음에는 분리된 자료로 보였더라도 이 두 가지 모두가 나머지 하나의 문서에서 핵심적인 정보를 추출한 것일 수도 있다. 

 

  독립된 연구 보고서를 찾는 노력은 인터넷 자료를 중심으로 일할 때 특히 문제가 된다. 세 가지 웹사이트에서 나온 서로 다른 세 가지 보고서가 동일한 하나의 자료에서 비롯된 것일 수 있다. 예를 들어, 많은 뉴스 기가는 미국 연합통신이라는 유명하고 높이 평가되는 국제 통신사의 작업에 기초를 둔다. 많은 웹사이트들은 연합통신의 뉴스거리를 입수하여 연합뉴스라는 출처를 밝히지 않은 채 그 내용을 보도한다. 이러한 웹사이트 세 곳이 기사를 독립적으로 보도하고 있다는 판단하에, 기사를 확인하고 삼각검증을 하는 데 이 사이트들이 유용하리라 생각했다면 이는 잘못된 생각이다. 

 

  실제 자료를 직접 포착하고 기록할 경우, 삼각검증이 필요성을 줄어든다. 예를 들어 면담을 바로 녹음할 수 있거나 시각적으로 중요한 것을 사진으로 남길 수 있다면, 증거를 재확인해야 할 필요가 줄어든다. 안타깝게도, 이와 같이 직접 자료를 포착하는 것은 불가능할 때도 있고, 바람직하지 않을 때도 있다. 

 

  또한, 많은 질적 연구들이 영어 이외의 언어로 된 대화를 포함한다. 영어로 집필하는 최종 논문에서 이러한 대화를 소개하는 좋은 방법은 대화에 사용된 언어와 영어를 본문에 병기하는 것이다. 그렇게 하면 그 언어에 익숙한 독자들이 번역의 적절성을 스스로 판단해 볼 수 있다. 그러나 이런 방법은 매우 드물게 실천되어 왔다.