오늘은 치매 이야기가 아닌 '세상' 이야기를 좀 하고자 합니다. 엎어진 김에 누워자고, 떡본김에 제사지낸다고. 타당도와 신뢰도 이야기가 나온 김에 '세상' 이야기를 잠깐 하고자 합니다.
치매 환자 가족을 위한 심리학 개론 <16> 평균, 표준편차, 신뢰도, 타당도
우리는 흔히 통계를 이야기할 때 평균이란 용어를 들어서 설명하곤 합니다. 우리 아들의 성적이 좋으냐 나쁘냐를 논할 때 평균 점수보다 높으냐 낮으냐를 ‘기준’으로 놓고 평가를 하곤 하지
chimae.tistory.com
앞선 포스팅에서 타당도란, 치매 검사를 예로 들어서 설명하면 치매를 알아보는 '문항'이 적절히 구성돼 있는가를 알아보는 것이라고 설명했습니다. 치매에 걸렸는지 아닌지 알아보는데, 히스테리 성격장애 혹은 정신분열증인지 아닌지 알아보는 문항으로 구성돼 있으면, 치매인지 아닌지 알아볼수 없지 않겠습니까.
마찬가지로 여론조사도 내가 알아보고자 하는 사항을 여론조사 문항에 적절히 반영했느냐? 이것이 굉장히 중요합니다. 아주 간단히 이야기해보죠. 여론조사를 왜 실시하겠습니까?
대선 후보 중 누가 대통령에 당선될 것인가? 그걸 알아보기 위해서 여론조사를 실시하는 겁니다. 국회의원 후보 중 누가 국회의원에 당선될 것인지를 알아보기 위해서 여론조사를 실시하는 겁니다. 그런데 대한민국의 여론조사는 제 입장에서 생각할 때 기괴하기 짝이 없습니다.
적합도 조사는 뭐야?...타당도 제로(0)인 적합도 여론조사
여론조사 뉴스를 보면 '적합도' 조사라는 게 있더군요. 저는 이런 조사를 볼 때 마다 헤괴망측하다는 생각을 하곤 합니다. 그런데 어떤 언론에서도 적합도 조사의 문제점에 대해서 제대로 다루지 않더군요. 우리나라 정치 수준 저하에 언론도 막대하게 기여를 하고 있는 겁니다.
적합도 조사 문항은 대충 이렇습니다. 여권 대선 후보로 누가 적합하다고 생각하느냐? 이렇게 물어봅니다. 이 문항에는 선거 당일 누구를 찍을 것이냐? 이런 물음이 하나도 없습니다.
이런 질문을 하면 야권(보수) 지지층은 김부겸 같은 온건한 성향의 진보 정치인을 많이 거론합니다. 그러나 이런 결과를 놓고 김부겸 같은 분이 여권 대선 주자로 나오면, 보수 성향 유권자들이 김부겸에게 표를 줄까요? 안줍니다. 적합도에서 아무리 높은 수치가 나와도, 실제 득표율은 반토막 납니다.
반대로 야권 대선 후보로 누가 적합하냐? 이렇게 물어본다고 가정해보죠. 그러면 강성보수 김문수 같은 사람은 부적합하다는 언급이 많고, 상대적으로 온건하게 느껴지는 원희룡 같은 인물이 높은 점수를 받습니다. 그런데 원희룡 같은 인물이 보수 주자로 대선 출마하면 득표율이 얼마나 나올까요? 진보 성향 유권자들이 원희룡을 보수 대선 후보로 적합하다고 평가해도, 원희룡에게 표를 주지는 않습니다. 실제 선거에서 득표율은 반토막 납니다.
적합도 조사란.. 실제 선거 결과를 예측하는데 아무런 소용도 없는. 말 그대로 '개나 줘버려' 조사입니다. 그런데 우리나라에서는 향후 선거 결과를 예측하기 위해 '적합도' 조사를 남발하고 있습니다. 개탄스러운 세상입니다.
적합도 조사 이외에도 여론조사 문항을 보면. 실제 선거 결과를 예측하는 데 하등 도움이 안되는 것들이 많습니다. 그럼에도 불구하고 이런 것들의 문제점이 제대로 밝혀지지 않고 있습니다. 왜냐구요? 언론사들이 앞장서서 이런 엉터리 여론조사를 하고 있으니까요. 기자들이 여론조사가 뭔지 모르는데, 어떻게 제대로 된 여론조사를 하겠습니까?
신뢰도는 뭐 하는 건가요?
우리나라 여론조사 품질을 보면 '타당도' 이외에도 많은 문제점을 안고 있습니다. 대표적인 문제가 신뢰도 입니다. 신뢰도에 대해 간단히 설명하자면. 똑같은 여론조사를 반복 실시햇을 때. 결과가 똑같이 나와야 한다는 겁니다.
이해가 잘 안될 것 같아. 비유를 하나들겠습니다. 자동차에 휘발유 100리터를 넣고 달렸습니다. 어느 날은 100km를 달렸습니다. 그런데 어떤 날은 50km를 달렸습니다. 이런 자동차는 품질에 심각한 문제가 있는 차입니다.
여론조사들을 살펴보면 지지율 수치가 너무 급격하게 변동하는 것들이 많습니다. 여론조사 기관과 언론사에는 지지율이 급격하게 변했다고 이야기하죠. 그런데 제가 보기에는 '신뢰도'에 심각한 문제점을 안고 있습니다.
여론조사를 보면. 응답률이 갑작스레 높아질 때가 있습니다. 응답률이 갑작스레 높아졌다는 것은. 특정 집단이 특정 시기에 '유난히 응답을 많이 했다'는 뜻이 됩니다.
즉...특정 계층의 의도가 국민 전체의 여론으로 '호도'됐다는 뜻이 됩니다. 그런데 이런 걸 제대로 알고 여론조사를 실시하는건지 의문이 들 때가 많습니다. 특히 언론이 보도할 때. 이런 문제점을 상세하게 짚어줘야 합니다. 문제는...타당도, 신뢰도 이런건 뭐 쌈싸먹는 건가요? 이런 지식 수준을 갖고 있는 기자들이 태반이라는 겁니다. 기자들조차 제대로 모르니. 여론조사에 대해 객관적으로 보도할 수 없는 것이죠.
안타까운 일입니다. 정치가 정화되려면 수십년이 걸릴지도 모르겠습니다. 아니. 대한민국에서는 아예 불가능할지도 모르겠습니다.