어제 KBS가 국회의원 선거 결과를 예측하기 위한 여론조사 결과를 보도했습니다. KBS의 보도 내용을 한 마디로 정리하면 '명백한 오보'입니다. 우리나라 정치 발전과 언론의 진흥을 위해서라도 이런 저품질 뉴스는 이제 퇴출시켜야합니다.
그럼 지금부터 KBS 보도가 왜 오보인지 팩트체크를 해보도록 하겠습니다.
무작위 추출의 개념에 대해
여론조사는 정확할까요? 네, 원칙만 준수한다면 거의 정확합니다. 그러나 원칙을 지키지 않으면 어마어마한 오류가 발생합니다. 그럼 여론조사가 반드시 지켜야 할 원칙은 무엇일까요?
여론조사에 응답하는 표본(여론조사에 응답하는 사람들)을 추출할 때 '무작위 추출'이란 원칙을 지켜야 합니다. 그런데 무작위 추출이란게 뭐죠?
흔히 검은콩, 하얀콩으로 비유를 합니다. 양동이에 검은콩 한 바구니, 하얀콩 한 바구니를 넣습니다. 그리고 눈을 감고 콩을 하나씩 꺼내어 100개의 콩을 꺼냅니다. 그러면 어떤 일이 벌어질까요? 검은콩 50개, 하얀콩 50개가 나옵니다.
사람이 어떤 의도도 갖지 않고 행동을 하면 '자연의 비율'이 맞춰집니다. 신기한 일이죠. 왜 이런 일이 일어나는지는 잘 모릅니다. 자연상태에서 사람이 인위적인 조작을 하지 않으면 남녀 성비가 거의 50대 50으로 맞춰집니다. 자연의 섭리이기 때문입니다.
이렇게 인간이 인위적으로 손대지 않는 것을 무작위추출이라고 합니다. 여론조사 전화를 돌릴 전화번호를 추출할 때도 마찬가지입니다.
이번에 KBS가 보도한 여론조사를 살펴보면 전화번호는 제가 말한 무작위 추출을 했다고, 보고서에 적혀 있습니다. 실제로 그렇게 했는지는 모르겟으나, 그렇게 했다고 하니 믿어야죠.
그런데 제가 보기에 여론조사 과정에 문제가 좀 있습니다. 아래의 캡처 이미지를 한번 보시죠. 이번 여론조사 결과 자료를 제가 인터넷으로 직접 다운받아 살펴본 것입니다.
제가 1번 동그라미를 그려 놓은 곳과 2번 동그라미를 그려 넣은 곳을 한번 살펴보시기 바랍니다. 무작위 추출을 하면 자연상태 그대로 남녀 성비가 50대 50으로 나옵니다. 그런데 여론조사 결과를 놓고 보면 남자가 더 많이 응답을 하고, 여자는 덜 응답을 했습니다.
엄밀히 따지면 '무작위 추출'이 안된 겁니다.
무작위 추출이 제대로 되지 않자, 여론조사에서는 '가중치'라는 걸 둡니다. 원래 정확한 여론조사가 진행되려면 남여가 50대50으로 나와야 하는데, 실제 조사를 해보니 남여 비율이 51대49로 나오는 겁니다. 그래서 남자에게는 0.9를 곱하고, 여자에게는 1.2를 곱해서 50대50으로 인위적으로 비율을 맞추는 겁니다.
가중치라는게 정확히 통계학적으로 확립된 개념이 아닙니다. 그냥 여론조사를 많이 하다보니 '이렇게 이렇게 가중치를 두니까 대충 맞더라'는 개념인 겁니다. 즉 학문적으로 정립되지 않은 '이론'을 들어서 여론조사가 맞다고 우기는 겁니다.
본디 가중치라는 것을 두면 안됩니다. 앞서 이야기한 '무작위 추출' 원칙에 위배되기 때문입니다. 사람이 인위적으로 '손'을 대면 오염이 됩니다. 자연 그대로의 '수치'가 나오지 않습니다.
표본오차 개념도 모르는 KBS 보도
야구, 축구 승부는 명확합니다. 9대8로 이겨도 이긴 겁니다. 한끗 차이라도 이긴건 이긴겁니다.
그러나 여론조사는 그렇지 않습니다. 대통령 선거 여론조사를 할 때, 여론조사에 응답하는 사람이 대충 1000명입니다. 유권자 4000만 명 중 1000명만 뽑아서 조사를 하는 겁니다.
당연히 정확한 조사 결과는 유권자 전원을 대상으로 실시해야 나올 수 있겠지요. 그러나 그건 불가능합니다. 그래서 1000명을 임위로 뽑아서 조사하는 겁니다.
여기서 문제가 발생합니다. 아주 적은 샘플만 뽑아낸 것인지라 '오차'라는게 존재합니다. 이런건 수학적으로 모두 개념이 정립된 것입니다.
아래의 캡처 화면을 한번 보시죠.
제가 별표, 동그라미를 그려넣은 곳에 주목을 해보시기 바랍니다. 오차가 +-(플러스 마이너스) 4.4%라고 되어 있습니다. 오차범위가 플러스 마이너스 4.4%라는 것은 최대 오차 범위가 8.8%라는 걸 의미합니다.
수학적으로, 학문적으로 고민정이 오세훈을 앞서고 있다고 이야기하려면 오차범위인 8.8%를 넘어서 앞서야..앞섰다고 할 수 있습니다.
뭔 말인지 이해하기 어렵죠?
예를들어 우리 눈 앞에 자가 하나 있다고 생각해보죠. 이 자는 cm 단위밖에 표시되어 있지 않습니다. mm 단위로 가면 측정이 불가능한 것이죠.
그런데 우리가 이런 자료 5.9mm 길이의 물건 하나와 6.2mm 길이의 물건이 하나 있다고 가정해보죠. 분명 두 물건은 길이가 다릅니다. 하나는 길고, 하나는 짧습니다. 그런데 자가 굉장히 정밀하지 못해서 둘다 대충 길이가 같다고 짐작하는 수밖에 없습니다.
여론조사가 이와 같습니다. 이런 오차를 줄이려면 샘플 수를 늘려야 합니다. 물론 샘플을 무한정 늘린다고 여론조사가 무한정 정확해 지는 것은 아닙니다. 그러나 여론조사를 500명만 대상으로 실시하면 오차범위가 무려 8.8%나 되기 때문에 매우매우 부정확한 여론조사입니다.
정확한 팩트는 고민정, 오세훈 여론조사 오차범위내 '접전'
이번 여론조사 결과를 과학적 입장에서 정확히 독자들에게 전달하려면 고민정, 오세훈 여론조사 오차 범위내에서 혼전이라고 말해야 합니다. 물론 고민정이 오세훈을 앞설 수 있습니다.
그러나 KBS가 실시한 여론조사 결과만 놓고 '오류' 없이 정확히 보도하려면 오차범위내에서 선두다툼이라고 표현해야 정확한 겁니다.
명색이 공영방송 기자들이 이런 기본적인 내용도 모르고 보도를 했다면, 매우매우 심각한 상황입니다. 무려 공영방송 기자들이 이렇게 무식해서야 되겠습니까?
아니면 공영방송 기자들이 어떤 정치적 의도를 갖고 있었던 것은 아닐까요? 저는 그런 일은 절대 일어나서는 안된다고 생각합니다.
정확한 여론조사를 하려면 투표 할 사람만을 대상으로 해야
제가 앞서 이야기한 것을 다시 한번 요약하겠습니다. 그나마 정확한 여론조사를 하려면 조사 인원수를 500명이 아니라 1000명을 채워야 합니다. 500명만 대상으로 여론조사를 하면 오차범위가 너무 커서 실제 상황과 동떨어진 경우가 많습니다.
지난 총선 당시 여론조사를 해보니 여당이 압승한다고 모든 언론이 일제히 보도를 했습니다. 그런 오보가 나올 수밖에 없었던 것이 500명 반쪽짜리 여론조사를 했기 때문입니다. 실제 투표결과와 여론조사 결과가 아주아주 달랐던 것이지요.
두번째, 여론조사에 사람이 인위적으로 '손'을 대면 안된다고 했습니다. 학문적으로 검증이 되지 않았을 뿐더러, 조사 연구자의 '개인적인 사견'이 들어가 여론조사 결과가 오염될 수 있기 때문입니다.
아래에 제가 캡처한 이미지를 보면, 이번 여론조사가 과연 과학적으로 엄격하게 실시된 것인지. 매우매우 회의가 듭니다.
그런데, 더 심각한 문제점이 있습니다. 여론조사 500명 샘플 수도 너무 적지만, 여론조사를 실시하면서 500명이 100% 투표를 한다는 말도 안되는 '가정법'을 전제로 실시됐기 때문입니다.
아래의 표를 보시죠. 이번 여론조사를 하면서 전화 받은 사람에게 이번 총선에 투표를 할 것이냐고 물어봤습니다. 500명 중 79%만이 총선에 투표를 할 것이라고 응답했습니다.
그러면 500명 중 투표를 하는 사람은 420명 밖에 안됩니다. 유권자가 1만명이 있다고 해서 1만 명의 유권자가 모두 투표를 하지는 않습니다.
선거 결과는 투표를 하지 않은 유권자 수를 고려하지 않습니다. 투표를 한 유권자의 표 숫자만 놓고 결과가 나옵니다. 여론조사가 정확히 이뤄지려면, 투표를 하지 않을 유권자에게 누구를 지지하느냐? 누구에게 표를 던질 것이냐? 이런걸 물어보는 것은 의미가 없습니다.
어차피 이 사람들은 투표를 하지 않을테니까요.
보통 국회의원 선거 투표율은 동시지방선거보다 2% 정도 높게 나옵니다. 지난 지방선거 투표율이 59.8%이므로, 이번 총선 투표율은 대충 62~63%정도 될 겁니다. 물론 투표율이 조금 더 높아질 수도 있고, 조금 더 낮아질 수도 있습니다.
대충 계산을 해보면. 500명 중 300명만 투표를 할 겁니다. 나머지 200명은 투표를 하지 않을 겁니다.
오차범위가 플러스 마이너스 8.8%가 아니라는 겁니다. 300명 밖에 안되는 샘플로 조사한 여론조사라 이런 조사는 '통계적'으로 의미도 없습니다. 발표할 가치도 없는 여론조사입니다.
그런데 우리나라 공영방송 뉴스에서는 이런 저품질 여론조사를 놓고 발표를 합니다. 해석도 엉터리로 합니다. 이게 우리나라 공영방송 기자와 아나운서 수준입니다.
KBS 기자님들, 국민들 주머니에서 월급 털어가는 거 부끄럽지 않습니까?