통계조사의 함정

 "세상에는 세 가지 거짓말이 있다. 그럴듯한 거짓말, 새빨간 거짓말, 그리고 통계이다."

 영국의 황금시대를 이끈 빅토리아 여왕 시대의 총리였던 벤자민 디즈레일리의 말이다. 다양한 통계를 인용해 국민과 정치권을 설득한 사람의 말이라서 그런지 통계의 함정이 더 크게 느껴진다.

 "숫자는 거짓말을 하지 않는다."고 하지만 숫자를 계산하는 사람이 거짓말을 한다면 어떻게 될까? 당연히 그 결과의 값은 크게 달라질 것이다. 사회·정치학자, 그리고 언론인들이 가장 쉽게 의존하고, 그만큼 가장 쉽게 오류에 빠지는 것이 바로 통계자료이다.

 제19대 대통령 5.9 보궐 선거가 여론조사를 통한 '언론 정치'로 얼룩지고 있다. 언론사들이 여론조사 업체에 의뢰해 조사한 결과를 발표하고 이를 받아서 확대재생산 하는 방식의 보도가 되풀이되고 있다.

 한국의 여론조사 방식은 주로 연령별, 성별, 거주지역별 기준에 의한 할당표집 여론조사 방법(3-way quata sampling)이다. 연령별, 성별로 1,000명을 상대로 설문조사를 할 경우 전문가에 따르면, 서울 198명, TK 지역 102명, 광주/전남 101명, 제주 20명 등 전국적으로 1,000명의 표본 집단을 구성해야 통계학적 의미가 있다고 한다. 관건은 응답률이다. 최근 언론과 여론조사기관을 불신하는 사람의 대부분은 여론조사를 기피하거나 비협조적이다. 1,000명의 응답자를 조사하기 위해서 통상 10,000명 이상에게 전화를 걸어야 한다고 한다.

 이 경우에도 무선, 유선, ARS, 면접조사 등의 방법과 시간대에 따라 그 결과가 전혀 다르게 나온다. 무응답자, 결번, 응답 비협조자(중간에 끊는 사람) 등에 관한 판별분석을 통해서 설문 결과에 반영해야 한다. 만일 특정 성향의 정치집단을 대변하기 위해서 특정한 방법으로 특정 연령대와 특정 지역을 집중적으로 조사하거나, 10%의 응답률 수준에서 나온 결과를 진실인 것처럼 발표하면 이는 여론 조사가 아니라, '편승효과(便乘效果)' 또는 '밴드왜건 효과(bandwagon effect)'를 노리는 여론 조작일 수가 있다.

 지난 4.12 보궐선거에서 여론조사 7% 후보가 실제로 47%의 득표로 당선되거나, 설문 8% 지지 정당이 40%를 석권한 것만 보아도 우리나라 설문조사 기관의 전문 직업윤리의 현주소를 미루어 짐작할 수 있다.

 통계는 무조건 진실을 말하지 않는다. 통계학적 원칙을 무시한 설문조사는 공허하다. 부실하거나 특정한 사람의 입맛에 맞게 만들어진 통계는 신뢰를 무너뜨린다. 통계와 숫자를 내세우면 진실이 되기 쉬운 현실에서 살아가려면 '속지 않을 안목'이 필요하다.

 통계학자 게르트 보스바흐는 <통계 속 숫자의 거짓말>이라는 책에서 통계를 대하는 기본원칙 4개를 제시한다. 구체적으로 (1) 기존 자료를 입수해 현 상황과 비교하고, (2) 근거자료를 요청하며, (3) 실제로 파악 가능한 수치인지 검토하고, (4) 자료 출처를 확인해 이해관계가 얽혀있는지 살펴야 한다.

 통계의 함정에 빠지기 쉬운 다섯 가지 입버릇에서도 벗어나야 한다. (1) "시간이 없어", (2) "다들 그렇다고 하니까 맞을 거야", (3) "어차피 내 선에서는 확인 못 해", (4) "구체적인 숫자를 제시한 걸 보니 확실할 거야", (5) "계속 이 추세로 나아가면 그런 결론이 나올 거야"가 바로 그것이다.