여론조사의 선택편향에 대한 간단한 예제

여론조사의 조사대상의 선정

여론조사는 근래들어 응답률을 높이기위해 유선이 아니라 무선전화를 통한 조사가 대부분인데, 이때 무선전화번호는 통신3사에서 랜덤하게 선정된 번호와 대응되는 가상번호를 받게 된다.

여론조사기관은 통신3사에서 이 가상번호 목록을 받아 연락을 돌리게 된다. 무선전화번호로는 피조사자의 정보를 알 수 없기 때문에 조사에 응하는 피조사자에게는 지역, 성별, 나이를 먼저 묻는다. 이렇게 수집된 기본정보는 모집단의 정보와 비교 계산하여 가중치를 만들고 모집단 구성과 비교적 유사하게 조정하는 작업을 거치게 된다. 예컨대 남성의 비율이나 부산의 인구 비율 등이 모집단의 비율보다 작다면 가중치로 비율을 높여주는 조정을 하는 것이라 보면 된다.

여론조사 표본의 비확률적 특성

그러나 애초부터 통신3사에서 받은 가상번호 목록들은 잘 알려진 모집단의 정보(지역, 성별, 나이)와 무관하게 선택된 것이므로 목록 자체가 전혀 확률적이지 않다는 문제가 있다.

다음으로 여론조사에 응할 수 있는 사람과 응하지 못하는 사람으로 갈리는 점도 비확률적 특성이다. 예컨대 생산직, 서비스직, 배달직, 집배원 등의 직업인들은 대체로 무선전화 연락을 잘 받지 못할 뿐더러 조사를 위한 시간적 여유를 내기도 어렵다는 점은 분명하다. 이로 인해 일부 직업인들이 여론조사에서 배제될 수 있다.

마지막으로 여론조사에 응하는 정치적 의도가 있는 경우이다. 조사 결과가 발표될 정치적 효과에 대해 예상하는 바에 따라 여론조사에 응할 가능성이 높은 경우이다. 최근 탄핵반대 여론 비중이 높아진 이유가 보수결집과 유관한 현상이라는 의견이 있다.

이런 문제를 선택편향(Selection Bias)이라고 한다.

선택편향이 기초통계에 미치는 영향에 대한 간단한 예제

선택편향이 조사결과에 얼마만큼의 영향을 주는가에 대한 건 알기 어렵다. 예컨대 이것을 알려면 정확한 여론에 대한 예측모델이 필요할 것이다. 하지만 그런 것이 있었다면 사회조사 분야는 돈방석에 앉았을 것이다.

아주 간단한 예제를 통해 이와 관련한 기초통계에 어떤 영향을 미치는지 확인해볼 수 있다. R프로그래밍을 통해 이 문제에 대해 접근해보자. 먼저 기초통계가 달리 나타나는 3개의 그룹이 있다고 가정하자.

그룹1 = 평균 : 0, 분산 : 1
그룹2 = 평균 : 1, 분산 : 2
그룹3 = 평균 : -1, 분산 : 3

여기서 그룹2를 선택하는 경우 다음과 같이 평균과 분포형태가 Total 결과와 다르게 나타나는 것을 확인할 수 있다.

group2를 선택한 경우 히소트그램의 비교표

아래는 해당 예제의 코드이다.

set.seed(1917)

n <- 1000
e1 <- data.frame(error = rnorm(n, mean=0, sd=1), group = 'group1')
e2 <- data.frame(error = rnorm(n, mean=1, sd=2), group = 'group2')
e3 <- data.frame(error = rnorm(n, mean=-1, sd=3), group = 'group3')
e <- rbind(e1,e2,e3)
e <- e[sample(1:nrow(e)), ]

e_mean <- mean(e$error)
e_red <- e$error[e$group == 'group2']
e_red_mean <- mean(e_red)

layout(matrix(c(1,1,2,3), 2, 2, byrow = T)) 
layout.show(n=3)
plot(e$error, pch=19, col=factor(e$group), main='Total group')
legend("bottomright",legend=levels(factor(e$group)),fill=factor(levels(factor(e$group))), pch=19)
hist(e$error, col='gray', main='Total')
abline(v=e_mean, col=2, lwd=2)
hist(e_red, col='red', main='group2 sector')
abline(v=e_red_mean, col=1, lwd=2)

결론

여론조사의 선택편향 문제를 너무 과장하는 것일 수 있다. 특히 여론조사에 적극 응답하는 열성지지자의 존재의 영향도는 사안 경중과 정세의 강도에 따라 때로는 무시할 수 있다고 생각한다. 그러나 현재의 탄핵정국 상황에서 보수결집 현상이 나타나고 있다는 점을 보면 이런 문제를 감안하여 조사결과를 해석할 필요가 있다고 생각한다.

그러므로 해당 탄핵정국 시기에는 비정기적인 조사보다는 정기적인 조사를 보는 것이 필요하고, 여론의 추세를 더 주요하게 받아들이는 것이 더 유익할 것이라고 생각한다. 다만 이런 추세적으로 보더라도 국민의힘의 지지율이 계엄사태 이후 높아지는 현상은 분명한 사실로 인정해야 한다고 본다. 이런 이상한 현상에 대한 해석은 많은 논의가 필요해보인다. 좀 더 상황을 지켜볼 수밖에 없을듯 하다.

-끝-