Sunday, February 08, 2009

Опросы - рейтинг вранья - Часть I

Предсказывать будущее, зная прошлое

Спасибом Максиму за предоставленный материал. Большинство информации взято с http://max-dnepr.narod.ru/seker-sheker/seker-sheker.htm




В связи с захлестнувшей нас перед выборами волной опросов, мне захотелось провести сравнение и узнать, кому из социологов можно доверять, а кому совсем наоборот. Это можно сделать, сравнив прошлые опросы с результатами выборов.


Основы


Для начала, разберемся с основными терминами.



Выборка называется случайной, если каждый человек (каждый представитель совокупности) имеет известную ненулевую вероятность быть отобранным.

Можно без особого труда создать случайную выборку, если в распоряжении исследователя имеется полный список всех людей, мнением которых он интересуется. Множество таких людей называется изучаемой совокупностью, или генеральной совокупностью. Создание списка представителей совокупности возможно, когда, например, планируется проведение опроса на предприятии, руководство которого готово предоставить полный список своих сотрудников. В этом случае надо сначала решить, сколько человек будет опрошено, то есть определить размер выборки (иногда говорят “объем выборки”), а затем последовательно отобрать из списка нужное число людей. Для отбора необходимо использовать случайный механизм, обеспечивающий любому человеку из списка равную вероятность попасть в выборку. Полученная таким способом выборка называется простой случайной.

...Например, если вся совокупность, которая насчитывает 10 тысяч человек, на 45% состоит из мужчин и на 55% – из женщин, то в выборке из 1000 человек пропорции мужчин и женщин будут примерно такие же. Конечно, нельзя рассчитывать на то, что мужчин будет ровно 450 человек, а женщин – 550. Возможны случайные отклонения от точных пропорций, но они будут невелики. Величину отклонений можно вычислить по следующей формуле:



Кроме числа людей в выборке n и в совокупности N в формулу входит еще доля p мужчин (или женщин). Число 1,96 соответствует принятому в социологии уровню доверия 95%. Подставим в формулу числовые значения параметров, чтобы вычислить возможные случайные отклонения для доли мужчин в выборке


Получилось, что доля мужчин в выборке может случайно отклоняться от правильного значения 0,45 в пределах ± 0,029, т. е. на ± 2,9%. Иными словами, доля мужчин в выборке может колебаться в интервале от 45% – 2,9% = 42,1% до 45% + 2,9% = 47,9%. Этот интервал называется доверительным интервалом (с уровнем доверия 95%), а величина дельта, равная ± 0,029 или ± 2,9%, называется статистической погрешностью.





http://socreal.fom.ru/?link=ARTICLE&aid=375


Методика подсчета
Поскольку проверить качество опросов можно только зная правильный ответ, т.е. результаты выборов, все остальное время социологи могут нести любой бред, и мы их не можем поймать за руку (как в случае с итнаткутом, по которому так и не было референдума).
Для сравнений я брал опросы за последнюю неделю до выборов, если у конторы несколько опросов - брался последний.
Учитывались только опросы сделанные до голосования, не экзит-поллы. В отличие от последних, результаты опросов, публикующиеся до выборов влияют на наше мнение перед голосованием и давно стали средством пропаганды.
...
[сокращено]

Сухой остаток
"Системы - бессистемные, стандарты - нестандартные,
Пространство - неэвклидово, хрен знает, чьё оно."

(Шаов)

Всеобщие выборы (партии и премьеры): 31 опрос, средняя ошибка 4.6%
Но влево ошибаются чаще (17 против 10 вправо) и больше: средняя ошибка левых опросов - 6.3%, средняя ошибка вправо - 3.5%, почти вдвое меньше.
Итого: каждый опрос в среднем ошибается на 2.3% влево.
Это подтверждает истину, известную каждому ребенку: опросы подрисовывают пару мандатов левым партиям, но стараются при этом оставаться в каких-то рамках.
Отдельно по партиям и по премьерам картина примерно одинаковая.
На праймериз веселее:
35 опросов, 20 левых, всего 4(!) правых, средняя ошибка 12.1%
Левые ошибаются в среднем на 11%, правые - на 5.9%. В среднем каждый опрос прибавляет 5.6% левым.
В сумме все вместе:
66 опросов, средняя ошибка 8.6%, влево - 8.8%, вправо - 4.2%, в среднем 4.1% влево.


Теперь отдельно по опрос-конторам
Инст. Смита: 6 прогнозов, ср.ошибка 4.49%, (0.72% влево)
Шваким Панорама (Й.Вадана): 5 прогнозов, ср.ошибка 5.74% (0.53% вправо)
Геокартография (А.Дгани): 5 прогнозов, 4.37%, 2.35% влево
эти - самые объективные, дальше - хуже.
Маагар Мохот (И.Кац): 4 прогноза, 5.91%, 7.63% влево
этот тоже относительно неплохо, из-за малого числа опросов сильно тянет вниз ошибка на референдуме, когда опрос был сделан раньше других.
Геллап: 4 прогноза, 6.86% (столько же влево)
Галь хадаш: 4 прогноза, 9.79% (9.37 влево)
Галь хадаш - это бывший Геллап, видно, что смена вывески не изменила концепцию. Из 8-и опросов 7 ошибаются влево. Стабильность - признак класса!
Дахаф (М.Цемах): 15 прогнозов, 7.26%, 4.63% влево.
Из 15-и опросов 10 ошибок влево, 3 вправо. Вот он профессионализм - все в пределах стат.погрешности и в то же время ошибки почти всегда в нужную сторону.
Диалог (К.Фукс): 9 прогнозов, 10.22%, 5.35% влево
Газета для думающих людей помогает думать в нужном направлении. (но на общих выборах все не так плохо - 2 прогноза, ср.ошибка 1.25% влево)
Телесекер: 9 прогнозов, 10.27%, 2.04% влево
Эти считать не умеют, но объективные, чушь несут направо и налево.

Отдельно можно выделить т.н. сложные выборы - когда разница между 1 и 2-м местом составляла меньше 10%. Их, включая 84-й год, было 9 (N3,5,6,9,11,13,14,16,20), 24 опроса.

7 раз конторы угадывали победителя, 13 раз промахивались.
Отличилась тут Мина Цемах - из 7-и попыток 6 неугаданных победителей.


Персональная статистика
Нетаниягу фигурирует в 17 опросах (ПМ+праймериз, не считая 2007-го года, когда соперничества фактически не было), 13 раз ошибка влево, в среднем каждый опрос ошибается на 5.23% не в его пользу.
Перес (сюда также посчитал 1984, хотя там фигурируют партии) - 10 опросов, все(!) в его пользу, в среднем ошибка 9.3%
Фейглин участвовал в 12 опросах, в среднем в каждом получал на 1.66% меньше, чем на самом деле. Учитывая, что всего он набирал в среднем 8.86%, т.е. в каждом опросе на 19% меньше реального результата.

http://max-dnepr.narod.ru/seker-sheker/seker-sheker.htm

No comments:

Post a Comment