Sunday, August 16, 2009

«Философия науки» - приложение. Мое мнение о «Чёрном Лебеде» Нассима Николаса Талеб. Часть I

Пред. Огл. След.

Приложение основано на заметках
http://alexsmail.blogspot.com/2009/04/i.html
http://alexsmail.blogspot.com/2009/04/ii.html
http://alexsmail.blogspot.com/2009/04/iii.html
http://alexsmail.blogspot.com/2009/05/iv.html

Давыдов в который раз прорекламировал книгу Талеба, от него просто тащится. По его наводке я начал читать перевод на русский его книги...

Если попробовать изложить сжато суть, она сводится к трём моментам. Момент первый, асимметрия в нашем понимании окружающего мира. Вот мы выстроили теории, должны ли мы искать её подтверждение или же наоборот попытаться найти её опровержение. Существует явная асимметрия между этими двумя понятиями...

Ниже есть продолжение.


Давайте разберёмся. Талеб приводит в пример индейку, которую откармливают к Дню Благодарения (эта адаптация другого примера для США, но не суть важно). Суть примера состоит в следующем. Индейке каждый день дают зерно для пищи, в первый день, во второй, в девяносто восьмой, в девяносто девятый. А на сотый день её режут, чтобы подать на День Благодарения. Допустим, что индейка может делать логические заключения. Она выдвигает гипотезу «Меня будут каждый день кормить». Теперь, нужно поставить эксперимент, в данном случае сделать наблюдение, для того чтобы подтвердить или опровергнуть эту гипотезу. И вот, индейке накапливает всё больше и больше "подтверждающих" её гипотезу наблюдений, её уверенность в безошибочности гипотезы растёт и когда она достигает максимума, наступает опровержение или «Чёрный Лебедь» по терминологии используемой Талебом. Согласно Талебу индейка должна была изначально искать опровержение гипотезы. Если бы она нашла его, значит однозначно теория неверна, если она не нашла бы, а в реальном примере, индейка не может ставить эксперименты, ограничившись только наблюдениями, значит она бы не нашла до сотого дня опровержение, то это ровным счётом ничего не значит и индейка не может быть уверена в истинности своей гипотезы.

Для того чтобы прояснить ситуацию, Талеб приводит другой пример. Человек приходит к доктору и спрашивает есть ли у него рак. Доктор проводит тщательный осмотр, берёт пробы клеток с разных мест и далее сообщает результат либо: «к сожалению, с полной уверенностью могу констатировать у вас рак, так как я видел раковые клетки» (для того, чтобы упростить пример, представим, что диагностика точна, например, случай, когда раковая клетка оказалось лишь дефектом плёнки исключаем вообще) либо «я не нашёл подтверждения наличия у вас рака». Последнее высказывание это отсутствие доказательства гипотезы «у пациента есть рак», а не доказательство отсутствия. Из первого не следует, строго говоря, второе. Можно лишь с той или иной степенью вероятности констатировать, что гипотеза неверна. Конечно, в общем случае, чем больше будет выборка, чем больше клеток будет осмотрено, тем меньше вероятность ошибки (false negative), но она существует. Если мы искали доказательства и не нашли, это не значит, что его нет, может быть, мы плохо искали. Я ещё вернусь к этому моменту ниже.

...Карл Поппер считал наличие критического эксперимента, эксперимента, который должен дать предсказанный результат, который не может быть выведен из других, общепринятых гипотез и теорий, критерием достоверности научного знания. Если теория выдержала критический эксперимент, то степень нашей уверенности в её использовании возрастает. Если бы индейка могла поставить такой эксперимент, её уверенность в безошибочности своей теории возросла бы и это, признаёт Поппер... Конечно, это не значит, что теория верна. Если не рассматривать альтернативные гипотезы и предположить, что она была подвергнута тщательной проверке, то можно сказать, что она даёт хорошие приближение к действительности.

[Исходная идея... — необходимость опытной проверки логической конструкции. Понятие не может априорно соответствовать действительности. Оно должно приводить к результатам, допускающим соответствие с опытом.
Для подробностей см. главу «Философия науки» - значение Теории относительности Эйнштейна
]

[Мир «как огромная вечная загадка» не совпадает ни с нашими ощущениями, ни с логическими конструкциями. Он противостоит им как независимая реальность. Поэтому познание мира — процесс приближения к истине.

...«Предложение верно, - пишет Эйнштейн, - если оно выведено внутри некоторой логической системы по принятым правилам. Содержание истины в системе определяется надёжностью и полнотой её соответствия с совокупностью ощущений».

Если учесть бесконечную сложность мироздания, то отсюда следует, что никакая логическая непротиворечивая и согласованная с рядом наблюдений теория не может быть гарантирована от дальнейших «актов удивления» и перехода к иной теории...

Для подробностей см. главу «Философия науки» - глазами Эйнштейна]

В будущем, вполне возможно, будет найдено лучшие приближение, как Теория относительности Эйнштейна заменила механику Ньютона, однако пока этого не произошло такая теория является подтверждённой. В этом примере, несмотря на то, что строго говоря, механика Ньютона была фальсифицирована, её всё равно продолжают пользоваться, в рамках её применения, так как она даёт приближение к действительности, достаточное для очень многих приложений... [Здесь я намерено упростил картину, подробное описание см. в главе «Философия науки» - значение Теории относительности Эйнштейна]

Вернёмся к Талебу. Талеб в своей книжке систематически делает одну ошибку, а именно, он считает, что единственным способом доказать гипотезу является перебор всех вариантов. В случае с обнаружением рака у пациента, он считает единственным способ просмотр клеток его организма. Между тем, возможны и иные способа верификации. Чисто гипотетически, возможно, что рак есть следствие врождённой мутации гена (я знаю, что окружающие среда тоже оказывает влияние, но я хочу просто продемонстрировать свою мысль), в таком случае доктору достаточно взять один образец на анализ и исследовать есть ли эта мутация или нет и ему нет нужды осматривать "каждую клетку". В трейдерстве, возможно, это является зачастую единственно возможным способом, но обобщать это всё же стоит с осторожностью.

Во-второй части я приведу несколько примеров с математики, чтобы прояснить свою позицию. Для тех, кто по тем или иным причинам не осилит её, я здесь очень коротко опишу основной вывод.

Мы делаем некоторое утверждение, которое мы хотим проверить. Существует собрание подтверждающих примеров и собрание опровергающих примеров. Эти собрания взаимно не пересекаются. В том случае, когда собрание опровергающих примеров пустое, утверждение верно для всех примеров. В таком случае эффективным методом доказательства будет не наивный перебор всех вариантов, а, скажем, доказательство от противного. В случае, когда собрание опровергающих примеров имеет простую для понимания структуру, например, оно конечно, можно "исправить" первоначальное утверждение и также использовать доказательство от противного. Можно также попробовать применить и другой метод доказательства не наивный перебор всех вариантов и не доказательство от противного.

Пред. Огл. След.

13 comments:

  1. "рак - следствие мутации гена"
    как-бы ничего не меняется. чтобы доказать, что рак может наступить ТОЛЬКО в следствии мутации гена (а только тогда нам будет достаточно одной клетки на обследование), нам надо перебрать ВСЕ случаи заболевания раком и посмотреть на гены.

    так что талеб всё ещё прав. только полный перебор.

    ReplyDelete
  2. Вовсе не обязательно делать перебор. Я об этом и говорю. Может быть накая теория, которая позволит избежать этого. Я просто не хотел приводить пример с математической индукцией. Чтобы доказать некоторое утверждение с ей помощью, вовсе не обязательно проверять его "для всех n", есть "обходной путь".

    Так и тут. ДОПУСТИМ, что у нас есть теория на основе которой мы знаем, что единственная причина рака - это мутация гена (не важно как мы это установили). В таком случае, для того, чтобы узнать есть ли у конретного больного рак не требуется полный перебор.

    А вот, как мы будем доказывать нашу теорию, эту другой вопрос. Показать как это можно сделать в принципе я попытался во второй части, но чтобы её понять надо иметь кое-какие познания в математике, к сожалению.

    ReplyDelete
  3. я и там уже ответил :)

    если мы "отказываемся от реальности", т.е. принимает нечто как аксиому (бездоказательно), то нас ждёт сюрприз.

    а доказать точно без перебора мы _на пока_ не в состоянии (ну мы тут типа придерживаемся агностической точки зрения), т.к. у нас нет досточных знаний о причинах.

    ReplyDelete
  4. Честно говоря, не понял того, что вы тут написали. У нас есть достаточно знаний о том, как правильно мячи гонять в бильярде, к примеру.

    ReplyDelete
  5. ну что тут не понятного-то?

    была аксиома, что "кредиты хорошо" и "спрос будет расти". в итоге кризис. утрирую конечно, но собственно так и есть.

    так же и с раком может быть - мы могли думать, что мутация гена _вызывает_ рак, потому что везде, где был рак, была мутация. но так же мутация (например) могла быть _вызвана_ раком, а причина в чём-то другом.

    ReplyDelete
  6. и про шары - так Талеб же и не говорит, что прямо все-все-все события и процессы надо рассматривать с критической точки зрения.

    во-первых, есть масса процессов, ошибочное трактование которых не сулит ничего плохого.

    во-вторых, есть куча процессов, где наши познания близки к абсолютным - те предположения о природе моментов и импульсов в наших реалиях работают. (чего нельзя сказать о познаниях в экономике)


    так что повторюсь - Талеб пишет про те сферы жизни, где мы блуждаем в потёмках, но почему-то мним себя знающими.

    ReplyDelete
  7. Утрируя, причина кризиса по Телабу в том, что люди тратили больше, чем зарабатывали. Так бесконечно продолжаться не могло, отсюда кризис.

    В чём причина рака я не утверждаю. Я называю её исключительно в целях иллюстрации. Мне важен сам факт того, что возможна теория, которая объясняет его причину. На основании этой теории, без полного перебора можно установить есть рак у конкретного пациента или нет.

    ReplyDelete
  8. Насчёт шаров. Я признаю что на финансовом рынке и, быть может, во всей экономике его идеи работают именно потому что там мы "блуждаем в потёмках", как вы сказали. Я не признаю универсальную ценность его идей, т.е. нужно чётко понимать, что, грубо говоря, Талеб не философ "в полном смысле слова".

    ReplyDelete
  9. а. ну так это... http://ru.wikipedia.org/wiki/%D0%9D%D0%B0%D1%81%D1%81%D0%B8%D0%BC_%D0%9D%D0%B8%D0%BA%D0%BE%D0%BB%D0%B0%D1%81_%D0%A2%D0%B0%D0%BB%D0%B5%D0%B1

    никто ж и не говорит, что он философ... ну, может, кроме давыдова :)

    ReplyDelete
  10. ##Мне важен сам факт того, что возможна теория, которая объясняет его причину. На основании этой теории, без полного перебора можно установить есть рак у конкретного пациента или нет.##

    проблема ж как раз в том, что наша теория _может быть ошибочна_.

    он же как раз и пишет, что была теория - "все лебеди белые". на её основе можно без полного перебора доказать, что этот конкретный лебедь белый. и что?

    ReplyDelete
  11. Не только Давыдов называет его философом. Вот, например, здесь (ссылка правда на иврите, там под пунктом номер 4, озаглавленного как "философ", ну там ещё CNBC написано в тексте, он давал им интервью недавно, проходит как раз Талеб) его называет философом, да и он сам в своей книге претендует на этот статус. А Давыдов молодец, само собой. :-)

    ReplyDelete
  12. "Все лебеди белые" не было теорией. Это было эмпирическим фактом. Не было никаких теоретических обоснований почему лебеди обязаны быть именно белыми. Это именно "область неизведанно", где идеи Талеба работают.

    ReplyDelete
  13. про что ж и речь. если что-то давно и исправно работает, то все забывают, что нет никакого теоретического обоснования и думают, что по-другому просто не может быть.


    более того, вот ты же сам пишешь, что
    ##В XIX веке наука, убедившись в бесконечной сложности мироздания, стала ещё ближе людям. Незыблемые и поэтому питавшие представление об априорности классические законы оказались неточными, на их место стали более точные законы.##

    что это как не подтверждение идей Талеба? чтобы получить идеально работающую теорию нам надо совершить полный перебор условий (диапазоны скоростей, размеров, масс и т.д.)

    законы ньютона работают прекрасно, но как только мы увеличиваем скорость или уменьшаем размер, то ой.

    в общем я, наверное, сворачиваюсь с комментированием. принципиального разногласия нет :)

    приятно было пообщаться

    P.S.: как бы его не пиарили, но думаю Талеб пока не дорос до того, чтоб его садить рядом с Эйнштейном. он не говорит ничего, что до него не говорили агностики

    ReplyDelete