Мы считаем, что наш мир во многом логичен и предсказуем, а потому делаем прогнозы, высчитываем вероятность землетрясений, эпидемий, экономических кризисов, пытаемся угадать результаты торгов на бирже и спортивных матчей. В этом безбрежном океане данных важно уметь правильно распознать настоящий сигнал и не отвлекаться на бесполезный информационный шум.
О том, как этому научиться, рассказывает гуру статистики Нейт Сильвер, разработавший систему прогнозов, позволившую дважды максимально точно предсказать результаты президентских выборов почти во всех штатах Америки. Его книга во многом близка исследованиям Нассима Талеба и столь же значима для всех, кто имеет дело с большими объемами данных и просчитывает различные варианты развития событий. И если Талеб говорит о законах зарождения «черных лебедей», Сильвер исследует модели и способы, позволяющие поймать этих птиц в расставленные нами сети. Он обобщает опыт экспертов практиков, изучает различные модели и подходы, позволяющие делать более точные прогнозы. Как и Даниэль Канеман, автор бестселлера Думай медленно… Решай быстро, наблюдая за поведением и мышлением людей, оценивающих неопределенные события, Сильвер утверждает: да, компьютеры незаменимы при работе с огромными массивами данных, но для максимальной точности результатов необходим гибкий человеческий ум и опыт, ведь прогнозирование – это планирование в условиях неопределенности.
Нейт Сильвер. Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет. – М.: КоЛибри, Азбука Аттикус, 2015. – 608 с.
Скачать конспект (краткое содержание) в формате Word или pdf
Купить цифровую книгу в ЛитРес, бумажную книгу в Ozon или Лабиринте
Введение
1970‑е гг. были (выражаясь словами Пола Кругмана) «звездным часом множества теорий, созданных вокруг невероятно небольших объемов данных». Мы начали использовать компьютеры для создания моделей мира, однако нам потребовалось время, чтобы понять, насколько неточными и основанными на предположениях они были. Мы не сразу осознали, что точность, на которую способны компьютеры, не может заменить правильность прогнозов. В эту эпоху мы выдвигали множество смелых предположений в целом ряде областей, начиная от экономики и заканчивая эпидемиологией, и очень часто эти предположения оказывались ошибочными. (Не знаю, что именно имел ввиду автор, но мне вспомнилась Мировая динамика Джея Форрестера. Римский клуб тогда возлагал серьезные надежды на моделирование развития цивилизации на основе методов системной динамики. – Прим. Багузина.)
В наши времена модным стал термин «Большие данные» (см., например, Джон Форман. Много цифр: Анализ больших данных при помощи Excel). По расчетам компании IBM, мы ежедневно создаем 2,5 квинтильона байтов данных, а 90% информации, имеющейся в нашем распоряжении, было получено за последние два года. Этот экспоненциальный рост информации, как и компьютеры в 1970‑е гг., порой представляется нам лекарством от всех болезней. Крис Андерсон, редактор журнала Wired, писал в 2008 г., что сам по себе огромный объем данных способен заменить собой теорию и даже научный метод (подробнее см. Крис Андерсон. Длинный хвост. Эффективная модель бизнеса в Интернете). Книга, которую я написал, стоит на стороне науки и технологии, и я считаю подобную позицию вполне оптимистичной. Однако следует помнить, что мы склонны допускать массу ошибок. Цифры сами по себе не умеют говорить. Именно мы говорим за них. Мы наполняем их смыслом. Я постепенно понял, что предсказания в условиях эры Больших данных оказываются не особенно успешными.
Если бы мне нужно было назвать единственную определяющую черту американцев, я бы назвал веру в то, что мы сами контролируем собственную судьбу. Однако немало неудачных предсказаний было связано с недавним глобальным финансовым кризисом. Наша наивная вера в модели и неспособность понять, насколько сильно они полагаются на довольно хрупкие предположения, уже привела к разрушительным результатам. Многолетнее исследование, проведенное Филипом Э. Тэтлоком из Пенсильванского университета, показало, что даже после того, как политологи заявляли о полной невозможности определенного политического события, оно тем не менее происходило примерно в 15% случаев (подробнее см. Филип Тетлок, Дэн Гарднер. Думай медленно – предсказывай точно).
Человеческий мозг – невероятно интересная вещь; по некоторым данным, он способен хранить до трех терабайтов информации. Однако этот огромный объем представляет собой около одной миллионной от той информации, которая производится в мире каждый день. Поэтому мы должны быть в высшей степени избирательны по отношению к информации, которую нам нужно помнить. Элвин Тоффлер, автор вышедшей в 1970 г. книги Шок будущего, предсказал некоторые последствия того, что он называл «информационной перегрузкой». По его мнению, лучший защитный механизм состоит в том, чтобы упрощать мир в соответствии со своими предубеждениями, хотя сам по себе мир становится все более разнообразным и комплексным. Наши биологические инстинкты не всегда хорошо адаптируются к современному обществу, переполненному информацией. И пока мы не начнем активно изучать собственные предубеждения, польза от дополнительной информации будет ничтожной или даже превратится во вред.
Что можно сказать о предсказании. Предсказания – это неотъемлемая часть нашей жизни. Каждый раз, когда мы выбираем маршрут движения на работу, размышляем о том, стоит ли идти на второе свидание или нужно ли отложить некоторую сумму на черный день, мы делаем прогноз о том, как будут развиваться события в нашем будущем и каким образом наши планы повлияют на вероятность позитивного исхода.
В течение дня каждый из нас делает множество предсказаний, вне зависимости от того, отдает ли он себе в этом отчет. Именно по этой причине данная книга рассматривает предсказание как некий общечеловеческий опыт, а не функцию, которую реализует избранная группа экспертов или практиков. Мы никогда не сможем создавать идеально объективные предсказания. Они всегда будут искажены вследствие нашей субъективной точки зрения.
Предсказание важно, поскольку оно позволяет соединить субъективную и объективную реальности. Эту точку зрения разделял философ науки Карл Поппер. Для него гипотеза не считалась научной, когда ее нельзя было фальсифицировать – иными словами, когда ее можно было протестировать в реальном мире путем прогнозирования (подробнее см. Карл Поппер. Логика научного исследования).
Я не хочу идти так же далеко, как Поппер, и утверждать, что теории, которые мы не можем протестировать, – ненаучны или что в них отсутствует какая-либо ценность. Однако тот факт, что лишь немногие из теорий, которые мы можем проверить, показывают довольно плохие результаты, должен приводить нас к мысли о том, что многие из идей, которые мы не тестировали, могут также оказаться неверными. Вне всякого сомнения, мы живем с иллюзиями, которых даже не понимаем.
Однако нам есть куда двигаться. Возможное решение покоится не на довольно сырых политических идеях – особенно с учетом того, что я рассматриваю нашу нынешнюю политическую систему как значительную часть проблемы. Скорее, решение требует изменения нашего отношения. Это новое отношение воплощается в так называемой теореме Байеса. Эта теорема, по сути, выглядит как математическая формула, но в реальности она представляет собой нечто гораздо более масштабное. Она предполагает, что мы должны думать о своих идеях (и том, как их проверять) иначе. Мы должны почувствовать себя более комфортно в условиях вероятности и неопределенности. Мы должны тщательнее размышлять о предположениях и убеждениях, с которыми связана проблема (см. Идеи Байеса для менеджеров).
Мир прошел долгий путь со времени изобретения печатного пресса. Информация перестала быть дефицитным продуктом; теперь ее у нас невероятно много, и мы не всегда знаем, что с ней делать. Однако по настоящему полезной можно считать сравнительно небольшую ее часть. Мы воспринимаем ее избирательно, субъективно и не придаем значения возникающим в результате искажениям. Мы думаем, что нам нужна информация, хотя на самом деле нам нужно знание. Сигнал – это правда. А шум – это то, что отвлекает нас от правды.
Глава 1. Катастрофически неудачные прогнозы
Кризис 2008 г. часто воспринимают как провал, поражение наших политических и финансовых учреждений. Однако я убежден, что правильнее оценивать финансовый кризис как провал в оценке состояния экономики или катастрофическую ошибку предсказания. Рейтинговые агентства давали рейтинг AAA (обычно зарезервированный для горстки наиболее платежеспособных стран и отлично управляемых компаний нашего мира) тысячам ценных бумаг, обеспеченных закладными. Например, Standard&Poor’s озвучивала инвесторам, что рейтинг AAA у особенно сложного типа ценных бумаг, называемых облигациями, обеспеченных долговыми обязательствами (CDO)[1], означает, что невозможность выплаты по ним в течение следующих пяти лет составляет всего 0,12%. В реальности дефолту подверглось 28% CDO с рейтингом AAA. Это значит, что реальные показатели дефолта для CDO оказались более чем в 200 раз выше, чем предсказывала S&P. И я не думаю, что это ошибка. «Они хотели, чтобы музыка перестала играть».
Проблема рейтинговых агентств состояла в их неспособности или нежелании разобраться в различии между риском и неопределенностью. Риск, как впервые отметил экономист Фрэнк Х. Найт в 1921 г., предполагает, что его можно оценить. Например, при игре в покер. Неопределенность же представляет собой риск, который сложно измерить. Ваша предварительная оценка вероятности может отличиться от истинной в 100 или даже 1000 раз (подробнее см. Фрэнк Хейнеман Найт. Риск, неопределенность и прибыль).
Алхимические действия рейтинговых агентств были направлены на то, чтобы превратить неопределенность в нечто, напоминающее рассчитываемые риски. Они брали никому не известные ценные бумаги с высокой степенью системной неопределенности и заявляли о своей способности дать количественную оценку их рисков.
В обычных условиях инвесторы проявили бы крайнюю осторожность при покупке CDO. «Если вы находитесь на рынке и кто-то пытается продать вам что-то, чего вы не понимаете, – сказал мне Джордж Акерлоф, – то думайте, что вам собираются “продать лимон“». Акерлоф посвятил этому вопросу знаменитую работу под названием Рынок лимонов, принесшую ему Нобелевскую премию. Он показал, что на рынке, пораженном асимметрией информации, качество товаров будет снижаться, доминировать же будут мошенничающие продавцы, пытающиеся облапошить доверчивых или отчаявшихся покупателей.
Ларри Саммерс, занимавший на момент нашей встречи в Белом доме в декабре 2009 г. пост директора Национального экономического совета воспринимает американскую экономику как последовательность петель обратной связи (подробнее см. Обратная связь – основа поддержания и развития). Спрос и предложение представляют собой пример отрицательной обратной связи: если цены идут вверх, продажи падают. Обычно отрицательная обратная связь доминирует в американской экономике, ведя себя подобно термостату, предотвращая скатывание в рецессию или перегрев. Саммерс считает, что одним из самых важных примеров обратной связи является то состояние, которое возникает при необходимости выбирать между тем, что он называет страхом и алчностью. Одни инвесторы не любят рисковать, а другие обожают это делать, однако их действия, обусловленные соответствующими предпочтениями, уравновешивают друг друга: если цена на акции падает вследствие ухудшения финансового положения компании, то опасающийся инвестор продает акции алчному и стремящемуся заняться данным промыслом.
Однако алчность и страх представляют собой достаточно волатильные качества, и баланс между ними может оказаться нарушенным. Когда в системе становится слишком много алчности, появляется пузырь.
В случае значительных ошибок в прогнозировании специалисты обычно говорят о том, что «данные находятся за пределами выборки». Представьте себе, что вы – очень хороший водитель – за 30 лет водительского стажа (то есть совершив 20 тыс. поездок) вы пару раз легко наехали на бордюры. Вы не злоупотребляете алкоголем и уж точно никогда не садитесь за руль пьяным. Однако как-то раз вы расслабляетесь на рождественской вечеринке в офисе, выпив 12 дринков. Что лучше – поехать домой, сев за руль, или же вызвать такси?
Ответ кажется очевидным – взять такси. Однако вы начинаете руководствоваться иной логикой. Из 20 тыс. поездок вы спокойно добрались до места назначения в 19 998 случаях. Вероятность на вашей стороне. Проблема состоит в том, что ни в одной из этих 20 тыс. поездок вы не находились в состоянии столь сильного опьянения. Размер вашей выборки для оценки успеха при вождении в нетрезвом состоянии равен не 20 тыс., а 0, и вы не сможете использовать свой прежний опыт для предсказания риска аварии в будущем.
Однако большинство из тех, кто составляет прогнозы, как правило, избегает проблем, находящихся за пределами выборки. Расширяя выборку и включая в нее события, отделенные от нас пространством и временем, мы часто сталкиваемся с примерами того, что изучаемые связи выглядят совсем не так, как мы привыкли видеть. Наша собственная модель начинает казаться куда более слабой и смотрится уже куда менее впечатляюще при ее презентации (в статье в журнале или посте в блоге). Мы вынуждены признать, что знаем о мире значительно меньше, чем нам казалось. И наши личные и профессиональные стимулы почти всегда препятствуют подобному расширению выборки.
Глава 2. Кто умнее: вы или «эксперты» из телевизионных передач?
Филип Тэтлок, преподаватель психологии и политологии, работавший в то время в Калифорнийском университете в Беркли, начиная с 1987 г. принялся собирать прогнозы, сделанные обширной группой экспертов из научных кругов и правительства по широкому кругу вопросов внутренней политики, экономики и международных отношений. Тэтлок обнаружил, что политическим экспертам было довольно сложно предвидеть развал СССР. Многие ученые осознавали отдельные части проблемы, однако мало кто из экспертов мог собрать все кусочки головоломки воедино, и практически никто не был способен предсказать внезапный коллапс СССР.
Была ли неспособность предсказать коллапс Советского Союза исключением, и заслуживает ли своих лавров «экспертный» политический анализ? Исследования Филипа Тэтлока, проводившиеся свыше 15 лет, были опубликованы в 2005 г. в книге «Знания экспертов: Насколько мы можем им верить?» (не издавалась на русском языке). Выводы Тэтлока оказались убийственными. Эксперты в рамках его опросов демонстрировали ничуть не лучшие результаты, чем можно получить при обычном гадании.
Тэтлок задавал несколько вопросов в личностных тестах всем экспертам. Он смог классифицировать экспертов в соответствии с определенной шкалой, распределив их между так называемыми ежами и лисами. Разделение на эти две группы напрямую связано с названием эссе Исайи Берлина о русском писателе Льве Толстом. Берлин, в свою очередь, позаимствовал его из строки, приписываемой греческому поэту Архилоху: «Лис знает много секретов, а еж – один, но самый главный» (подробнее см. Исайя Берлин. История свободы. Россия, Еж и лиса. Эссе о взглядах Толстого на историю).
«Ежи» – это те люди, которые верят в Большие Идеи или управляющие миром принципы. «Ежи» приравнивают их к законам физики, универсальным для каждого вида взаимоотношений в обществе. Можно вспомнить Карла Маркса и идею классовой борьбы или Зигмунда Фрейда и идею бессознательного. Или же Малкольма Гладуэлла и теорию переломного момента. «Лисы» же, напротив, верят во множество мелких идей и предлагают разнообразные подходы к решению проблем. Они более терпимы к нюансам, неопределенности, сложности и противоречивым мнениям. Если «ежи» – это охотники, всегда ищущие большую добычу, то «лисы» – это собиратели. «Лисы», как обнаружил Тэтлок, умеют предсказывать значительно лучше, чем «ежи».
Я в прогнозировании на FiveThirtyEight использую три принципа (которые можно назвать «лисьими»). (1) Почти все публикуемые мной прогнозы, как в политике, так и в других областях, являются вероятностными. Вместо того чтобы «выплеснуть» одну цифру и утверждать, что я точно знаю, что произойдет далее, я показываю диапазон возможных результатов (рис. 1).
Рис. 1. Прогноз количества мест республиканцев в Конгрессе США на 2 ноября 2010 г.
«Ежи» Тэтлока очень плохо понимают суть этих вероятностей. Выводы психологов Даниэла Канемана и Амоса Тверски показывают, что субъективные оценки не всегда соответствуют реальности. У людей могут возникнуть проблемы при оценке различия между вероятностью благополучного приземления самолета, составляющей 90 %, и вероятностью в 99 % или даже в 99,9999 %. Хотя совершенно очевидно, что от этого напрямую зависит, стоит ли нам бронировать билет на самолет (подробнее см. Канеман, Словик, Тверски. Принятие решений в неопределенности: Правила и предубеждения).
(2) Еще одно заблуждение состоит в том, что хороший прогноз не следует изменять. «Когда меняются факты, меняется и мое мнение», – говорил знаменитый экономист Джон Мейнард Кейнс. (3) Ищите консенсус. Существует довольно много свидетельств тому, что совокупные, или групповые, прогнозы являются более точными, чем индивидуальные (см., например, Джеймс Шуровьески. Мудрость толпы).
В этой книге я очень тщательно подхожу к использованию понятий объективное и субъективное. Порой слово объективное ассоциируется с количественным, но это не всегда так. Напротив, оно означает способность не ограничиваться нашими личными предубеждениями и изучать истинное положение дел с той или иной проблемой. Везде, где имеется человеческое суждение, возможно и появление предубеждений. Чтобы стать более объективным, нам стоит признавать влияние, которое имеют наши предположения на прогнозы, и критически к ним относиться.
Глава 3. Все, что меня интересует, – это победы и поражения
Сколько я себя помню, я всегда был фанатом бейсбола и бейсбольной статистики. В течение двух лет после окончания колледжа я жил в Чикаго и работал консультантом по трансфертному ценообразованию в компании KPMG. Работа довольно неплохая. Но в ней было слишком мало риска, она оказалась чересчур разумной и рутинной для неугомонного 24 летнего человека, и мне стало скучно. Поэтому в свое свободное время я начал создавать разноцветную таблицу, заполняя ее бейсбольной статистикой. Разработанный мною алгоритм использовал метод сравнения набора игроков, называемый метод ближайшего соседа (подробнее см. Джон Форман. Много цифр: Анализ больших данных при помощи Excel).
Но может ли статистика сказать вам все, что вы хотите узнать об игроке? Довольно поверхностное, но распространенное мнение о книге Moneyball состоит в том, что это рассказ о конфликте между двумя конкурирующими группами – «статистиками» и «скаутами». Жизнь показала, что оба подхода важны.
Глава 4. Вы столько лет говорили нам, что дождь – зеленый
Увеличение мощности компьютеров никоим образом не улучшило качество прогнозирования землетрясений или процессов в экономике. Однако в метеорологии наметился значительный и даже примечательный прогресс. И во многом он был вызван именно ростом мощности суперкомпьютеров.
Исторически существовало две школы мыслителей. Одна из них была связана со св. Августином и кальвинизмом». Согласно этой философии, люди способны предсказывать предстоящие события, однако они не могут ничего сделать для того, чтобы их изменить. Все происходит в соответствии с божьим планом. Это направление противоречит идеям иезуитов и Фомы Аквинского о том, что у нас имеется свобода воли (см. также Сэм Харрис. Свобода воли). И вопрос состоит, в конечном итоге, в том, считаем ли мы мир предсказуемым или непредсказуемым.
Дискуссии о предсказуемости в том или ином виде обрели новую жизнь во времена Возрождения и промышленной революции. Идея научного детерминизма приобретала множество форм, но мало кто способствовал ее развитию так же сильно, как французский астроном и математик Пьер Симон Лаплас. В 1814 г. Лаплас выдвинул постулат, впоследствии ставший известным под названием «Демон Лапласа»:
Мы можем рассматривать настоящее состояние Вселенной как следствие его прошлого и причину его будущего. Интеллект, который был бы способен в каждый определенный момент времени познать все силы, приводящие природу в движение, и положение всех элементов, из которых она состоит, и если бы этот интеллект был бы достаточно сильным, чтобы проанализировать все эти данные, он смог бы объять единым законом и движения величайших тел во Вселенной, и движения крошечных атомов; для этого интеллекта ничто больше не казалось бы неопределенным, а будущее, как и прошлое, оказывалось бы прямо перед его глазами, подобно настоящему.
Против точки зрения детерминистов выступали сторонники вероятностного подхода, считающие, что существуют ограничения на взаимодействия человека и природы. Недавно, благодаря открытиям в области квантовой механики, ученые и философы задались вопросом, а не ведет ли себя сама Вселенная вероятностным образом.
Даже если прогнозируете поведение не квантового объекта, например, погоду, детерминированную на молекулярном уровне, у вас всё равно возникнут проблемы, связанные с теорией хаоса. Возможно, вам доводилось слышать выражение «взмах крыльев бабочки в Бразилии может привести к торнадо в Техасе». Изначально это было частью заглавия научной работы, представленной в 1972 г. преподавателем Массачусетского технологического института Эдвардом Лоренцем, который начинал свою карьеру как метеоролог. Теория хаоса применима в отношении систем, для которых справедливы два утверждения (подробнее см. Джеймс Глейк. Хаос. Создание новой науки, Илья Пригожин. Порядок из хаоса):
- системы динамичны, что означает, что поведение системы в один момент времени влияет на ее поведение в будущем;
- системы нелинейны, иными словами, в них поддерживаются скорее экспоненциальные, а не аддитивные связи.
Один из основных постулатов теории хаоса гласит, что небольшое изменение в начальных условиях может привести к масштабному и неожиданному развитию последующих событий. Это не значит, что поведение системы случайно. Это всего лишь значит, что поведение систем определенного типа достаточно сложно предсказать. Изменения погоды представляют собой проявление динамической системы, а, следовательно, наши прогнозы оказываются в высшей степени уязвимы к неточностям в исходных данных.
Хороший прогноз погоды:
- должен оказаться лучше, чем тот, что следует из так называемого метеорологами постоянства: то есть из предположения о том, что завтра (и в последующие дни) погода будет такой же, как и сегодня.
- должен оказаться лучше, чем тот, что следует из климатологии, то есть лучше прогноза, сделанного на основе анализа долгосрочных исторических средних климатических условий на конкретную дату в конкретном месте.
Один из самых важных тестов любого прогноза носит название калибровки. Насколько часто сбывались ваши прогнозы о том, что вероятность выпадения осадков составляет 40%? Если в долгосрочной перспективе дождь действительно шел примерно в 40% случаев, это значит, что ваши прогнозы хорошо откалиброваны. Если на самом деле дождь шел в 20 или 60% случаев, о хорошей калибровке говорить не приходится. По сути, такой подход предполагает борьбу с чрезмерной уверенностью в себе, которая в немалых дозах присутствует у большинства прогнозистов (подробнее о калибровке см. Дуглас Хаббард. Как измерить всё, что угодно. Оценка стоимости нематериального в бизнесе). Оказалось, что прогнозы Национальной службы погоды на удивление хорошо откалиброваны (рис. 2).
Рис. 2. Оценка калибровки прогнозов Национальной службы погоды – расхождение между прогнозируемым и реальным выпадением осадков
Глава 5. В отчаянных поисках сигнала
Когда случается катастрофа, мы принимаемся искать сигнал в шуме – мы ищем хоть какое-то объяснение окружающего нас хаоса и пытаемся вновь навести порядок в мире. Часто мы отыскиваем весьма неоднозначные заявления, которые предшествовали трагедии. Не следует забывать, когда предсказаний сотни, какие-то сбываются.
Официальная позиция службы геологии, геодезии и картографии США (USGS) состоит в том, что землетрясения невозможно предсказать. Однако их можно спрогнозировать. Предсказание – это конкретное и детальное заявление о том, когда и где ударит землетрясение: 28 июня в Киото, Япония, произойдет сильное землетрясение. Прогноз же представляет собой вероятностное заявление, обычно рассматривающие возможность события в течение более длительного периода: вероятность землетрясения в Южной Калифорнии в ближайшие 30 лет составляет 60%.
Теория, созданная Чарльзом Рихтером (автором известной шкалы землетрясений) и его коллегой из Калифорнийского технологического института Бено Гутенбергом в 1944 г., основана на эмпирической статистике землетрясений. Согласно ей, существует сравнительно простая связь между магнитудой землетрясения и частотой его возникновения (рис. 3).
Рис. 3. Зависимость частоты землетрясений в год от их магнитуды по всему миру, январь 1964 г. – март 2012 г.; логарифмическая шкала
Предположим, к примеру, что мы хотим составить прогноз землетрясений для иранской столицы Тегерана. К счастью, с момента начала сейсмологических замеров в этом регионе не было никаких катастрофических землетрясений. Однако за период между 1960 и 2009 гг. в окрестности города произошло около 15 землетрясений с магнитудой от 5,0 до 5,9 балла. Иными словами, в среднем одно подобное землетрясение происходит раз в три года. Согласно выводам Гутенберга и Рихтера, это значит, что в Тегеране примерно раз в 30 лет может произойти землетрясение с магнитудой, величина которой находится между значениями 6,0 и 6,9 балла. Также из этого следует, что раз в 300 лет в районе Тегерана может произойти землетрясение с магнитудой от 7 баллов. Поскольку в Иране низкий контроль над соблюдением строительных норм, политическая коррупция и высокая плотность населения, количество жертв может составить от 2 до 3 млн.
Когда статистики ошибаются и принимают шумы за сигнал, они называют это оверфиттингом – слишком хорошей подгонкой (в статистике так называют модель, которая слишком хорошо работает на одном массиве данных и плохо на других, в то время как она должна описывать общие закономерности для всех массивов). Когда мы не знаем истинную закономерной у нас появляется множество причин, по которым мы будем склоняться к оверфиттингу. Математик Джон фон Нейман говорил об этой проблеме так: «Кривую с четырьмя параметрами я могу подогнать под слона, а с пятью – я заставлю слона махать хоботом». Ошибки оверфиттинга, как правило, представляют собой вполне искренние заблуждения. Если воспользоваться названием другой книги, то они отражают нашу склонность быть одураченными случайностью (см. Нассим Талеб. Одураченные случайностью).
Глава 7. Ролевые модели
Экстраполяция является одним из основных методов прогнозирования, порой слишком простым. В сущности, это предположение о том, что текущая тенденция будет развиваться и в будущем, причем до бесконечности. Некоторые самые известные неудачные предсказания были сделаны именно вследствие слишком вольного обращения с подобным предположением.
Во многих случаях, связанных с предсказаниями деятельности человека, сам факт создания предсказания может повлиять на поведение людей. Иногда, как и в экономике, эти изменения в поведении могут повлиять и на результат прогноза, либо аннулировав его, либо, напротив, повысив его точность. Заболевания и другие медицинские обстоятельства также могут обладать свойствами самореализации. Когда те или иные медицинские аспекты широко обсуждаются в СМИ, люди чаще начинают находить у себя соответствующие симптомы, а врачи чаще диагностируют ту или иную болезнь. Наиболее известный пример такого случая, наблюдаемый в последние годы, связан с аутизмом (рис. 4).
Рис. 4. Аутизм: освещение в СМИ и количество поставленных диагнозов, 1992–2008 гг.
Глава 8. Все меньше, и меньше, и меньше неточностей
Успешные игроки – а также успешные прогнозисты любого рода – не рассчитывают на то, что в дальнейшем их ожидают беспроигрышные ставки. Напротив, успешные игроки рассматривают будущее как крупицы вероятностей, растущих и снижающихся, подобно тикеру на фондовом рынке, в ответ на каждый новый элемент информации. Когда проведенные ими расчеты показывают, что вероятность выиграть значительно превышает вероятность проиграть, они могут сделать ставку.
Например, когда Вулгарис сделал ставку, предполагалось, что вероятность выиграть титул НБА командой Lakers составляет 13%. Вулгарис не считал, что вероятность победы – 100 % или даже 50 %, он просто был уверен, что в реальности она выше 13 %. Возможно, он допускал, что ее значение даже превышает 25%. И если расчет Вулгариса был верным, ставка теоретически могла принести ему прибыль на уровне 70 тыс. долл. (рис. 5).
Рис. 5. Оценка Вулгарисом возможных последствий ставки на LAKERS
Томас Байес был английским священником, родившимся в начале XVIII в. Наиболее знаменитая его работа «Очерки к решению проблемы доктрины шансов» была опубликована только после его смерти. В работе рассматривался вопрос о том, как мы формулируем вероятностные представления о мире, сталкиваясь с новыми данными. Суть идеи Байеса состоит не в том, что мир всегда оценивается в вероятностях или степенях неопределенности. Байес говорил о том, как нам следует изучать Вселенную. Мы учимся новым представлениям о ней с помощью аппроксимаций, оказываясь ближе и ближе к истине по мере того, как мы собираем все больше свидетельств.
Самое точное математическое выражение того, что в наши дни считается теоремой Байеса, было разработано французским математиком и астрономом Пьером Симоном Лапласом (подробнее см. Пьер Симон Лаплас. Опыт философии теории вероятностей). Почему же Лаплас так увлекся теорией, основанной на вероятности? Причина заключается в разрыве между совершенством природы и нашим человеческим несовершенством в измерении и понимании ее. Если философская подоплека теоремы Байеса удивительно глубока, то ее математика потрясающе проста. Теорема Байеса прямо связана с условной вероятностью. Иными словами, она позволяет рассчитать вероятность какой-либо теории или гипотезы, если произойдет какое-либо событие.
Допустим, вы женщина и, вернувшись домой из командировки, обнаруживаете незнакомую пару нижнего белья в своем гардеробе. Какова вероятность того, что ваш партнер вас обманывает?
Рис. 6. Пример расчета вероятности измены по теореме Байеса
Когда мы априорно в чем-то уверены, мы можем проявить удивительную гибкость даже при появлении новых свидетельств. А вы бы оценили вероятность измены близкой к 100%? К сожалению, мы склонны ориентироваться на самую новую или самую доступную информацию, и общая картина начинает теряться.
Когда мы не можем думать подобно истинным байесовцам, ложноположительное срабатывание начинает представлять собой проблему не только для маммографии, но и для всей науки. Ложноположительное срабатывание может доминировать в результатах любых исследований, если только мы не будем достаточно внимательны и осторожны. На рис. 7 представлено графическое отображение этой картины. Так, 80% истинных научных гипотез вполне справедливо признаются истинными, а около 90% неверных гипотез совершенно справедливо отвергаются. Тем не менее, поскольку истинные открытия возникают крайне редко, оказывается, что около двух третей выводов, которые мы считаем правильными, на самом деле оказываются ложными!
Рис. 7. Графическое отображение ложноположительного срабатывания
Почему же доля ошибок так велика? Причин можно назвать много: отчасти они связаны с нашими психологическими предубеждениями, отчасти – с распространенными методологическими ошибками, а отчасти – с неправильно выстроенными стимулами.
Английский статистик и биолог по имени Рональд Эймлер Фишер был, возможно, основным интеллектуальным соперником Томаса Байеса (подробнее см. Фишер. Статистический вывод). Возможно, Фишер в большей степени, чем кто-либо еще, отвечает за то, какими статистическими методами мы широко пользуемся в настоящее время. Фишер и его современники критически относились к байесовскому априорному значению. Оно казалось им слишком субъективным: мы должны заранее предусмотреть, насколько вероятным мы считаем какое-то событие, прежде чем пуститься в эксперименты? Не противоречит ли это понятиям объективной науки?
Идея Фишера («фреквентизм») состоит в том, что неопределенность в статистической проблеме возникает исключительно из-за того, что сбор данных производится на выборке, а не на всей популяции. В результате возникает так называемая ошибка выборки. Ошибка выборки – единственный тип ошибки, которому фреквентисты дают право на существование. Однако организации, занимающиеся опросами, стабильно демонстрируют искажение в сторону той или иной партии. С тем же успехом они могли бы опросить все 200 млн взрослых американцев и все равно получить неверные результаты. Байес разобрался с этими проблемами уже 250 лет назад. Если вы используете искаженный инструмент, то не важно, как много измерений вы произведете, вы неправильно сформулировали цель.
Наибольшая проблема состоит в том, что фреквентистские методы – в своем стремлении создать безупречные статистические процедуры, которые не могут быть испорчены предубеждениями самого исследователя, – вынуждают его герметично закрываться от реального мира. Эти методы не позволяют такому исследователю изучить глубокий контекст или ущербные черты своей гипотезы, то есть то, чего требует байесовский метод в форме априорной вероятности.
Вулгарис считается одним из лучших азартных игроков в мире в наши дни – он угадывает результаты правильно лишь примерно в 57 % случаев. Добиться более высокого результата исключительно сложно. Именно на эту небольшую прибыль и живут игроки, проводящие время как за покерным столом, так и на фондовом рынке. Предложенное Фишером понятие статистической значимости, слишком вольно отсекающее те или иные факты вне зависимости от контекста для определения уровня «значительности», несколько грубовато для людей, делающих ставки на спорт. (Было обнаружено, что из за присутствия доверительного интервала в 95% в статистическом тесте – традиционной для Фишера разделительной линией между «важным» и «не важным» – исследователи значительно чаще сообщают о результатах, укладывающихся в доверительный интервал 95,1%, чем о результатах с 94,9%. И, как мне кажется, эта практика связана скорее с суеверием, чем с наукой.)
Одно из свойств теоремы Байеса состоит в том, что наши убеждения должны сближаться друг с другом – и приближаться к истине – по мере того, как нам со временем предоставляется все больше свидетельств. На рис. 8 я показал в качестве примера, как три инвестора пытаются определить, находятся ли они на «бычьем» или «медвежьем» рынке.
Рис. 8. Сближение по методу Байеса
Сначала инвесторы имеют совершенно различные наборы убеждений. Однако я имитировал такую ситуацию, что, хотя ежедневные колебания и носят случайный характер, в долгосрочной перспективе рынок растет в течение 60% времени. Несмотря на то что на этой дороге есть свои ухабы, со временем все инвесторы точным образом определяют, что находятся на «бычьем» рынке, с уверенностью почти 100% (но не с абсолютной).
Моя критика ошибок статистического подхода Фишера не является чем-то новым. Однако пока что идеи Фишера доминируют. Тем не менее недавно целый ряд уважаемых статистиков начал утверждать, что фреквентистскую статистику не нужно преподавать студентам младших курсов университетов. В некоторых профессиональных изданиях было официально объявлено об отказе в публикации результатов исследований, основанных на гипотезе Фишера. Фактически, если прочитать все написанное за последние 10 лет, то сложно найти материалы, не защищающие байесовский подход.
Глава 11. Если вы не можете их переиграть…
Из курса Экономики следует, что сделка рациональна только в том случае, когда обе стороны оказываются в выигрыше. Однако на Уолл-стрит этой логике в наши дни следует крайне мало сделок. Большинство из них отражает различие мнений, то есть противоречащие друг другу прогнозы относительно будущей отдачи от акций. Никогда прежде в истории человечества предсказания не создавались так быстро и не обходились так дорого. Почему торговля акциями порой достигает определенных оборотов, остается одной из величайших тайн в области финансов. Все больше и больше людей считает, что они могут создавать более верные прогнозы, чем коллективная мудрость рынка. Ведут ли эти трейдеры себя рационально?
Свободный рыночный капитализм и теорема Байеса являются производными одной и той же интеллектуальной традиции. Адам Смит и Томас Байес были современниками, оба учились в Шотландии, и оба находились под большим влиянием философа Дэвида Юма. «Невидимую руку» Смита можно представить себе в виде байесовского процесса, в котором цены постепенно корректируются в ответ на изменения уровня спроса и предложения, со временем достигая определенного равновесия. Либо же байесовскую логику можно представить в форме некой «невидимой руки», которая помогает нам постепенно изменять и совершенствовать свои убеждения и делать ставки в случаях, когда мы не приходим к согласию. Оба этих процесса направлены на поиск консенсуса и основаны на мудрости толпы. Из этого следует, что рынки должны быть особенно успешны в создании предсказаний. Именно это и представляет собой фондовый рынок – набор прогнозов о будущих доходах и дивидендах компаний.
Одна из основных мыслей этой книги заключается в том, что если мы хотим делать более точные прогнозы, то должны принять ошибочность своих суждений. И любые рынки допускают ошибки в той мере, в которой они отражают наше коллективное суждение. В реальности рынок, создающий идеальные предсказания, невозможен с точки зрения логики.
Существуют достаточно сильные эмпирические и теоретические свидетельства, что в агрегированном изучении различных прогнозов есть свои преимущества. Однако следует учитывать три обстоятельства. Во-первых, хотя агрегированный прогноз будет, в сущности, всегда лучше, чем обычный индивидуальный прогноз, это не значит, что он обязательно будет хорошим.
Во-вторых, целый ряд свидетельств показывает, что данный принцип мудрости толпы работает, когда прогнозы сначала делаются независимо и лишь затем усредняются. В рынке с реальными ставками (включая фондовый рынок) люди могут и действительно реагируют на поведение друг друга. В условиях, когда толпа начинает вести себя более динамично, групповое поведение становится более сложным. В-третьих, хотя агрегированный прогноз и лучше типичного индивидуального, он не всегда оказывается лучше, чем лучший из индивидуальных прогнозов.
Юджин Фама закончил школу бизнеса Чикагского университета, где в 1965 г. умудрился опубликовать свою докторскую диссертацию. Изучая результаты работы десятков взаимных фондов за 10 летний период с 1950 по 1960 г., Фама обнаружил, что фонды, показывавшие отличные результаты в один год, не могли повторить этот успех в следующем году. Работа Фамы заложила основу для гипотезы эффективного рынка. Основной постулат этой теории состоит в том, что движение фондового рынка непредсказуемо лишь до определенной степени. Некоторые инвесторы неминуемо будут опережать других в течение коротких периодов времени. Однако, как заявил Фама, они не могли сформулировать достаточно хорошие предсказания, позволяющие обыгрывать рынок в долгосрочной перспективе.
Однако основная критика Фамы была направлена на людей, которых он называл «чартистами», – людей, заявляющих о своей способности предсказать направление движения цен на акции, основываясь исключительно на прошлых статистических закономерностях. Таких людей совершенно не беспокоило, имеет ли компания прибыль или не выползает из убытков. Им было не важно, продает она самолеты или гамбургеры (более вежливое название для такого рода занятий – технический анализ). Возможно, нам стоит пожалеть бедных чартистов – отличить шум от сигнала не всегда просто. Однажды принстонский экономист Бертон Малкиэль попросил своих учеников бросать монетку и составить таблицу случайных значений, а затем показал ее техническому аналитику, а тот настоял на немедленной покупке соответствующих акций.
Изучив достаточно большой объем данных, Фама уточнил свою гипотезу, выделив три различных случая. Прежде всего, существует слабая форма гипотезы эффективного рынка. Согласно ей, цены на фондовом рынке не могут быть предсказаны на основании анализа одних лишь статистических закономерностей прошлого. Иными словами, техники чартистов обречены на поражение.
Средняя форма утверждает, что фундаментальный анализ, то есть изучение общедоступной информации о финансовой отчетности компании, ее бизнес моделей, макроэкономических условий и т. д., также обречен на поражение и не способен обеспечить отдачу на уровне, превышающем среднее значение по рынку.
И, наконец, существует сильная форма гипотезы эффективного рынка, согласно которой даже частная информация – инсайдерские секреты – вскоре найдет свое отражение в рыночных ценах и не сможет обеспечить отдачу выше средней (эта версия гипотезы не всегда верна).
В своем изначальном виде теория утверждала обратное – фондовый рынок фундаментально и масштабно непредсказуем. А когда что-то по-настоящему непредсказуемо, никто: ни ваш парикмахер, ни инвестиционный банкир, зарабатывающий по 2 млн долл. в год, – неспособен постоянно его переигрывать.
Стадный инстинкт имеет весьма глубокие психологические причины. Чаще всего, принимая значимые для дальнейшей жизни решения, мы хотим, чтобы в них поучаствовали члены нашей семьи, соседи, коллеги и друзья – и даже наши конкуренты, если они изъявят такое желание.
Обычно эвристическое правило «следуй за толпой, особенно если не знаешь лучшего выхода» работает довольно хорошо. Тем не менее, наши действия не отменяют ошибки друг друга, что и предполагает идея мудрости толпы, а скорее усиливают их, в результате чего ситуация полностью выбивается из-под контроля. Слепой ведет слепых, а в результате все падают вниз со скалы. Это явление возникает достаточно редко, однако обладает крайне разрушительной силой.
Во время лекций по экономике некоторые преподаватели, в первую очередь те, кто желает собрать себе немного денег на обед, часто проводят следующий эксперимент. Они проводят аукцион, в ходе которого учащиеся делают свои ставки, касающиеся количества монеток в банке. Студент, сделавший самую высокую ставку, платит ее преподавателю и выигрывает все. Почти всегда выигравший участник обнаруживает, что заплатил за свой выигрыш слишком много. Хотя некоторые из ставок слишком малы, а другие почти правильны, чаще всего заплатить приходится тому студенту, который слишком переоценил количество монеток; то есть худший из прогнозистов забирает «приз». Такая ситуация известна как «проклятие победителя». Похожая ситуация наблюдается и на фондовом рынке.
Ричард Талер – друг и коллега Фамы – был среди самых активных исследователей дисциплины, называемой поведенческой экономикой и считавшейся «бельмом на глазу» у сторонников гипотезы эффективного рынка. Поведенческая экономика указывает на целый ряд примеров из реальной жизни, в которых трейдеры ведут себя не так благостно, как в рамках модели (см., например, Ричард Талер. От Homo economicus к Homo sapiens). На рынках присутствует явная асимметрия – пузыри проще обнаружить, чем взорвать. А это означает, что привычный в стране Байеса ультиматум – если вы на самом деле думаете, что рынок потерпит крах, почему бы вам не сделать на это ставку? – не всегда применим в реальном мире, где имеются ограничения на торговлю и размер капитала. Как сказал Джон Мейнард Кейнс, «рынок может продолжать оставаться нерациональным дольше, чем вы – платежеспособным».
В реальности гипотеза эффективного рынка естественным образом обречена на провал. Если бы все инвесторы верили в теорию – в то, что они не могут заработать деньги на торговле, поскольку переиграть фондовый рынок невозможно, – на рынке не осталось бы ни одного участника, желающего заключить сделку, и рынок как таковой прекратил бы свое существование.
Инвесторы должны научиться делать противоположное тому, что подсказывает им инстинкт «борись или убегай». Когда рынок рушится, самое время воодушевиться и вложить в него деньги. Проблемы у большинства инвесторов возникают в результате действия когнитивных обходных путей – нашей эвристики. Идея о том, что если что-то растет сейчас, то оно будет расти и дальше, основана исключительно на инстинкте.
Обычно рынки совершенно правы, но иногда они оказываются совершенно неправыми. Кстати, в этом состоит одна из причин, почему пузыри в реальном мире лопаются с таким большим трудом. Иногда у вас может появиться великолепная возможность открывать короткие позиции по пузырю или в условиях продолжительной паники каждые 15 или 20 лет, когда подобные события возникают в активах, с которыми вы работаете. Однако сделать на этом удачную карьеру крайне сложно, поскольку вам придется годами выжидать удобного случая. (Нассим Талеб, построивший работу одного из фондов на основе ожидания «черного лебедя», не смог его дождаться, см. Как ожидание катастрофы стало инвестиционной стратегией.)
Глава 12. Климат здорового скептицизма
На рис. 9а один из сигналов выделяется и распознаётся гораздо лучше, чем другие. Именно таким может представляться нам мир после атаки или неудавшегося предсказания. Мы можем увидеть сигналы – письменные свидетельства, повторяющиеся события и другие предвестники. Как после Перл-Харбор, так и после 11 сентября лишь немногие американцы считали, что сигналы были настолько очевидны, что правительство должно было знать об атаке. (Теорию заговора можно представить, как самую ленивую форму анализа сигналов.) Однако закономерности обычно выглядят несколько иначе до того, как событие произошло (рис. 9б).
Рис. 9. Конкурирующие сигналы: (а) один из сигналов выделен; (б) ни один из сигналов не выделен
Томас Шеллинг пишет о нашей склонности путать малознакомое и маловероятное. Возможности, которые мы не рассматриваем всерьез, кажутся странными, странное – маловероятным, а маловероятное не стоит рассматривать всерьез (см. также Томас Шеллинг. Микромотивы и макроповедение).
Существуют известные факторы. Это – то, о чем мы знаем, что мы это знаем. Существуют известные неизвестные. Это – то, о чем мы знаем, что мы это не знаем. Но еще существуют неизвестные. Это – то, о чем мы не знаем, что мы об этом не знаем. Дональд Рамсфелд
Если мы задаем себе вопрос и можем дать на него точный ответ, это – известное. Если мы задаем себе вопрос и не можем дать на него точный ответ, это – известное неизвестное. Неизвестное – это ситуация, когда мы даже не задумываемся о том, чтобы задать вопрос.
Отчет комиссии по терактам 11 сентября выделил четыре типа системных ошибок, повлиявших на нашу неспособность оценить важность этих сигналов, включая политические и управленческие ошибки. К самой важной категории были отнесены недостаточно гибкое мышление и плохое воображение. Сигналы не соответствовали нашим обычным гипотезам о том, как ведут себя террористы. Поэтому, влетая в одно ухо, они беспрепятственно вылетали из другого.
Интуитивный процесс, называемый Дэниелом Канеманом эвристикой доступности, предполагает, что нам свойственно преувеличивать вероятность событий, происходящих ближе к нам в пространстве и времени, и недооценивать вероятность тех, что от нас далеки. Возможно, это и затуманило наши суждения (подробнее см. Даниэль Канеман. Думай медленно… решай быстро).
Если нарисовать график (рис. 10), по одной из осей которого отложить количество терактов, а по другой – количество жертв, то поначалу может показаться, что из него вряд ли удастся извлечь что-то полезное.
Рис. 10. Соотношение частоты террористических атак в странах НАТО и количества жертв, 1979–2009 гг. (линейная шкала)
Данные проще понять, если представить их в логарифмическом масштабе (точнее, в двойном логарифмическом масштабе, как на рис. 11, где и вертикальная, и горизонтальная оси – логарифмические). Соотношение между частотой и силой атак образует более-менее прямую линию. Из некоторых свойств степенного закона вытекают очень важные выводы. В частности, из его применения к терроризму следует, что катастрофы большего масштаба, чем уже произошедшие, действительно возможны, даже если и случаются достаточно редко. Данные подсказывают, что атака масштаба 11 сентября не должна была быть невообразимой. Степенной закон распределения демонстрирует, что в будущем вполне допустимы события большего масштаба, чем все происходившее раньше. Тот факт, что они нам незнакомы, – плохой советчик, когда дело касается их вероятности.
Рис. 11. Соотношение частоты террористических атак в странах НАТО и количества жертв, 1979–2009 гг. (логарифмическая шкала)
Теорема Байеса начинается и заканчивается выражением вероятности реального события. Она не требует веры в то, что мир по сути своей неопределен. Однако от вас лишь потребуется принять тот факт, что ваши субъективные воззрения на мир представляют собой лишь примерное отображение истины.
Вероятностный элемент байесовского метода может на первый взгляд показаться неудобным. Нас вряд ли учили думать подобным образом, если только мы не выросли, играя в карты или другие азартные игры. (Любопытно! Уж не потому ли мне так интересна теория вероятностей в целом, и байесовский подход, в частности, что всё свое детство и юность я играл в карты. – Прим. Багузина) Школьная математика уделяет большую часть времени изучению абстрактных предметов – алгебры и геометрии, а не элементам теории вероятности и статистике. Во многих ситуациях в жизни неопределенность воспринимается как слабость.
Теорема Байеса утверждает, что нам следует каждый раз при появлении новой информации обновлять прогнозы. С менее буквальной версией этой идеи мы все знакомы: это обычный метод проб и ошибок. Теорема Байеса призывает нас быть дисциплинированными в том, как мы «взвешиваем» новую информацию. Если наши идеи чего-то стоят, мы должны быть готовы проверять их, выдвигая гипотезы, которые можно опровергнуть, и прогнозы, которые можно проверить временем. Как правило, мы не способны осознавать, как много шума в данных, и предвзято делаем ставку на новейшую информацию. Но мы можем размышлять и совершенно по-другому, когда слишком вкладываемся в проблему, как в личном, так и в профессиональном плане, и нам бывает тяжело изменить свое мнение, когда факты этого требуют.
Чтобы отличить сигнал от шума, необходимы как научное знание, так и знание себя самого, а также спокойствие, чтобы принять то, что мы не можем предсказать, смелость, чтобы предсказать то, что можем, и мудрость, чтобы понять разницу между ними.
[1] CDO (collateralized debt obligation) – финансовая или банковская облигация, обеспеченная долговыми обязательствами, – обобщающее понятие для различных типов облигаций, обеспеченных пулом долговых обязательств, принадлежащих эмитенту, например, пулом облигаций, выданных кредитов или ипотек и т.д.