Перейти к содержимому

Филип Тетлок, Дэн Гарднер. Думай медленно – предсказывай точно

Работы Филипа Тетлока широко цитируются, но ранее не издавались на русском языке. И вот, новую работу Филипа Тетлока в соавторстве с научным журналистом Дэном Гарднером, уже называют самой важной книгой о принятии решений со времен Думай медленно – решай быстро Даниэля Канемана. На огромном, остро актуальном материале современной геополитики авторы изучают вопрос достоверности самых разных прогнозов – от политических до бытовых – и предлагают практичную и эффективную систему мышления, которая позволит воспитать в себе умение делать прогнозы, которые сбываются. Правильно расставлять приоритеты, разбивать сложные проблемы на ряд мелких и вполне разрешимых, поиск баланса между взглядом снаружи и изнутри проблемы – вот лишь несколько лайфхаков, которые помогут вам правильно предсказывать будущее!

Филип Тетлок, Дэн Гарднер. Думай медленно — предсказывай точно. Искусство и наука предвидеть опасность. – М.: АСТ, 2018. – 384 с.

Filip Tetlok Den Gardner. Dumaj medlenno. Oblozhka

Скачать краткое содержание в формате Word или pdf (конспект составляет около 7% от объема книги)

Купить цифровую книгу в ЛитРес, бумажную книгу в Ozon или Лабиринте

Глава I. Скептик-оптимист

В 1972 году американский метеоролог Эдвард Лоренц написал статью с заголовком, приковывавшим внимание: «Предсказуемость: может ли бабочка, взмахнувшая крыльями в Бразилии, вызвать торнадо в Техасе?». За десять лет до этого Лоренц случайно обнаружил, что крошечные вариации в компьютерной имитации погодных условий (например, округление 0,506127 до 0,506) могут вызвать существенные изменения в прогнозах на отдаленное будущее. Это открытие вдохновило создание теории хаоса: в нелинейных системах, таких как атмосфера, даже маленькие изменения изначальных условий могут стремительно вырасти до огромных пропорций.

Эдвард Лоренц обратил внимание ученых на серьезную ограниченность предсказуемости, затронув тем самым глубоко философский вопрос. Веками считалось, что растущее количество знаний должно вести к большей предсказуемости; что поскольку реальность похожа на часы, пусть потрясающе огромные и сложные, но все таки часы, – то чем лучше ученые станут разбираться, как они устроены, как крутятся их шестеренки, как функционируют пружины и гири, тем легче будет описать их действия детерминированными уравнениями и предсказать, что эти «часы» будут делать. В 1814 году французский математик и астроном Пьер Симон Лаплас довел эту мечту до логического завершения:

Мы можем рассматривать настоящее состояние Вселенной как следствие его прошлого и причину его будущего. Разум, которому в каждый определенный момент времени были бы известны все силы, приводящие природу в движение, и положение всех тел, из которых она состоит, будь он также достаточно обширен, чтобы подвергнуть эти данные анализу, смог бы объять единым законом движение величайших тел Вселенной и мельчайшего атома; для такого разума ничего не было бы неясного, и будущее существовало бы в его глазах точно так же, как прошлое.

В наши дни ученые знают гораздо больше, чем их коллеги столетие назад, и обладают гораздо большими мощностями для обработки данных, однако гораздо меньше верят в возможность абсолютной предсказуемости. В мире, где бабочка в Бразилии может заменить солнечный техасский день на бушующий в городе торнадо, ошибочно считать, что кому-нибудь под силу заглянуть далеко в будущее .

Однако не со всеми прогнозами дела обстоят так плохо. Прогнозирование чего-либо зависит от того, что именно мы пытаемся предсказать, на какой отрезок времени и при каких обстоятельствах. Метеорологи постоянно делают прогнозы и проверяют их на точность. Прогноз, замер, исправление. Повторить. Идет непрестанный процесс пошагового улучшения, объясняющий, почему прогнозы погоды хороши и постепенно становятся все точнее. Во многих других важных областях чаще же всего бывает так, что прогнозы делают, но дальше с ними ничего не происходит. Их точность если и проверяется, то определенно не с той частотой и тщательностью, чтобы можно было делать какие-то выводы.

Глава II. Иллюзии знания

Мы слишком быстро приходим к определенному мнению и слишком медленно его меняем. И если не обращать внимания на то, как именно мы совершаем эти ошибки, то они будут повторяться постоянно.

Вплоть до совсем недавнего (в исторических масштабах) времени у больного человека, как правило, шансы выздороветь оказывались выше, если он не мог обратиться за медицинской помощью, – ибо безопаснее было дать болезни идти своим чередом, чем допустить вмешательство доктора. И методы лечения, сколько бы ни проходило времени, практически не улучшались. Когда в 1799 году заболел Джордж Вашингтон, лечившие его светила медицины делали ему бесконечные кровопускания, заставляли принимать ртуть, чтобы добиться диареи, вызывали рвоту и утыкали кожу старика банками, чтобы появились кровоподтеки. Врач в аристотелевских Афинах, в нероновском Риме, в средневековом Париже или в елизаветинском Лондоне одобрительно кивнул бы, услышав о столь чудовищном плане лечения.

Например, Гален, врача II века н. э., служивший при римских императорах, говорил: «Все, кто пьют это средство, быстро выздоравливают. За исключением тех, кому средство не помогает, – они все умирают. Совершенно очевидно, что оно не помогает только в неизлечимых случаях».

К открытию лекарства от самоуверенности докторов невероятно близко удалось подойти в 1747 году, когда британский корабельный врач Джеймс Линд разбил двенадцать страдающих от цинги матросов на пары и назначил каждой разное лечение: уксус, сидр, серную кислоту, морскую воду, протертую кору и цитрусы. Двое матросов, которым давали цитрусы, быстро поправились. Однако, этот момент не стал эврикой, давшей толчок эпохе экспериментирования. И лишь в XX веке идея исследований методом случайной выборки, тщательных замеров и статистических подсчетов получила широкое распространение.

Сейчас это кажется до смешного очевидным, ведь в наши дни исследования методом случайной выборки – обычное дело. Однако первое их появление вызвало революцию, потому что до того момента медицина никогда не была наукой.

Описывая механизм человеческого мышления и принятия решений, современные психологи часто пользуются моделью, которая разделяет вселенную наших мыслей на две системы. Система 2 – прекрасно знакомая область сознательного, которая состоит из всего, на чем мы обычно сосредотачиваемся. О системе же 1 нам практически ничего не известно, кроме того, что это область автоматических перцептивных и когнитивных операций.

Стандартная процедура принятия человеком решения такова: система 1 выдает ответ, а система 2, «включаясь» чуть позже, подвергает его проверке. Всегда ли система 2 вовлекается в эту процедуру? Краткий ответ – нет. Это нормальное человеческое поведение, мы привыкли полагаться на догадки и интуицию. Система 1 следует примитивной психологической логике: если что то ощущается как правильное, то так оно и есть. Как сформулировал Даниэль Канеман: «система 1 создана, чтобы делать поспешные выводы из минимума данных».

Определяющее свойство интуитивного суждения – нечувствительность к качеству данных, на которых оно строится. Для системы 1 эти автоматические установки так важны, что Канеман дал им громоздкое, но на удивление запоминающееся название ЧВТИЕ (что вижу, то и есть). Конечно, система 1 не может решать все, что ей захочется. Наш мозг требует порядка, а потому он придумывает истории, которые придают миру осмысленность.

Побуждение к объяснению возникает с завидной регулярностью – скажем, каждый раз, когда закрывается фондовый рынок и мы слышим что то вроде: «Индекс Доу Джонса вырос сегодня на 95 пунктов из за новостей о том, что…» Зачастую даже быстрой проверки достаточно, чтобы выяснить, что новости, которые якобы повысили индекс, на самом деле появились значительно позже его повышения. И трудно придумать случай, чтобы можно было услышать: «Рынок сегодня вырос по любой из сотни разных причин или из-за их сочетания, так что никто толком ничего не знает».

Как все люди, ученые обладают интуицией. Но ученых учат осторожности. Они знают, что, как бы ни хотелось назвать выношенную идею Истиной, нужно сначала дать слово альтернативным объяснениям. И всегда следует серьезно рассматривать вероятность того, что изначальная догадка неверна.

Однако научная осмотрительность противоречит сути человеческой натуры. У людей есть природная склонность хвататься за первое подходящее объяснение и радостно собирать подтверждающие его доказательства, не проверяя их на достоверность и пропуская факты, не укладывающиеся в теорию. Психологи называют такое поведение предвзятостью подтверждения.

Прогнозирование XXI века порою очень сильно смахивает на медицину XIX столетия. Есть теории, утверждения и дискуссии. Есть уверенные в себе и хорошо оплачиваемые знаменитости. Однако практически нет того, что можно назвать наукой, а в итоге мы знаем гораздо меньше, чем могли бы.

Глава III. Ведение счета

Прогнозирование – это оценивание вероятности того, что что-то произойдет. При оценивании прогнозов нужно решить три проблемы: указать срок, дать четкое определение понятий, определить степень вероятности. Шерман Кент, аналитик ЦРУ предложил заменить неопределенные слова числами:

Ris. 1. Tochnost

У чисел есть преимущество: неопределенные мысли легко выражать неопределенным языком, однако, когда прогнозисты вынуждены оперировать числами, им приходится тщательно обдумывать свое мнение, прежде чем озвучить его. Этот процесс называется метапознанием. Практикующиеся в нем прогнозисты начинают лучше видеть тонкую разницу между разными степенями неопределенности.

При серьезном отношении к оценкам и улучшениям в прогнозах нужно указывать четко определенные термины и временные рамки. Они должны использовать числа. И еще один необходимый момент: прогнозов должно быть много. Когда мы располагаем множеством вероятностных прогнозов, мы можем оценить их в совокупности. Это называется калибровка.

Ris. 2. Kalibrovka

Рис. 2. Калибровка: а) идеальная, б) недостаток уверенности, в) переизбыток уверенности; чтобы увеличить изображение кликните на нем правой кнопкой мыши и выберите Открыть картинку в новой вкладке

Математическая основа системы оценки прогнозирования была разработана Гленом В. Брайером в 1950 году. Результаты показывают дистанцию между вашим прогнозом и тем, что на самом деле случилось. Чем ниже результаты, тем лучше. Идеал – ноль. Прогноз 50 на 50 или произвольное угадывание в целом даст результат Брайера 0,5. Прогноз, максимально неверный, – то есть такой, в котором утверждается, что событие произойдет с вероятностью 100 %, а оно не происходит, – получает результат 2,0.

Этим я и начал заниматься в середине 1980-х. Я завербовал 284 серьезных профессионала, дипломированных эксперта, зарабатывающих на жизнь анализом политических и экономических тенденций и событий. Вопросы для прогнозов задавали временные рамки от одного до десяти лет вперед и затрагивали различные темы, поднимающиеся в текущих новостях: политических и экономических, местных и международных. Наши эксперты сделали примерно 28 тысяч предсказаний. Окончательные результаты появились в 2005-м. Я опубликовал их в трактате «Экспертное политическое суждение (Expert Political Judgment, EPJ)».

По результатам EPJ эксперты разделились на две статистически отличающиеся группы. Первая не смогла подняться выше произвольного угадывания. Вторая группа лишь слегка превзошли простые алгоритмы вроде «всегда предсказывай отсутствие изменений» или «предсказывай текущий уровень изменений». И все же, каким бы скромным ни был их дар предвидения, он имелся. Основным фактором их успеха было то, как они думали.

Первую группу объединяла крайняя идеологизированность мышления. Они пытались уместить комплексные проблемы в облюбованные ими причинно следственные шаблоны, а все, что не помещалось, отбрасывали как помехи, не имеющие отношения к делу. В результате эксперты были необычайно уверены в себе и имели большую склонность объявлять вещи «невозможными» или «непременными».

Вторая группа состояла из более прагматичных экспертов, которые пользовались множеством аналитических инструментов, выбор которых зависел от конкретной проблемы, с которой они сталкивались. Эти эксперты собирали как можно больше информации из как можно большего количества источников. Они говорили не об уверенности, а о возможностях и вероятностях.

Философ Исайя Берлин написал эссе, в котором сравнил стили мышления великих авторов разных эпох: «Лиса знает много разного, а еж – одно, но важное». В моем исследовании лисы превзошли ежей. EPJ выявило закономерность: чем более знаменит эксперт, тем менее он точен. Не потому, что редакторы, продюсеры и публика выискивают плохих прогнозистов – они выискивают ежей, которые по природе своей плохие прогнозисты. Воодушевленные своими Большими Идеями, ежи рассказывают простые, яркие, четкие истории, которые захватывают и удерживают аудиторию.

Люди обычно тревожатся, сталкиваясь с неопределенностью, а «может быть» подчеркивает эту неопределенность жирным красным карандашом. Простота и уверенность ежей портят способность к предвидению, зато успокаивают нервы аудитории. Лисы не так успешны в СМИ. Их истории сложны, полны «но» и «однако», потому что они смотрят на проблему с одной стороны, потом с другой и с третьей. Эта агрегация множества ракурсов плохо смотрится на телевидении, зато хороша для прогнозирования. На самом деле она составляет его сущность.

В 1906 году легендарный британский ученый сэр Фрэнсис Гальтон отправился на деревенскую ярмарку и понаблюдал, как люди по виду живого быка угадывали, какой у него будет вес после того, как его «забьют и освежуют». Их средний вариант – то есть коллективное суждение – был 1197 фунтов: на один фунт меньше, чем оказалось в действительности – 1198 фунтов. Это была самая ранняя демонстрация феномена, популяризованного в бестселлере Джеймса Шуровьески Мудрость толпы.

Однако коллективное суждение не всегда более точно, чем индивидуальные предположения. Лисы используют не одну аналитическую идею, а множество, и ищут информацию не в одном источнике, а во многих. Все это они затем синтезируют в один вывод. В сущности они делают то же, что и толпа Гальтона: интегрируют разные ракурсы и содержащуюся в них информацию. В теории количество ракурсов безгранично. Поэтому лучшая метафора для этого процесса – зрение стрекозы. Их глаза представляет собой огромную выпуклую сферу, поверхность которой покрыта крошечными линзами. В зависимости от разновидности стрекозы в одном глазе может находиться до 30 тысяч таких линз. Информация от этих тысяч уникальных ракурсов поступает в мозг стрекозы, где преобразуется в такое потрясающее зрение, что стрекоза одновременно видит практически все во всех направлениях, причем с такой ясностью и точностью, что это позволяет ей с большой скоростью ловить летающих насекомых.

К сожалению, агрегация не дается легко. Мы не рассматриваем альтернативные точки зрения и тогда, когда очевидно, что это следует сделать, – например, за покерным столом. «Вот простой пример, – говорит Энни Дьюк, знаменитый игрок в покер, профессионал, победительница Мировой серии покера и бывшая аспирантка на кафедре психологии. – Любой, кто играет в покер, знает, что можно сбросить карты, ответить или поднять ставку. И если игрок, который не очень хорошо разбирается в игре, видит, что другой игрок поднимает ставку, он автоматически думает, что у игрока сильные карты – как будто размер ставки каким-то образом соотносится с тем, какие у игрока карты». Это ошибка. Дьюк учит влезать в шкуру оппонента. И новички начинают понимать, что с сильной картой не поднимают ставки.

Посмотреть на реальность не изнутри, а снаружи, действительно под другим углом – сложная задача. Вместе с тем, моя модель лис/ежей – не дихотомия. Люди могут думать и действительно думают по-разному в разных ситуациях: они могут быть, например, бесстрастными и расчетливыми на работе, но импульсивными и интуитивными при совершении покупок. К тому же наши мыслительные привычки могут меняться, эволюционируя иногда незаметно для нас самих. Но мы также можем приложить усилия и переключить рычаги с одного режима на другой.

Глава IV. Суперпрогнозисты

В 2006 году было создано Агентство передовых исследований в области разведки (IARPA). Летом 2010 г. IARPA решила спонсировать масштабный турнир, чтобы выяснить, кто сможет изобрести лучшие методы для производства прогнозов, подобных тем, которые разведывательные аналитики делают каждый день. План IARPA заключался в том, чтобы с помощью турниров стимулировать лучших исследователей делать точные вероятностные оценки для вопросов из обитаемой зоны. Команды исследователей будут соревноваться друг с другом и с независимой контрольной группой.

Благодаря IARPA мы теперь знаем, что несколько сотен обычных людей и обычная математика могут не просто соревноваться с профессионалами, находящимися на службе многомиллиардной организации, но и превосходить их.

Даг Лорч, седобородый лысеющий очкарик, на вид совершенно не представляет угрозы. Он выглядит как программист – и он действительно был программистом в IBM. К концу первого года общий результат Брайера у Дага был 0,22, что позволило ему занять пятое место среди 2800 участников проекта «Здравое суждение». На второй год Даг присоединился к команде суперпрогнозистов и показал даже лучший окончательный результат Брайера – 0,14, что сделало его лучшим прогнозистом из всех 2800 добровольцев.

Но Даг не уникален. Из числа 2800 добровольцев было еще 58 человек, которые заняли верхние позиции в итоговых таблицах первого года. Их коллективный результат Брайера составил 0,25 – в сравнении с 0,37 остальных прогнозистов.

В 1994 году Джим Коллинз и Джерри Поррас написали Построенные навечно. Успех компаний, обладающих видением, в которой исследовалась история 18 образцовых компаний и на основе этого исследования была разработана «отличная модель для компаний, которые будут долгое время процветать». Эта книга пользовалась большой популярностью и заслужила много похвал. Однако, как заметил профессор по бизнесу Фил Розенцвейг, если бы Коллинз и Поррас были правы, мы бы как минимум могли ожидать, что 18 описанных компаний будут продолжать успешную деятельность. Коллинз и Поррас закончили исследование в 1990 году, и Розенцвейг проверил, как обстояли дела у этих компаний в течение десяти лет с того момента. «Вы бы получили больше прибыли, если бы вложили деньги в паевой фонд, чем в провидческие компании Коллинза и Порраса»! И снова на сцене шимпанзе, играющий в дартс.

Так что же мы должны думать об успешных прогнозистах? Они суперпрогнозисты или суперсчастливчики? Это еще одна назойливая фальшивая дихотомия. Большая часть вещей в жизни включает в себя мастерство и удачу в различных пропорциях. Эту проблему глубоко исследовал глобальный финансовый стратег Майкл Мобуссин. Некоторые статистические концепции одновременно легко понять и легко забыть. Регрессия к среднему значению – одна из них.

Допустим, вы страдаете от хронической боли в спине. День на день не приходится: иногда вы чувствуете себя хорошо, иногда боль терпимая, но периодически становится ужасной. Конечно, именно в тот день, когда испытываете ужасную боль, вы решите обратиться к гомеопату или какому-нибудь другому распространителю медицинских услуг, не подтвержденных научными доказательствами. На следующий день вы просыпаетесь и… чувствуете себя лучше! Лечение работает! Возможно, тут подействовал эффект плацебо – но возможно и то, что вы почувствовали бы себя лучше, даже если бы вообще не получили никакого лечения, благодаря регрессии к среднему значению. Этот факт просто не приходит вам в голову, если вы не задумаетесь как следует.

Таким образом, регрессия к среднему значению – незаменимый инструмент в тестировании степени удачи в показателях: Мобуссин отмечает, что медленная регрессия чаще наблюдается в деятельности, в которой доминирует мастерство, быстрая же больше ассоциируется со случайностью.

Чтобы проиллюстрировать это утверждение, давайте представим себе двух людей, участвующих в турнире IARPA, – Фрэнка и Нэнси (рис. 3). В течение первого года Фрэнк выдавал ужасные результаты, а Нэнси – выдающиеся. На гауссовой кривой внизу Фрэнк помечен нижним показателем 1 %, а Нэнси – верхним показателем 99 %. Если их результаты были вызваны исключительно удачей – как с подбрасыванием монетки, – в течение второго года мы можем ожидать, что Фрэнк и Нэнси регрессируют к среднему значению, т. е. к 50 %. Если их результаты были в равных долях обусловлены мастерством и удачей, мы можем ожидать половинчатую регрессию: Фрэнк поднимется примерно до 25 % (между 1 и 50 %), а Нэнси опустится до 75 % (между 50 и 100 %). Если же их результаты полностью зависели от мастерства, не будет никакой регрессии: Фрэнк проявит себя так же ужасно в течение второго года, а Нэнси будет все так же блистать.

Ris. 3. Regress k srednemu

Рис. 3. Регресс к среднему

Глава V. Суперумные?

Мы изучили уровень интеллекта и эрудиции 2800 прогнозистов. Обычные прогнозисты продемонстрировали показатели по интеллекту и эрудиции выше, чем у 70% населения США. Результаты суперпрогнозистов были еще лучше: выше, чем у 80% населения. Но требуемый уровень интеллекта и эрудиции – это еще не все. Главное – не способность решать задачи. Главное – то, как вы эту способность используете.

Вот вопрос, который определенно не задавался на турнире прогнозистов: сколько в Чикаго настройщиков пианино? Итало-американский физик Энрико Ферми, центральная фигура в изобретении атомной бомбы, придумал эту маленькую тренировку для мозга за несколько десятилетий до изобретения интернета. Ключевым действием должно было стать «вскрытие» вопроса другими вопросами, из серии «что должно быть правдой, чтобы это произошло?». Я смогу ответить на этот вопрос, если буду знать четыре факта:

  1. Количество пианино в Чикаго.
  2. Как часто пианино настраиваются.
  3. Сколько времени занимает настройка пианино.
  4. Сколько часов в неделю работает среднестатистический настройщик.

Для прогнозиста владение методом Ферми – огромное преимущество.

Первым делом – взгляд снаружи. Чтобы проиллюстрировать метод, начнем с вопроса по поводу семьи Ренцетти. Ренцетти живут в небольшом доме. Франку Ренцетти 44 года, он работает бухгалтером в компании по грузоперевозкам. Мэри Ренцетти – 35, она работает неполный день в детском саду. У них один ребенок, Томми, ему пять. Насколько вероятно, что у Ренцетти есть домашнее животное? Чтобы ответить на него, большинство людей сразу начнут присматриваться к семейным деталям. Но суперпрогнозисты не станут их рассматривать – по крайней мере сначала. Первое, что они сделают, – выяснят, какой процент американских семей владеет домашними животными.

Предпочитать взгляд изнутри – естественно. Он обычно отличается конкретностью и наполнен привлекательными деталями, из которых можно сконструировать историю. Взгляд снаружи, как правило, абстрактен, лишен деталей и не подходит для сочинения историй. Так что даже умные, состоявшиеся люди регулярно забывают принимать его во внимание.

Возможно, вы задаетесь вопросом, почему именно взгляд снаружи должен идти первым. Что мешает углубиться сначала во взгляд изнутри и сделать выводы, а потом уже обратиться ко взгляду снаружи? Разве такой способ не сработает? К сожалению, нет, скорее всего, не сработает. Причина заключается в базовой психологической концепции, которая называется якорением.

Делая подсчеты, мы, как правило, начинаем с какого-то числа и «настраиваем» его. Число, с которого мы начинаем, называется якорем. Суперпрогнозист, который начинает работу, углубляясь во взгляд изнутри, рискует, что его уведет в сторону число, не имеющее практически или совсем никакого смысла. Но если человек сперва займется взглядом снаружи, его анализ начнется с осмысленного якоря. А хороший якорь – очевидное преимущество.

Для супепрогнозистов убеждения – это гипотезы, которые нужно тестировать, а не сокровища, которые нужно охранять. Активная непредвзятость (АН) – концепция, разработанная психологом Джонатаном Бароном. Тест Барона на АН предлагает согласиться или не согласиться со следующими утверждениями:

  • Люди должны принимать во внимание свидетельства, которые идут вразрез с их убеждениями.
  • Полезнее обращать внимание на тех, кто с тобой не согласен, чем на тех, кто с тобой согласен.
  • Изменение мнения – признак слабости.
  • Интуиция – лучший ориентир для принятия решений.
  • Важно держаться своих убеждений, даже если сталкиваешься со свидетельствами против них.

Вполне предсказуемо, что суперпрогнозисты получили высокие результаты в тесте Барона.

Глава VI. Суперкванты?

Суперпрогнозисты хорошо умеют обращаться с цифрами. На Уолл-стрит математических волшебников называют квантами. Хотя суперпрогнозисты и правда периодически создают сложные математические модели, это бывает редко. Подавляющее большинство их прогнозов – продукты тщательных размышлений и сбалансированных суждений.

Амос Тверски однажды пошутил: «у большинства людей есть только три установки: «случится», «не случится» и «может быть, случится».

Люди справлялись с неопределенностью с самого зарождения человечества. И все это время мы не имели доступа к статистическим моделям неопределенности, потому что их не существовало. Лучшие умы начали серьезно обдумывать вопрос вероятности на удивление поздно по историческим меркам – как гласит одно из мнений, только после публикации работы Якоба Бернулли Ars Conjectandi в 1713 году.[1]

Путаница, которую вызывает ментальный циферблат с тремя значениями, очень распространена. Люди высокий процент вероятности переводят в «это обязательно случится». Ученые имеют кардинально иной подход к вероятности. Они ценят неопределенность или, по крайней мере, принимают ее, потому что в научных моделях реальности определенность – это иллюзия. Если ничто не определено, значит, циферблаты с двумя и тремя значениями имеют огромные недостатки. Ученые для представления вероятностей предпочитают цифры. Вероятностное мышление и ментальные циферблаты с двумя и тремя значениями, основываются на разном представлении о реальности и о том, как в ней ориентироваться. И тот и другой циферблат могут казаться невероятно странными тем, кто привык мыслить по-другому.

Осознание непреодолимой неопределенности – сущность вероятностного мышления, но ее сложно измерить. Чтобы сделать это, мы воспользовались разграничением, которое предложили философы. Эпистемическая неопределенность – что то, что мы не знаем, но что познаваемо, по крайней мере в теории. Если надо предсказать, как будет работать загадочная машина, инженеры могут, в теории, вскрыть ее и выяснить это. Одержание верха над механизмами – прототип предсказания реальности, похожей на часы. Алеаторная неопределенность – это не просто что то, что вы не знаете; это то, что непознаваемо в принципе. Неважно, как сильно вы хотите знать, будет ли идти дождь в Филадельфии через год, неважно, с каким количеством великих метеорологов вы посоветуетесь, – спрогнозировать погоду на год вперед вам не удастся.

Когда происходит что-то маловероятное и важное, люди задают вопрос: «Почему?» Религия объясняет все происходящее божественным планом. Многие атеисты также видят смысл в важных моментах наших жизней: «У всего, что происходит, есть причины, и в жизни существует определенный порядок, который определяет все события». Смысл – базовая человеческая потребность.

Однако, это мышление плохо сочетается с научным взглядом на мир. Наука не отвечает на вопросы «почему» по поводу цели жизни. Она ограничивается вопросами «как», которые фокусируются на причинно следственных связях и вероятностях. Событие не предопределено. Событие не «предназначено». Оно не имеет смысла. Позволяя мыслям двигаться по направлению к фатализму, мы уменьшаем наши способности к вероятностному мышлению.

Роберт Шиллер однажды заметил: «Тебе может казаться, что история разворачивается логическим образом, который люди должны предвидеть, но это не так, – сказал он мне. – Это иллюзия ретроспективного взгляда».

Глава VII. Пожиратели новостей?

Прогнозы – не то же самое, что лотерейные билеты, которые вы покупаете и накапливаете, дожидаясь розыгрыша. Это суждения, которые основаны на доступной информации, – и их нужно обновлять в свете изменяющихся данных. Дэвин Даффи за третий сезон турнира сделал 2271 прогнозов по 140 вопросам. Это в среднем больше 16 прогнозов на каждый вопрос. «Когда факты меняются, я меняю свое мнение, – говорил легендарный британский экономист Джон Мейнард Кейнс. – А вы что делаете, сэр?»

После того как сделано изначальное предсказание, прогнозист сталкивается с двумя опасностями. Первая – не уделить должного внимания новой информации. Это недостаточная реакция. И второе – чрезмерная реакция на новую информацию: придание ей слишком большого значения и слишком радикальное изменение прогноза. Социальные психологи давно знают, что, если люди публично оглашают приверженность какой-то идее, это лучший способ зацементировать ее, повысить сопротивляемость к изменениям.

Суперпрогнозисты могут иметь неожиданное преимущество: они не эксперты и не профессионалы, так что в каждый прогноз вкладывают очень мало своего эго. Они не привержены рьяно своим суждениям, и потому им легче признать, что прогноз отклонился от правильного курса, и подправить его.

В третьем сезоне турнира IARPA Тим Минто занял первое место с результатом Брайера 0,15 – изумительное достижение. На первоначальные прогнозы Тим тратит меньше времени, чем другие лучшие прогнозисты. Но в течение следующих дней он вернется к вопросам, заново на них взглянет и сформирует второе мнение. Также он ищет в Интернете доказательства противоположного. Все эти поиски заставляют его часто менять мнение. Но почти все изменения маленькие.

Ris. 4. Kak obnovlyaetsya mnenie u luchshego superprognozista

Рис. 4. Как обновляется мнение у лучшего суперпрогнозиста

В том, как все работает, нет мистики. Прогнозист, который не уточняет свое мнение в свете новой информации, не оценит ее по достоинству; в то время как прогнозист, который слишком увлечется новыми данными и построит предсказание исключительно на них, забудет о ценности сведений, на которых основывался первоначальный прогноз. Талантливый прогнозист осторожно удерживает баланс между старой и новой информацией, ценит и ту и другую и включает ее в новый прогноз. Лучший способ это сделать – небольшие обновления.

Если вы изучали статистику, то, возможно, вспомните Томаса Байеса и его теорему. Её смысл можно представить следующим образом:

Апостериорные шансы = Априорные шансы * Степень влияния новых данных

Суперпрогнозисты хороши в математике: многие знают о теореме Байеса и могут использовать ее, если чувствуют, что дело того стоит. Но они редко прибегают к прямому использованию чисел. Для суперпрогнозистов важнее не сама теорема Байеса, а его основная идея о постепенном приближении к истине с помощью постоянных корректировок в пропорции с весом имеющихся свидетельств.

Глава VIII. Постоянная бета

Психолог Кэрол Дуэк сказала бы, что у суперпрогнозистов мышление роста – по ее определению, это означает веру в то, что ваши возможности – по большей части результат усилий, и вы можете «вырасти» при условии, что готовы усердно работать и учиться. Многие другие люди обладают фиксированным мышлением: убежденностью в том, что мы – это те, кто мы есть, и наши способности могут быть только выявлены, но не созданы и не развиты. Люди с фиксированным мышлением говорят вещи вроде «у меня нет способностей к математике». Таким образом, вера в отсутствие способностей к математике становится самосбывающимся пророчеством .

Новые навыки мы приобретаем с помощью практики. Чтобы продемонстрировать ограничения лекционного обучения, великий философ и учитель Майкл Полани подробно изложил физические принципы езды на велосипеде. Однако, знания, требуемые для езды на велосипеде, не могут быть полностью сформулированы с помощью слов и переданы другим. Нужно «неявное знание» – то, что мы получаем только через опыт.

Но навык улучшается не от любой практики, а только от той, которая опирается на четкую и своевременную обратную связь. Исследование по калибровке – то есть соответствию вашей уверенности точности – регулярно обнаруживает в людях чрезмерную уверенность. Однако чрезмерная уверенность не относится к неизменным чертам человеческой натуры. Метеорологи, как правило, от нее не страдают, как не страдают и опытные игроки в бридж. Это потому, что те и другие получают четкую и быструю обратную связь.

К сожалению, большинство прогнозистов не получает обратной связи хорошего качества. Тому есть две основных причины. Во-первых, двусмысленность формулировок. Во-вторых, разорванность во времени. Когда прогнозы делаются вперед на месяцы или годы, во время ожидания результата в память вкрадываются помехи. Вы знаете, что сейчас думаете по поводу будущего. Но сможете ли точно вспомнить свой прогноз по мере разворачивания событий? Есть большая вероятность, что нет. И вам придется столкнуться не только с обычной забывчивостью, но, весьма вероятно, и с тем, что психологи называют эффектом знания задним числом.

Когда мы знаем исход какого-либо события, это знание искажает наше изначальное восприятие, восприятие до того, как мы узнали исход. Эффект взгляда задним числом также иногда фигурирует под названием «я всегда это знал».

Проанализировать и исправить. Каждый раз, когда вопрос закрывается, становится очевидно, что суперпрогнозисты, резко отличаясь в этом от людей с фискированным мышлением, протестированных Кэрол Дуэк, одинаково сильно хотят узнать не только результаты их прогнозов, но и то, каким образом улучшить их в следующий раз.

В течение первых двух лет турнира Жан Пьер Бюгом часто посматривал на свои прежние прогнозы, и его раздражало, что он оставлял к ним так мало комментариев: «Я часто не мог понять, почему сделал тот или иной прогноз», – и, соответственно, не мог восстановить свой мыслительный процесс . Поэтому он стал оставлять более подробные и развернутые комментарии, зная, что это поможет ему в будущем критически анализировать свое мышление. Теперь, по сути дела, готовится к разбору полетов с самого первого момента, еще когда объявляется вопрос турнира.

При этом анализировать следует не только провалы, но и удачи. Люди часто считают, что, если за решением следует хороший результат, значит, решение было хорошим, что не всегда соответствует действительности и может быть опасно, если в итоге мы перестаем замечать погрешности в нашем мышлении.

Суперпрогозисты также обладают выдержкой. Выдержка – это умение страстно придерживаться долгосрочных целей, даже перед лицом отчаяния и неудач. В сочетании с мышлением роста это мощная сила для личного прогресса.

У суперпрогнозистов много попыток, провалов, анализов, исправлений – и следующих попыток. У компьютерных разработчиков есть отличный термин для программы, которая не предназначена для выпуска на рынок в финальной версии, а бесконечно будет использоваться, анализироваться и улучшаться: «постоянная бета». Суперпрогнозисты – это постоянная бета.

Глава IX. Суперкоманды

В классическом труде 1972 года «Жертвы группового мышления» психолог Ирвинг Дженис исследовал, как принимались решения в ходе высадки в заливе Свиней и во время Карибского кризиса. Согласно его гипотезе, «члены любой маленькой мыслительной группы имеют тенденцию к выработке esprit de corps (честь мундира, кастовый дух), бессознательно генерируя ряд общих иллюзий и связанных с ними норм, которые вмешиваются в критическое мышление и оценку реальности». Слишком сплоченные группы не сомневаются в своих предположениях и игнорируют неудобные факты.

Студентам, изучающим управление и политику, обязательно нужно разобраться, как в Белом доме при Кеннеди культуру принятия решений изменили к лучшему, потому что это демонстрирует двойственную природу работы в группах. Коллектив может допускать чудовищные ошибки – но также принимать более точные решения и вместе достигать того, чего нельзя сделать по отдельности.

Термин «мудрость толпы» был введен в обращение в одноименной книге Шуровьески, вышедшей в 2004 году, но ее название, в свою очередь, обыгрывало название классического труда 1841 года «Наиболее распространенные заблуждения и безумства толпы», где приводился длинный перечень коллективных заблуждений. Группы могут быть мудрыми, или безумными, или теми и другими. В турнире IARPA целью являлась точность. Смогло бы в этом помочь объединение прогнозистов в группы? Существовали серьезные аргументы как «за», так и «против».

В первый год турнира (2011–2012) методом случайной выборки примерно половине (нескольким сотням) прогнозистов мы поручили индивидуальную работу, а второй половине – групповую. В среднем команды оказались на 23% точнее, чем прогнозисты одиночки.

Рынки прогнозов торгуют предсказаниями, то есть на них покупают и продают контракты на конкретные исходы событий, как, например, «Хиллари Клинтон в 2016 году будет избрана президентом». Когда выборы 2016 будут проведены, по контракту производятся расчеты. Если Клинтон проиграет, по контракту не уплачивается ничего. Если выиграет – уплачивается 1$. Если контракт в данный момент продается по 40 центов, а я думаю, что у Клинтон есть 60 или 70 % шансов на победу, мне следует покупать. Суперкоманды обыгрывали рынки прогнозов на 15–30%.

Еще одна черта команд-победителей: умения делиться. Мой коллега Адам Грант распределил людей на «дающих», «обменивающих» и «берущих». Исследования Гранта демонстрируют, что пример дающего может улучшить поведение других людей, что в итоге поможет всем, включая самого дающего.

Глава X. Дилемма лидера

Можно ли одновременно быть суперпрогнозистом и суперлидером? Кажется, что требования к одной роли подрывают успех в другой. К счастью, противоречие между этими ролями скорее кажущееся. Ключ – в подходе к лидерству. Этот подход был впервые сформулирован прусским генералом XIX века.

«На войне нет ничего определенного». Автор этих слов, Хельмут фон Мольтке, прославился на весь мир после того, как во главе прусских войск одержал победы над Данией в 1864 году, Австрией в 1866 м и Францией в 1871 м. Но Мольтке не был Наполеоном. Он никогда не воспринимал себя полководцем провидцем, двигающим войска как шахматные фигурки по доске. Его подход к лидерству и организации был совершенно другим.

Прусская армия давно ценила неопределенность: недаром в Германии изобрели столько настольных игр, где нужно бросать кости. Благодаря костям появляется элемент случайности, которого нет в играх вроде шахмат. Самым главным выводом Мольтке оказался «никогда не опираться на план полностью». «Ни одна тактика операции не простирается с уверенностью дальше первой же стычки с основными силами противника», – написал он.

В тот период в других странах, и в США тоже, обучение происходило так: инструкторы излагали проблемы, говорили студентам правильный ответ, а те должны были, кивнув, выучить его. В военных академиях Германии излагались не проблемы, а сценарии, и студенты должны были не заучивать ответы, а предлагать решения и совместно их обсуждать. Несогласие не только позволялось – его ждали.

Особый вид скромности. Никто никогда не называл скромным ни Уинстона Черчилля, ни Стива Джобса. Скромность, необходимая для здравого суждения, – это не сомнения в себе, не ощущение, что вы недостойны, что вам не хватает ума или таланта. Это интеллектуальная скромность. Это признание того, что реальность невероятно сложна, что ясное видение вещей требует постоянных усилий – тогда, когда оно вообще возможно, и что ошибки – неизменный спутник человеческих суждений. Поэтому вполне возможно одновременно быть о себе высокого мнения и обладать интеллектуальной скромностью.

Глава XI. Они и правда настолько супер?

В моем исследовании EPJ точность предсказаний экспертов окончательно скатывалась к случайности при прогнозах на пять лет вперед. И в то же время такой вид прогнозирования распространен, в том числе в организациях, которым следовало бы быть осмотрительнее. Если вам нужно планировать будущее за пределами горизонта прогнозирования, планируйте сюрпризы. Представьте сценарий, в котором реальность бьет вас в ухо, и представьте, как станете на это отвечать. Затем вообразите, что она пинает вас в голень, и подумайте, как вы справитесь с этим.

Нассим Николас Талеб пошел в этом вопросе еще дальше: он призвал к тому, чтобы критически важные системы, такие как международная банковская система и ядерное оружие, были сделаны «антихрупкими», то есть не просто имели бы высокое сопротивление к потрясениям, но только укреплялись бы благодаря им. В принципе, я согласен. Но тут есть нюанс, который часто выпускают из виду: подготовка к неожиданностям – неважно, на гибкость мы нацелены или на антихрупкость, – дорого стоит. Нужно установить приоритеты, а это возвращает нас к прогнозированию.

Десять заповедей для начинающих суперпрогнозистов

Более подробную информацию можно найти на сайте www.goodjudgment.com.

Расставляйте приоритеты. Сосредоточьтесь на вопросах, которые с большей вероятностью вознаградят вас за приложенные усилия.

Разбивайте проблемы, которые кажутся неразрешимыми, на разрешимые субпроблемы. Метод Ферми.

Найдите баланс между взглядом снаружи и изнутри.

Добейтесь хорошего баланса между чрезмерной и недостаточной реакцией на факты.

Ищите противоборствующие каузальные силы, присутствующие в каждой проблеме.

Старайтесь выделить столько степеней сомнения, сколько позволяет проблема, но не больше.

Добейтесь правильного баланса между неуверенностью и самоуверенностью, между благоразумием и решительностью.

Ищите причины ваших ошибок, но опасайтесь эффекта знания задним числом.

Раскройте лучшее в других и дайте другим раскрыть лучшее в вас.

Научитесь как следует ездить на велосипеде. Исполнение каждой заповеди требует уравновешивания противоположных ошибок. Вы не научитесь ездить на велосипеде по инструкции. Обучение требует действия и хорошей обратной связи.

… и не относитесь к заповедям как к заповедям. «Невозможно сформулировать жесткие правила, – предупреждал Хельмут фон Мольтке. – Потому что два случая никогда не будут одинаковыми».

[1] Некоторые авторы и историки математики ведут отсчет возникновения теории вероятности с трудов Джироламо Кардано в середине XVI в. – Прим. Багузина.

2 комментария для “Филип Тетлок, Дэн Гарднер. Думай медленно – предсказывай точно”

  1. Георгий

    Спасибо за статью.
    Руководство к жизни.
    Нужно в школе такое изучать!!! 🙂

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *