В начале 2000-х я работал в издательстве крупной рекламной газеты. Корпоративная информационная система была самописной, и ее поддержкой занимался отдел из 40 человек. Когда я заказывал доработку, аналитик изучал требования, оценивал трудозатраты и выдавал прогноз выполнения. Я заметил, что все, заказанные мною доработки, делались дольше, чем планировалось (разве где-то бывает иначе?). А спустя некоторое время руководитель попросил меня провести аудит ИТ-отдела, и я получил доступ к их отчетам. Оказалось, что разработка длится в среднем на 80% дольше, чем первоначально планировалось. Я показал данные начальнику ИТ-отдела. Он не увидел закономерности, и дал пояснения по отдельным случаям. Всегда находились какие-то неучтенные требования заказчиков, или иные «непредвиденные» сложности…
Рис. 1. Пример того, как обновляется мнение у хорошего прогнозиста
Предыдущая глава Оглавление Следующая глава
Скачать заметку в формате Word или pdf
В своем бестселлере «Думай медленно… решай быстро» Даниел Канеман описывает любопытный случай:
В начале карьеры я убедил чиновников, что высшей школе нужен курс по изучению принятия решений. Для разработки курса я собрал команду педагогов. Спустя год работы мы обсудили и решили, что для окончания проекта нам потребуется еще около двух лет. Я задал вопрос одному из участников проекта, который знал статистику аналогичных проектов, что было у других групп. Он сообщил, что средний проект длился 7 лет, а около половины проектов так и остались незавершенными. В действительности на завершение учебника ушло еще восемь (!) лет. Этот эпизод стал едва не самым поучительным в моей профессиональной карьере. Я понял различие между двумя подходами к прогнозированию: взглядом изнутри и извне.
Взгляд изнутри
Такой подход нам ближе. Мы поглощены обстоятельствами дела. Прикидываем возможные проблемы на нашем пути. Выполняем первый этап. Кажется, что срокам проекта ничто не угрожает. Располагая информацией о нашем случае, мы редко чувствуют потребность в статистике по категории, к которой случай принадлежит. Мы даже вряд ли будем искать такую статистику. Более того, «сухие» статистические данные обычно отметаются, если они противоречат нашему представлению о ситуации.
Канеман ввел термин «ошибка планирования», описывающий прогнозы и планы, которые:
- чрезмерно близки к наилучшим возможным сценариям;
- можно исправить, рассмотрев статистику подобных случаев.
Когда дело доходит до прогнозирования в условиях различных рисков, мы слишком оптимистичны. Мы переоцениваем выгоды и недооцениваем затраты. Прокручивая в уме сценарии успеха, мы пропускаем «нюансы», которые способны затормозить или остановить проект. Например, планировалось, что Сиднейский оперный театр будет возведен за четыре года и семь миллионов австралийских долларов. Однако строительство заняло около десяти лет и обошлось в 100 млн.
Байес и взгляд извне
Точность прогнозирования можно повысить, улучшив методику:
- Определите исходную категорию (перепланировка кухни, железнодорожный проект и т.п.).
- Добудьте статистические данные по исходной категории (затраты на километр железнодорожных путей или перерасход бюджета в процентах). Используйте статистику как исходную точку для построения базового прогноза.
- Используйте конкретную информацию для модификации базового прогноза.
Эта методика опирается на байесовский подход:
Апостериорные шансы = Априорные шансы * Степень влияния новых данных
Начните с априорной вероятности, и скорректируйте ее на основе специфической информации о конкретном случае.
Суперпрогнозисты
Психолог Филип Тетлок был одним из идейных вдохновителей турниров прогнозистов, организованных Агентством передовых исследований в области разведки IARPA. Затем Тетлок исследовал методы, которые использовали лучшие игроки. Они начинали с предварительной оценки, а затем уточняли свое мнение в свете новой информации. Талантливый прогнозист осторожно удерживает баланс между старой и новой информацией, ценит и ту, и другую и включает ее в новый прогноз. Лучший способ это сделать – небольшие обновления.
Суперпрогнозисты знают о теореме Байеса и могут использовать ее, если чувствуют, что дело того стоит. Но они редко прибегают к математике. Для суперпрогнозистов важнее не сама теорема Байеса, а его основная идея о постепенном приближении к истине с помощью постоянных корректировок в пропорции с весом имеющихся свидетельств.
В одном из турниров IARPA Тим Минто занял первое место с великолепным результатом, обойдя профессионалов из ЦРУ. На первоначальные прогнозы Тим тратил меньше времени, чем другие прогнозисты. Но в течение следующих дней он возвращался к вопросам, заново их изучал и формировал второе мнение, третье и т.д. Также он искал в Интернете доказательства противоположного. Все эти поиски заставляли его часто менять мнение. Но почти все изменения были маленькими (см. рис. 1).
Метод Ферми
Итало-американский физик Энрико Ферми, важная фигура в изобретении атомной бомбы, довел взгляд извне до совершенства. Он считал, что на любой вопрос можно найти приблизительный ответ, не прибегая к дополнительным измерениям и поискам новой информации. Классический вопрос, с которым справляется метод Ферми – сколько в Чикаго настройщиков пианино? Ферми «вскрывал» центральный вопроса другими вопросами, типа «что должно быть правдой, чтобы это произошло?». Ответ на заданный вопрос можно получить, если приблизительно оценить:
- Количество пианино в Чикаго.
- Как часто пианино настраиваются.
- Сколько времени занимает настройка пианино.
- Сколько часов в неделю работает среднестатистический настройщик.
Тетлок иллюстрирует метод Ферми историей семьи Ренцетти. Ренцетти живут в небольшом доме. Франку 44 года, он работает бухгалтером в компании по грузоперевозкам. Мэри – 35 лет, она работает неполный день в детском саду. У них один ребенок, Томми, ему пять. Насколько вероятно, что у Ренцетти есть домашнее животное? Чтобы ответить на него, большинство людей сразу начнут присматриваться к семейным деталям. Но суперпрогнозисты не станут их рассматривать – по крайней мере сначала. Первое, что они сделают, – выяснят, какой процент американских семей владеет домашними животными.
Сначала взгляд извне
Предпочитать взгляд изнутри – естественно. Он обычно отличается конкретностью и наполнен привлекательными деталями, из которых можно сконструировать историю. Взгляд снаружи, как правило, абстрактен, лишен деталей и не подходит для сочинения историй. Так что даже специалисты забывают принимать его во внимание.
Почему взгляд снаружи должен идти первым? Что мешает углубиться сначала во взгляд изнутри и сделать выводы, а потом уже обратиться ко взгляду снаружи? Разве такой способ не сработает? К сожалению, нет, скорее всего, не сработает. Причина заключается в психологической концепции, называемой якорением.
Делая подсчеты, мы, как правило, начинаем с какого-то числа и «настраиваем» его. Число, с которого мы начинаем, называется якорем. Суперпрогнозист, который начинает работу, углубляясь во взгляд изнутри, рискует, что его уведет в сторону число, не имеющее практически никакого смысла. Но если человек сперва займется взглядом снаружи, его анализ начнется с осмысленного якоря. А хороший якорь – очевидное преимущество.
Литература
Дэниэль Канеман. Думай медленно… решай быстро. – М.: АСТ, 2013. – 656 с. Конспект: https://baguzin.ru/wp/?p=7840
Филип Тетлок, Дэн Гарднер. Думай медленно — предсказывай точно. Искусство и наука предвидеть опасность. – М.: АСТ, 2018. – 384 с. Конспект: https://baguzin.ru/wp/?p=21912