Принятие решений в неопределенности

1. Эта заметка написана на основе презентации, подготовленной для научного семинара, проведенного мною со студентами первого курса магистратуры факультета бизнес-информатики Высшей школы экономики; специализация студентов – управление жизненным циклом информационных систем. Поэтому текст несколько специфичен, он напоминает разговорную речь. Номер в начале параграфа соответствует номеру слайда презентации.

Одна из основных задач менеджеров – принятие решений. Это весьма обширная область знания, включающая, в частности, изучение систем, формирование моделей, анализ их чувствительности, учет эмоциональных и политических аспектов и многое другое. Сегодня я ставлю перед собой скромную задачу – познакомить вас с тем, как повысить качество решений, раскручивая спираль от первоначального (априорного) знания через сбор информации к более точной картине, к уменьшению неопределенности. А также покажу несколько ловушек, которые возникают на этом пути.

Скачать заметку в формате Word или pdf, скачать презентацию

2. Очень трудно давать прогнозы, особенно если они относятся к будущему
Йоги Берра

Йоги Берра — американский бейсболист, считающийся одним из величайших игроков в истории бейсбола – известен в США также своими комментариями и остротами, йогиизмами, часто имеющими форму очевидной тавтологии или парадоксального противоречия.

3. Мы рассмотрим вслед за нобелевским лауреатом Даниэлем Канеманом две системы нашего мышления: быструю и медленную, или иначе автоматическую и анализирующую, короче Систему 1 и Систему 2. Мы обсудим ограничения, связанные с прогнозированием будущего, привлекая оригинальные идеи Нассима Талеба. В двух словах раскроем смысл понятия «антихрупкость», придуманного тем же Талебом. Изучим подход Томаса Байеса – пресвитерианского священника и ученого, выдвинувшего намного опередившую свой век идею субъективной вероятности. В заключение проведем микро-тренинг ваших способностей принимать решения в неопределенности.

4. На 30-секундном ролике две группы девушек в светлых и темных футболках передают мяч друг другу внутри одной группы: светлые – светлым, темные – темным. Задача – подсчитать пасы только внутри группы, одетой в светлое, не обращая внимания на игроков в темном. Начнем?

Видео

5. Сколько было отдано пасов внутри группы, одетой в светлые футболки? 14? 15? 16? Правильный ответ – 16. Не заметили ли вы что-то необычное? Например, не появлялся ли в кадре слон? Или обезьяна? Нет? Один из вас заметил обезьяну. А остальные? Ну что ж… Давайте посмотрим ролик еще раз. Теперь новая задача – обращать внимание на любые необычные обстоятельства.

(Посмотрите ролик повторно)

6. Этот эксперимент впервые провели Кристофер Шабри и Дэниэль Саймонс, и описали его в книге Невидимая горилла. У нас имеется ограниченный объем внимания, который можно распределить на различные действия, и если выйти за пределы имеющегося ресурса, то ничего не получится. Сосредоточившись на чем-либо, люди, по сути, «слепнут», не замечая того, что обычно привлекает внимание. В нашем эксперименте слепота наступает из-за задания на подсчет. Это трудная задача, требующая полного внимания. Зрители, не получившие этого задания, гориллу не пропустят. (Надо заметить, что из 10 участников семинара, только один не заметил гориллы :))

Видеть и ориентироваться – автоматические функции Системы 1, но они выполняются, только если на соответствующие внешние раздражители отведен некоторый объем внимания. По мнению авторов, самое примечательное в их исследовании то, что людей очень удивляют его результаты. Зрители, не заметившие гориллу, поначалу уверены, что ее не было, – они не в состоянии представить, что пропустили такое событие. Эксперимент с гориллой иллюстрирует два важных факта: мы можем быть слепы к очевидному и, более того, не замечаем собственной слепоты.

7. Не пытайтесь решить следующую задачу, а прислушайтесь к интуиции.

Мячик и бейсбольная бита вместе стоят 1 доллар и 10 центов. Бита стоит на доллар дороже мячика. Сколько стоит мячик?

Задачка вызывает в мыслях автоматический ответ – интуитивный, привлекательный, но… неправильный.

Интуитивный неправильный ответ – 10 центов. Правильный ответ не может быть подсказан интуицией. Он может быть получен вычислением – 5 центов.

Мы рассмотрим две системы мышления: Систему 1 и Систему 2 (я использовал термины Даниэля Канемана из книги Думай медленно… решай быстро; эти термины предельно нейтральны; использование «говорящих» терминов могло бы создать нежелательные ассоциации). Система 1 срабатывает автоматически и очень быстро, не требуя или почти не требуя усилий и не давая ощущения намеренного контроля. Система 2 выделяет внимание, необходимое для сознательных умственных усилий, в том числе для сложных вычислений. Действия Системы 2 часто связаны с субъективным ощущением деятельности, выбора и концентрации.

8. Но не стоит на основе только что приведенных примеров, строго относиться к Системе 1. Если при решении каждодневных задач мы постоянно обращались к Системе 2, мы бы принимали решения очень медленно, и, скорее всего, как вид не выжили. Вот что пишет в книге Непослушное дитя биосферы Виктор Дольник: «Самый страшный хищник для наземных приматов и наших предков — леопард. Его окраска — желтая с черными пятнами — самая яркая для нас, наиболее приковывающая наше внимание. Скорость нашей реакции на этот окрас на миллисекунды выше». Обостренное восприятие желтого используют в рекламе, дорожных знаках и разметке.

Вспомните логотип, в котором используется сочетание желтого и черного?

9. Итак, только что вы познакомились с Системой 1. Но, и до введения самого термина, вы широко использовали это понятие. Как же вы его назвали? Автоматизм, машинальность, непроизвольность, бессознательность, интуиция, чутье, нюх, инстинкт, проницательность, шестое чувство, собачий нюх, печенкой чую, сердцем чую, спинным мозгом чую… Ученые используют понятие эвристики – сугубо практического правила. Эвристика формируется на основе опыта, а, следовательно, эвристики разных людей могут в чем-то различаться.

10. Канеман с коллегами проделали массу экспериментов, и выявили целый ряд эвристик. Люди судят о компетентности, сочетая два измерения: силу и надежность. На лицах, излучающих компетентность, сильный подбородок сочетается с легкой уверенной улыбкой. Это – пример эвристики суждения. Избиратели пытаются составить впечатление о том, насколько будет хорош кандидат на своем посту, и склоняются к более простой оценке, которая выносится быстро, автоматически и доступна в момент, когда Система 2 принимает решение.

Канеман предлагает простое объяснение того, как мы генерируем интуитивные мнения по сложным вопросам. Если на сложный вопрос быстро не находится удовлетворительного ответа, Система 1 подыскивает более легкий родственный вопрос и отвечает на него. Это эвристика подстановки. Вы можете не понять, что целевой вопрос был трудным, потому что интуитивный ответ легко пришел в голову. Перед директором по инвестициям стоял трудный вопрос: «Вкладывать ли деньги в акции компании Форд?». Но его выбор определил ответ на другой вопрос, более легкий и родственный исходному: «Нравятся ли мне автомобили Форд?».

Прежде, чем рассмотреть следующую эвристику, давайте проведем небольшое исследование. Пожалуйста ответьте на два вопроса анкеты (я раздал два варианта анкеты, не говоря об этом).

Как вы думаете, африканских стран в ООН более 70? Да Нет	Как вы думаете, африканских стран в ООН более 35? Да Нет
Укажите, одно число, сколько на ваш взгляд африканских стран-членов ООН? ___________	Укажите, одно число, сколько на ваш взгляд африканских стран-членов ООН? ____________

Второй вопрос в анкете у всех одинаковый, а первый отличается только числом: в варианте А – 70, в варианте Б – 35. Теперь подсчитаем среднее значение ответов на второй вопрос в вариантах А и Б. Мы видим, что получилось значимое различие. (Надо отметить, что участники семинара по обоим вариантам показали приблизительно одинаковое среднее при ответе на второй вопрос — около 25 Правильный ответ — 53.) Только что мы все продемонстрировали эвристику привязки в действии. Амос Тверски (коллега и соавтор Канемана) рассматривает идею эвристического метода привязки и корректировки как стратегии оценки неизвестных величин: начинаем с числа-«привязки», оцениваем, насколько оно мало или велико, и постепенно корректируем собственную оценку, мысленно «отходя от привязки». Корректировка, как правило, заканчивается преждевременно, поскольку люди останавливаются, потеряв уверенность, что нужно двигаться дальше.

Эвристика доступности – подмена оценки частоты встречаемости, легкостью, с которой в голову приходят примеры. Супругов спрашивали: «Какова доля случаев, когда вы выносите мусор?» Как и ожидалось, сумма ответов двух супругов оказалась существенно больше 100%. Оба супруга помнят собственные вклады и усилия гораздо яснее, чем то, что делает другая половина, и разница в доступности ведет к разнице в оценке частоты. То же самое искажение заметно при наблюдении за группой сотрудников: каждый из участников ощущает, что сделал больше, чем должен, а коллеги недостаточно благодарны за его вклад в общее дело. Из-за эвристики доступности мы преувеличиваем вероятность катастроф.

Логики и статистики разработали несовместимые, но при этом очень точные определения вероятности. Для обычных людей вероятность (синоним «правдоподобия») – неопределенное понятие, связанное с неуверенностью, предрасположенностью, правдоподобностью и удивлением. Вопрос о вероятности сложен, поэтому он вызывает ответы на более легкие вопросы. Один из них – автоматическая оценка репрезентативности. Эвристика репрезентативности задействуется и в том случае, когда кто-то говорит: «Она победит на выборах, по ней это видно» или «Ученого из него не выйдет, слишком много татуировок». Предсказания по репрезентативности распространены, но неоптимальны со статистической точки зрения. Бестселлер Майкла Льюиса «Человек, который изменил все» – это история о неэффективности такого способа предсказаний. Профессиональные тренеры-селекционеры, как правило, предсказывают успех потенциальных игроков, учитывая их сложение и внешность. Герой книги Льюиса – Билли Бин, менеджер бейсбольной команды «Окленд Атлетикс», – принял непопулярное решение отбирать игроков по статистике проведенных игр (На русском языке книга вышла под названием MoneyBall. Как математика изменила самую популярную спортивную лигу в мире; по книге снят фильм Человек, который изменил всё с Брэдом Питтом в главной роли).

Канеман преподавал инструкторам израильских ВВС психологию эффективного обучения, и объяснял им важный принцип отработки навыков: поощрение за улучшение результатов работает эффективнее, чем наказание за ошибки. Выслушав объяснения, один из самых опытных инструкторов в группе сказал: «Я неоднократно хвалил курсантов за чистое исполнение фигуры высшего пилотажа. Во время следующей попытки исполнения той же фигуры они справляются хуже. А когда я ругаю их за плохое исполнение, то обычно в следующий раз у них выходит лучше». Сделанный им вывод об эффективности поощрения и наказания оказался совершенно неверным. Инструктор наблюдал эффект регрессии к среднему, возникающий из-за случайных колебаний в качестве исполнения. Естественно, хвалили только тех, кто выполнял маневры намного лучше среднего. Но, вероятно, курсанту на этой попытке просто повезло, и, таким образом, следующая попытка была бы хуже независимо от того, похвалили его или нет. И наоборот: инструктор ругал курсанта, если тот выполнял задание необычно плохо, и потому сделал бы следующую попытку лучше, независимо от действий инструктора. Получилось, что неизбежным колебаниям случайного процесса дали причинную интерпретацию.

В первой части презентации вы узнали, что мышление основано на двух подходах: быстрых решениях Системы 1, и анализе Системы 2. Система 1, как правило, хорошо справляется с повседневными задачами, но иногда дает сбои – искажения эвристики, и на авансцену должна выходить Система 2. Найти баланс в работе этих двух систем – важная задача менеджера.

11. Мы склонны к «туннелированию» (ограничению себя рамками, рассмотрению будущего, как продолжения прошлого) и узкому мышлению. Поэтому успешность наших предсказаний сильно завышена. Проблема индукции (подробнее см. Карл Поппер. Логика научного исследования): как мы можем логически перейти от частного предположения к общим выводам? Откуда мы знаем, что мы знаем? Любые знания, полученные в результате наблюдений, содержат ловушки. Как выгляди мир глазами индюшки? Её кормят, и вес растет:

Индюшка размышляет, каковы прогнозы роста ее веса:

Однако индюшка не знает, что ее откармливают к Дню Благодарения:

История процесса на протяжении 1000 дней ничего не говорит о том, что должно случиться. Эта наивная проекция прошлого на будущее ни для чего не подходит.

12. Анри Пуанкаре ввел понятие нелинейности: малые события могут вести к серьезным последствиям. Нелинейность, по мысли Пуанкаре, – серьезный довод, ограничивающий пределы предсказуемости. В 1960-х метеоролог Эдвард Лоренс сделал открытие, позднее названное эффект бабочки. Он моделировал погоду и повторно ввел в качестве исходных данных те же значения, но с иным округлением… (подробнее см. Джеймс Глейк. Хаос. Создание новой науки).

Прошлое может сбивать с толку, более того, в наших интерпретациях прошлых событий есть много степеней свободы. Посмотрите на ряд точек, представляющий изменения некоего числа во времени (рис. а).

Ряд, отражающий видимый рост популяции бактерий (или показателей продаж, или количество корма, съеденного индюшкой). Легко вписаться в тренд (б): есть одна, и только одна, линейная модель, которая подходит к этим данным. Можно продлевать ее в будущее.

Если, например, это размер популяции, то рано или поздно рост замедлится (в), другие модели тоже подходят.

Реальный «генерирующий процесс» (г) предельно прост, но не имеет ничего общего с линейной моделью! Лишь некоторые части кривой кажутся линейными, и мы попадаем в ловушку, экстраполируя их в виде прямой.

13. В 2006 году в Чёрном лебеде Талеб предупреждал о глобальном банковском кризисе: «Глобализация создала взаимосвязанную хрупкость, уменьшив волатильность и создав видимость стабильности. Иными словами, она создаёт Чёрных Лебедей. Мы никогда раньше не жили под угрозой глобального коллапса. Финансовые учреждения сливаются во всё меньшее число очень больших банков. Все банки взаимосвязаны. Финансовая биосфера поедается гигантскими, кровосмесительными, бюрократическими банками, и когда один из них упадёт, упадут все. Увеличивающаяся концентрация капитала в банковской среде, кажется делающей финансовые кризисы менее вероятными, но, когда они всё же случаются, они становятся более глобальными и наносят по нам более сильный удар. Мы перешли от диверсифицированной «биосферы» малых банков с разнообразной политикой предоставления кредитов, к более однородной среде фирм, где одна напоминает другую. Действительно, мы сейчас имеем меньше случаев банкротств, но, когда они случатся, я боюсь даже подумать об этом.

Прогнозы Талеба оправдались. Он заработал несколько миллионов долларов во время финансового кризиса в 2007–2008 годах (подробнее см. Малкольм Гладуэлл о Нассиме Николасе Талебе).

14. Антихрупкость – свойство людей (компаний, государств и т.д.), позволяющее под ударами судьбы не просто выстоять (и не разрушиться), но и стать сильнее (см. Нассим Николас Талеб. Антихрупкость. Как извлечь выгоду из хаоса). Антихрупкость – это использование возможностей. Антихрупкость – это свойство всех естественных (и сложных) систем, которые сумели выжить. Лишая эти системы воздействия переменчивости, случайности и стресса, мы им, по сути, вредим. В результате такие системы ослабнут, умрут или разрушатся. Мы сделали хрупкими экономику, наше здоровье, политическую жизнь, образование, почти все на свете… подавляя случайность и переменчивость.

Швейцария – последняя заметная на мировом уровне страна, которая является не национальным государством, а группой мелких самоуправлений (кантонов), предоставленных самим себе. Группа самоуправлений с очаровательно провинциальными дрязгами, со всеми их внутренними спорами и враждующими индивидами образует достаточно милое и стабильное государство. Правительство защищено от уколов совести (и не краснеет от стыда), лишено эмоциональной реакции на перерасход средств и другие провальные шаги, скажем, на убийства мирных жителей во Вьетнаме. Но когда индивиду приходится смотреть в глаза согражданам, его поведение меняется.

Итальянский философ и правовед Бруно Леони в книге Свобода и закон доказывал, что право, в основе которого лежит интерпретация судей, более надежно (из-за разнообразия прецедентов), чем подробные и негибкие кодексы, так что к нему тоже применимо понятие неуязвимости. Да, выбор суда может быть лотереей – тем не менее указанный принцип позволяет избежать крупномасштабных ошибок.

Во второй части презентации мы рассмотрели принципиальные трудности, возникающие при прогнозировании. Менеджеру вряд ли следует стремиться к повышению точность прогнозов. Скорее, более полезной будет ориентация на создание антихрупкой среды.

15. Томас Байес – английский пресвитерианский священник и по совместительству математик, живший в XVIII веке (1702–1761). Он развивал теорию вероятностей. Основная (и как я понимаю, единственная) его работа была опубликована уже после смерти в 1763 г. Байес предложил теорему, в последствии названную в его честь.

На самом деле, Байес не просто предложил формулу, позволяющую вычислять вероятность одного события на основании знания вероятностей других событий. Он изменил парадигму. Люди (практически все, даже математически подкованные) довольно плохо обращаются с вероятностями. Все мы преувеличиваем значение конкретного наблюдения, преуменьшая априорное знание (то есть, знание, имевшееся у нас до наблюдения).

Хорошей иллюстрацией такого подхода служит детская загадка: «Допустим ты капитан. Тебе нужно… (затем следует рассказ на несколько минут, и наконец вопрос…) Сколько лет капитану?» Всё наше внимание сосредоточено на рассказе, и мы пытаемся найти в нем подсказку, но, увы, тщетно. Мы совершенно забыли об априорном знании – установке, что капитан то я сам. Так и Байес учит нас не забывать о том, что было известно с самого начала. Последующие наблюдения (эксперименты) могут уточнить наше априорное знание, могут поколебать его, но не могут полностью затмить.

В какой парадигме действуют большинство менеджеров: если я наблюдаю нечто, какие выводы могу из этого сделать? Чему учит Байес: что должно быть на самом деле, чтобы мне довелось наблюдать это нечто?

Пример из практики. Мой подчиненный совершает ошибку, и мой коллега (руководитель другого отдела) говорит, что надо бы оказать управленческое воздействие на нерадивого сотрудника (проще говоря, наказать/обругать). А я знаю, что этот сотрудник делает 4–5 тысяч однотипных операций в месяц, и совершает за это время не более 10 ошибок. Чувствуете различие в парадигме? Мой коллега реагирует на наблюдение, а я обладаю априорным знанием, что сотрудник допускает некоторое количество ошибок, так что еще одна не повлияла на это знание… Вот если по итогам месяца окажется, что таких ошибок, например, 15!.. Это уже станет поводом для изучения причин несоответствия стандартам.

16. Попробуйте решить. Известно, что 1% водителей управляют автомобилем в нетрезвом состоянии. Предлагается аппарат, который в 97% случаев фиксирует нетрезвое состояние. Правда в 5% случаев он дает ложное подтверждение (водитель трезв, а результат теста положительный). Если тест положителен, какова вероятность, что водитель нетрезв?

Тест положителен для: 0,97*1% + 0,05*99% = 5,92%, при этом доля нетрезвых водителей: 0,97*1% / 5,92% = 16,4%

17. Теорема Байеса показывает, насколько именно изменится мое убеждение относительно А в свете новых сведений Х. В приведенном выше уравнении р(А) — мое первоначальное или априорное, убеждение об А до поступления новых сведений X, р(Х|А) — вероятность получения сведений Х в случае, если А действительно будет иметь место, а р(А|Х) — мое последующее, или апостериорное, убеждение об А с учетом новых сведений X.

18. Но есть и еще один аспект теоремы Байеса, который даже важнее для понимания того, как работает наш мозг. В формуле Байеса два ключевых элемента: р(А|Х) и р(Х|А). Величина р(А|Х) говорит нам, насколько мы должны изменить наше представление об окружающем мире (А) после получения новых сведений (Х). Величина р(Х|А) говорит нам, каких сведений (Х) мы должны ожидать, исходя из нашего убеждения (А). Мы можем взглянуть на эти элементы как на средства, позволяющие нашему мозгу делать предсказания и отслеживать ошибки в них. Руководствуясь своими представлениями об окружающем мире, наш мозг может предсказывать характер событий, которые будут отслеживать наши глаза, уши и другие органы чувств: р(Х|А). Что же происходит, когда такое предсказание оказывается ошибочным? Отслеживать ошибки в подобных предсказаниях особенно важно, потому что наш мозг может использовать их для уточнения и улучшения своих представлений об окружающем мире: р(А|Х). После внесения такого уточнения мозг получает новое представление о мире и может снова повторить ту же процедуру, сделав новое предсказание о характере событий, отслеживаемых органами чувств. С каждым повтором этого цикла ошибка в предсказаниях уменьшается. Когда ошибка оказывается достаточно маленькой, наш мозг «знает», что творится вокруг нас. И все это происходит так быстро, что мы даже не осознаём выполнения всей этой сложной процедуры. Нам может казаться, что представления о том, что творится вокруг, даются нам легко, но они требуют неустанного повторения мозгом этих циклов предсказаний и уточнений.

Наше восприятие зависит от априорных убеждений. Это не линейный процесс, вроде тех, в результате которых возникают изображения на фотографии или на экране телевизора. Для нашего мозга восприятие — это цикл. Если бы наше восприятие было линейным, энергия в виде света или звуковых волн достигала бы органов чувств, эти послания из окружающего мира переводились бы на язык нервных сигналов, и мозг интерпретировал бы их как объекты, занимающие определенное положение в пространстве.

Мозг, пользующийся предсказаниями, делает все почти наоборот. Наше восприятие на самом деле начинается изнутри — с априорного убеждения, которое представляет собой модель мира, где объекты занимают определенное положение в пространстве. Пользуясь этой моделью наш мозг может предсказать, какие сигналы должны поступить в наши глаза и уши. Эти предсказания сравниваются с реальными сигналами, и при этом, разумеется, обнаруживаются ошибки. Но наш мозг их только приветствует. Эти ошибки учат его восприятию. Наличие таких ошибок говорит ему, что его модель окружающего мира недостаточно хороша. Характер ошибок говорит ему, как сделать модель, которая будет лучше прежней (подробнее см. Крис Фрит. Мозг и душа).

19. Откуда наш мозг берет априорные знания, необходимые для восприятия? Частично это врожденные знания, записанные у нас в мозгу за миллионы лет эволюции. Например, в течение многих миллионов лет на нашей планете был только один основной источник света — Солнце. А солнечный свет всегда падает сверху. Это значит, что вогнутые объекты будут темнее сверху и светлее снизу, в то время как выпуклые объекты будут светлее сверху и темнее снизу. Это простое правило жестко прописано в нашем мозгу. С его помощью мозг решает, выпуклый или вогнутый тот или иной объект.

Иллюзия с костяшками домино. Вверху — половинка костяшки домино с пятью вогнутыми пятнышками и одним выпуклым. Внизу — половинка с двумя вогнутыми и четырьмя выпуклыми пятнышками. На самом деле вы смотрите на плоский лист бумаги. Пятнышки выглядят вогнутыми или выпуклыми из-за характера их затенения. Мы ожидаем, что свет падает сверху, поэтому у выпуклого пятнышка должен быть затенен нижний край, а у вогнутого — верхний.

Если вы перевернете рисунок вверх ногами, вогнутые пятнышки станут выпуклыми, а выпуклые — вогнутыми. Современные технологии позволяют создавать множество новых изображений, правильно интерпретировать которые наш мозг не способен. Такие изображения мы неизбежно воспринимаем неправильно.

В третье части мы рассмотрели идеи Байеса, проливающие свет на то, как мы накапливаем знания, улучшаем наши модели, и предсказания на основе анализа информации.

20. Калибровка экспертов. Людям присущи две крайности субъективной оценки:

• Чрезмерная уверенность
• Недостаточная уверенность

Если людей учат преодолевать ошибки и необъективность, их оценки становятся точнее. Оказалось, что оценка неопределенности — это навык, который можно приобрести и который можно совершенствовать.

21. Для каждого вопроса напишите нижнюю и верхнюю границы так, чтобы с вероятностью 90% правильный ответ попал внутрь, определенных вами границ. Не торопитесь. Написав границы, еще раз задайте себе вопрос: «Действительно ли с 90%-ной уверенностью я могу сказать, что границы вместят в себя правильный ответ?».

22. Предыдущие мои эксперименты показали, что среднее число правильных ответов близко к 6. В то время, как идеальное количество – 9, а приемлемое 8–10. (Участники семинара дали от 1 до 8 правильных ответов, при среднем около 5.)

Основная литература:

Н.Талеб. Черный лебедь. Антихрупкость.

Д.Канеман. Думай медленно…

К.Шабри, Д.Саймонс. Невидимая горилла.

Крис Фрит. Мозг и душа.

Д.Хаббард. Как измерить всё, что угодно.

С.Багузин. Идеи Байеса для менеджеров.