Я сейчас читаю замечательную книгу Дэниэля Канемана «Думай медленно… решай быстро». Один фрагмент мне показался довольно любопытным, и я решил его привести отдельно. Это часть главы 7 «Механизм поспешных выводов». Канеман пишет об эффекте ореола, под которым он понимает «…склонность хорошо (или плохо) воспринимать в человеке все, включая то, чего вы не видели». [1]
Когда я только начинал преподавать, я оценивал письменные экзамены студентов обычным способом: брал работы по одной и читал все ответы данного студента сразу, выставляя оценки по ходу. Затем я вычислял средний балл и переходил к следующей работе. Однажды я заметил, что мои оценки в пределах одной работы были удивительно однородны. Я начал подозревать, что дело в эффекте ореола и что оценка ответа на первый вопрос непропорционально сильно влияла на общую. Механизм был прост: если я ставил за первый ответ высокий балл, то в дальнейшем, при появлении неопределенности в ответах на следующие вопросы, я толковал ее в пользу студента. Это выглядело разумно: студент, хорошо ответивший на первый вопрос, вряд ли мог допустить во втором глупую ошибку. Однако в моем способе обнаружилась серьезная проблема. Если студент на один вопрос отвечал хорошо, а на другой плохо, то – в зависимости от порядка проверки – он получал разные оценки. Я говорил студентам, что при оценке работы все вопросы равнозначны, но в действительности ответ на первый вопрос влиял на итоговую оценку намного больше, чем второй. Это было недопустимо.
Скачать заметку в формате Word или pdf
Я изменил процедуру: вместо того чтобы читать каждую работу по отдельности, я проверял ответ на первый вопрос у всех студентов и выставлял оценки, а затем переходил к следующему. Результаты я записывал на предпоследней странице работы, чтобы во время чтения второго ответа меня подсознательно не сбивали уже выставленные оценки. Вскоре после перехода на новый метод я с тревогой отметил, что стал выставлять оценки с меньшей уверенностью, чем раньше, – из-за того, что часто испытывал непривычный дискомфорт. Разочаровавшись во втором ответе, я заглядывал на предпоследнюю страницу, чтобы записать плохую оценку, и временами обнаруживал там высокую оценку за первый вопрос. Также выяснилось, что мне хотелось уменьшить разницу между оценками, изменив еще не записанный результат, и с большим трудом удавалось придерживаться простого правила не поддаваться этому искушению. В моих оценках ответов одного и того же студента часто наблюдался значительный разброс. Отсутствие когерентности раздражало и вызывало во мне неуверенность.
Я стал менее доволен и менее уверен в своих оценках, однако понимал, что это служило хорошим знаком, свидетельствовало о том, что новый метод лучше. Радовавшее меня прежде сходство оценок оказалось ложным и давало ощущение когнитивной легкости. Позволив оценке первого ответа влиять на оценку всех остальных, я не замечал несоответствия, проявлявшегося в отличных ответах студента на одни вопросы и плохих – на другие. Раздражающая несообразность, обнаружившаяся при переходе на новую процедуру выставления оценок, как выяснилось, существует в действительности: она отражала и то, что единичный ответ не может служить адекватной мерой знаний студента, и то, что мои оценки ненадежны.
Мой метод уменьшения эффекта ореола сводится к общему принципу: избавляйтесь от корреляции ошибок!
[1] Любопытно, что ранее я читал об эффекте ореола целую книгу (см. Фил Розенцвейг. Эффект ореола …И другие иллюзии, вводящие менеджеров в обман). Она была посвящена эффекту ореола при изучении компаний. В первую очередь, Розенцвейг критиковал исследования Джима Коллинза От хорошего к великому. Почему одни компании совершают прорыв, а другие нет… Коллинз исследовал успешные компании, и считал, что всё что они делали привело к успеху, и может являться рецептом для других. Розенцвейг настаивал на том, что «ослепленный» выдающимися финансовыми показателями компаний, Коллинз приписывал им идеальность во всем, в том числе и в операционной деятельности… Отчасти выводы Розенцвейга подтверждаются тем, что спустя 20 лет часть «великих» компаний Коллинза потеряла былую эффективность, а часть и вовсе обанкротилась (подробнее см. По следам великих компаний Джима Коллинза).
Интересно
Кратко, но позновательно!