Джеймс Шанто — один из ведущих в США исследователей природы профессионального опыта — посвятил немало времени тому, чтобы выработать унифицированный метод оценки компетентности. И даже он отмечал, что во многих случаях "эксперты генерируют некачественные решения". В своих работах Шанто приводит отчеты о серии исследований, согласно которым суждения нескольких профессионалов в одной области зачастую были совершенно противоречивыми, а решения отдельных экспертов шли вразрез с коллективным мнением группы, состоящей из наиболее компетентных индивидов. Например, уровень межэкспертной согласованности в целом ряде областей, включая формирование ресурсов и их оценку, а также клиническую психологию, оказался ниже 50%, что означает: эти мастера своего дела могут как соглашаться друг с другом, так и не соглашаться — с таким же успехом! Что пугает еще больше: одно из исследований показало, что согласованность суждений врачей-патологоанатомов составляет всего 50%, а это значит, что в одних и тех же обстоятельствах два прозектора в половине случаев будут приходить к различным заключениям. Эксперты также не сильны в том, что социологи называют "калибровкой" решений. Откалиброванность решений позволяет достоверно судить о том, насколько они правильны. И в этом профессионалы напоминают обычных людей: они, как правило, значительно переоценивают свою правоту. Исследование проблемы излишней самоуверенности, проведенное экономистом Террансом Одином, установило, что врачи, медсестры, юристы, инженеры, предприниматели и инвесторы — буквально все — полагали, что знают больше, чем это было на самом деле. Аналогичное исследование, участниками которого стали трейдеры валютной биржи, показало, что биржевики переоценивали точность своих валютных прогнозов в 70% случаев. Мало того, что они ошибались; они понятия не имели о масштабах своих оплошностей. Калибровка решений хорошо удается лишь профессиональным игрокам в бридж и синоптикам. Когда последние предсказывают 30%-ную вероятность дождя, он начинается в 30% случаев.
Армстронг, изучавший особенности профессионального опыта и способность к прогнозированию, сформулировал такой вывод: "Чтобы предсказать грядущие перемены и использовать информацию наиболее эффективным способом, как правило, обращаются к экспертам. Однако уровень осведомленности (в случае, если он выше элементарного) оказывается несущественным фактором для успеха прогнозирования изменений". Не нашлось также подтверждения тому, что, если большинство крупных знатоков своего дела не могли составить качественный прогноз, то несколько гигантов мысли справились с этим блестяще. Вместо этого, пишет Армстронг, "точных прогнозов практически не было". Эти положения легли в основу теории Армстронга о "пророках и простаках": "Сколько бы ни доказывали, что пророков на свете не бывает, простаки всегда будут расплачиваться за их мнимое существование".
И опять же, это не означает, что знающие и опытные аналитики не нужны для принятия верных решений. (Аналогично, проведение хирургической операции или управление самолетом нельзя доверять дилетантам — людям, далеким от хирургии и авиации соответственно.) Однако каким бы знающим и опытным ни был специалист, для достижения лучшего результата его советы и прогнозы следует обязательно сопоставлять с другими мнениями.
Поскольку чем больше группа, тем надежнее коллективное суждение, попытки найти единственного человека, у которого есть ответы на все вопросы, — пустая трата времени.
Да, возможно, что существуют гении, т.е. люди, суждения которых в той или иной области являются лучшими из лучших по сравнению с коллективным вердиктом разнородной группы. Тут на ум сразу же приходит инвестор Уоррен Баффет, чья компания постоянно повышала свой индекс в рейтинге
Мы ожидаем, что знатоки каким-то образом "выдадут" себя (скажем, излучая чувство уверенности) и подтвердят свою компетенцию. Поразительно, но в этом эксперты ничем не отличаются от ' обычных людей — они так же самоуверенны и склонны игнорировать свои ошибки. Точно так же между самооценкой эксперта и его эффективностью не существует прямой зависимости. Просто знать и осознавать собственное знание — это два разных свойства.
