Уверенность и правота расходятся

prudentia

Сократ обошёл знатоков и обнаружил, что уверенность у них есть, а знания нет. Филип Тетлок двадцать лет собирал прогнозы экспертов и получил похожий результат.

Тема целиком: Стоицизм и принятие решений: как мудрец выбирает


Цитата дня

Мы учимся не для жизни, а для школы: изучаем лишнее и не знаем необходимого.

Сенека, Письма к Луцилию 88

Сцена

Афины после дельфийского ответа. Сократ обходит тех, кого считают знающими, и обход этот занимает годы.

Первым он идёт к политику, о котором говорят, что тот мудр. Разговор начинается с уважением, продолжается вопросами и кончается плохо: под уверенностью не оказывается ничего, что выдерживает разбор.

Хуже всего то, что политик этого не замечает. Он не признаёт затруднения — он раздражается.

Дальше поэты. Эти пишут прекрасно, и Сократ спрашивает их о смысле собственных строк. Выясняется, что объяснить они не могут, а посторонние толкуют их стихи лучше самих авторов. Сочиняют они не от знания.

Потом ремесленники. Вот здесь наконец настоящее умение: сапожник знает своё дело, и знает хорошо. Но, преуспев в ремесле, он считает себя знатоком и во всём прочем — в государственных делах, в воспитании, в богах.

Сократ возвращается домой с выводом, который стоил ему всех врагов, каких он нажил.

Умение в одном не переносится на другое. А чувство собственной осведомлённости переносится прекрасно.

Сам он при этом не выходит из обхода с приобретением. Знания у него как не было, так и нет; всё преимущество в том, что он про это знает, — и хвалиться тут решительно нечем.

Персона

Сократ описал этот обход на суде — не как оправдание, а как объяснение, откуда взялась вражда.

Он прямо говорит судьям: я обошёл тех, кто считался знающим, и каждый после разговора становился моим врагом. Не потому, что я их обманул, а потому, что обнаружилось при свидетелях, что они не знают того, что берутся знать.

Молодёжь, добавляет он, стала повторять его приём ради забавы — и злобу навлекла на него же.

Обвинение в развращении юношества выросло из этого буквально: подростки, копирующие манеру задавать неудобные вопросы отцам, раздражали куда сильнее, чем сам Сократ.

Он, впрочем, и от этого не отказывается — только уточняет, что учеников у него нет и платы он не берёт, а потому отвечать за чужие повторения не может.

Что говорит наука

Филип Тетлок начал в восьмидесятые годы масштабный сбор прогнозов: почти триста специалистов по политике и экономике за двадцать лет дали более двадцати восьми тысяч предсказаний с указанием вероятностей.

Результат оказался отрезвляющим. Средняя точность экспертов была немногим лучше случайной, а по ряду вопросов уступала простым статистическим правилам вроде экстраполяции текущей тенденции.

Второе наблюдение важнее первого. Известность и уверенность точность ухудшали: чаще выступавшие в прессе предсказывали хуже, чем менее заметные коллеги.

Различие, которое Тетлок обнаружил, пролегало по складу мышления, поверх границ между областями. Он позаимствовал у Берлина метафору лисы и ежа. Ежи знают одну большую идею и подгоняют под неё всё; лисы держат в голове много частных соображений, охотно меняют оценки и говорят «с одной стороны — с другой». Лисы предсказывали заметно точнее.

В поздних работах он показал и обнадёживающее: точность прогнозирования тренируется. Участники, которых учили разбивать вопрос на части, вести счёт своим попаданиям и корректировать оценки, улучшали результат.

Существенна и оговорка о применимости. Речь идёт о прогнозах в сложных областях с множеством взаимодействующих причин — политике, экономике, международных отношениях. В областях с быстрой и ясной обратной связью, вроде шахмат или метеорологии, экспертиза работает надёжно, и опыт там действительно накапливается.

Разницу определяет обратная связь: узнаёт ли специалист вовремя, что ошибся.

Сократ добывал ту же поправку вручную и без статистики — вопросами, которые никому не нравились.