Рациональность: От ИИ до Зомби полностью

Споры о том, какое значение вкладывать в слово, — даже в такое важное слово, как «рациональность», — бессмысленны. Привязка последовательности букв к определённым понятиям нужно для того, чтобы позволить людям обмениваться информацией(English); для того, чтобы помочь перенести мысли из одного разума в другой. Манипулирование этими привязками не может изменить мир.

Если ты понимаешь, примерно в каком направлении мы показываем, говоря о «рациональности», «эпистемической рациональности» и «инструментальной рациональности», то обмен информацией между нами уже произошёл. Нельзя достичь большего, оставаясь в рамках спора об определениях. Пришло время говорить не о том, какое понятие лучше всего привязать к набору слогов «ра-ци-о-наль-ность», а о том, каким образом стоит думать.

С учётом всего этого, имей в виду, что многие из нас будут считать спорным — как минимум — любое ненормативное толкование слова «рациональность».

Например, говорящий «убеждение X рационально, но убеждение Y правдиво», скорее всего, использует слово «рационально» в не совсем принятом здесь смысле (например, считается, что рациональность должна быть логически последовательна при переходе к рефлексии: т.е. «рациональный» взгляд на информацию и «рациональное» моделирование того, как твой разум «рационально» обрабатывает эту информацию, не должны вести к двум разным выводам). Аналогично с «рационально сделать X, но правильно сделать Y» — «рационально» или «правильно» сказавшего это человека почти наверняка не «рационально» или «правильно» большей части читателей.

В таких случаях — да и в любых других случаях, когда слова можно понять превратно, — рекомендуется говорить более конкретно: «Предельно эгоистичный поступок — убежать, но я хотя бы попытался стащить девочку с рельс» или «Причинная теория принятия решений говорит, что в задаче Ньюкома нужно выбрать оба ящика, но я лучше заберу миллион долларов».

Как правило, фраза «X рационально» означает то же, что «я думаю, что X правдиво» или «я думаю, что X хорошо», но просто звучит чуточку более вычурно. Зачем нужны отдельное слово «рациональность», когда есть «правдивость» и «хорошесть»? Потому что так легче говорить о методичных техниках добычи правды и выигрывания.

В слове «рациональность» хватает подводных камней, но есть куча неграничных случаев, в которых это слово отлично выполняет свою коммуникативную функцию; в таких ситуациях не бойтесь его использовать.

Но всё же не стоит злоупотреблять этим словом. Нельзя заработать очки, просто громко произнеся его вслух. Чрезмерно говорящий об Учении не достигнет просветления.

Мне сегодня рационально

Элиезер Юдковский

Есть распространённое мнение, что рациональность противостоит эмоциям: все оттенки грусти и все оттенки радости автоматически нелогичны лишь потому, что это всего лишь чувства. Что удивительно, я не нашел ни одной теоремы в теории вероятностей, которая бы доказывала, что я должен быть холодным и бесчувственным.

Выходит, рациональность вообще не имеет отношения чувствам? Это не так, ведь наши эмоции порождаются нашими моделями реальности. Если я решу, что мой мёртвый брат воскрес, я обрадуюсь; если я проснусь и пойму, что это был сон, я буду расстроен. Пэт Ходжилл однажды сказала: «То, что может быть разрушено правдой, должно быть разрушено». Во сне я был счастлив, но правда этому счастью противоречила. Проснувшись, я ощутил грусть, но эта грусть рациональна: нет такой правды, которая могла бы её разрушить.

Рациональность начинается с вопроса «каков мир на самом деле и как он работает», но словно вирус, распространяется на любую другую мысль, зависящую от того, каков он, по нашим представлениям. Убеждения о том, каков мир на самом деле, могут включать все, что ты думаешь о реальности, что существует, а что нет, и что угодно из класса «вещи, которые могут заставить случаться другие вещи». Если ты считаешь, что в твоем чулане живёт гоблин, который привязывает друг к другу шнурки твоих ботинок, то это — убеждение о том, как работает мир. Шнурки реальны: их можно потрогать. Сущность, которая может их связать, тоже должна быть реальной: она — часть гигантской сети причин и следствий, которую мы называем «вселенной».