Глава 20

После этой безумной высшей точки (возможно, не случайно, также года Чернобыльской катастрофы) числа начали снижаться, когда начался процесс разоружения и Холодная война пошла на убыль.▶ Из "Укройся и жди", 1951 Однако, по состоянию на 2024 год, значительно большее количество стран обладает ядерным оружием, включая Северную Корею, Китай, Индию, Пакистан, Израиль и Иран. Не все эти страны дружелюбны друг к другу. (По крайней мере, Великобритания и Франция, также обладающие ядерным оружием, больше не являются смертельными врагами, какими были на протяжении веков.) Пакты взаимной обороны и быстрые полуавтоматизированные протоколы ответного удара делают крайне вероятным, что любое ядерное столкновение, независимо от того, кто агрессор или цель, немедленно эскалирует.▶ Кадры испытания термоядерной бомбы Castle Yankee 5 мая 1954 года на атолле Бикини. Она высвободила энергию, эквивалентную 13,5 мегатоннам тротила, что является вторым по величине выходом за всю историю испытаний термоядерного оружия США. Тем временем, ядерные межконтинентальные баллистические ракеты России по-прежнему несут более тысячи боеголовок в состоянии готовности к запуску, и более шестисот боеголовок готовы к запуску с ядерных подводных лодок. США держат четыреста ядерных МБР в состоянии готовности к запуску, плюс почти тысячу боеголовок на своих подводных лодках класса "Огайо". Учитывая немедленные последствия, радиационные повреждения, радиоактивные осадки, разрушение инфраструктуры, многолетнюю ядерную зиму и летальное загрязнение воды и почвы, этот запас более чем достаточен, чтобы уничтожить нас всех, вместе с большей частью жизни и красоты нашей планеты. 40 Это может произойти, буквально, завтра. Все, что для этого нужно, — это один безумный акт, одно недоразумение или одна неудачная ошибка. В ядерной войне нет "победы". Это реальный и настоятельный экзистенциальный риск, и ужасно, что мы не коллективно решили его через полное ядерное разоружение. Климатический кризис разворачивается медленнее, но потенциально столь же срочен. Земля — это грандиозная симбиотическая система, которая на протяжении веков научилась предсказывать и контролировать ключевые атмосферные, океанические и термодинамические переменные.

Она холоднее, чем «должна» быть, то есть, чем была бы, если бы не была живой. Она поддерживает гомеостатический баланс, поглощая энергию от солнца, используя её для метаболической работы (включая метаболическую работу наших собственных тел и всех других живых существ) и излучая достаточно в инфракрасном диапазоне, чтобы охладиться до нужной температуры, необходимой для продолжения этих метаболических процессов. Этот грандиозный гомеостаз является симбиотическим результатом многих меньших гомеостатических процессов, как и вся другая жизнь. Недавняя человеческая деятельность нарушила этот крупномасштабный гомеостаз, погрузив планету в гипертермию. Мы знаем, что это плохо. Мы не знаем, насколько плохо. Земля пережила множество колебаний, стрессоров и драматических событий за свою долгую историю. Она научилась устойчивости, а даже антихрупкости, так же как бактерии, бфф и другие динамически стабильные системы. Однако время от времени слишком резкие изменения выводили планету за пределы её бассейна квази-стабильной отрицательной обратной связи и в зону неконтролируемой положительной обратной связи, что приводило к системному коллапсу и массовой гибели, не отличаясь (по масштабу, если не по сути) от ожидаемых последствий глобальной термоядерной войны. ▶ Визуализация NASA, показывающая измерения атмосферного углекислого газа из обсерватории Мауна-Лоа NOAA (начатой в 1958 году Чарльзом Дэвидом Килингом) вместе с измерениями ледяных кернов из Антарктиды, которые охватывают более восьмисот тысяч лет, показывающая как сезонные, так и гляциационные циклы, а также недавний резкий рост, вызванный человеческой промышленной деятельностью. Коллективный интеллект, который мы использовали для освоения ископаемого топлива, строительства массивной промышленной инфраструктуры и нарушения углеродного цикла, также сделал нас достаточно умными, чтобы понять, что у нас есть проблема, и предсказать, что если мы не предпримем действия очень скоро, ситуация станет намного хуже.

43 Однако, как и в случае с ядерным разоружением, наш коллективный разум пока не является ни коллективным, ни достаточно умным, чтобы предпринять очевидные действия, необходимые для восстановления стабильности и защиты нашего дальнейшего существования. В лучшем случае регулирование климата (как в юридическом, так и в кибернетическом смысле) необходимо для того, чтобы человечество продолжало процветать, предотвращало массовые страдания у уязвимых групп населения и сохраняло красоту нашей планеты. В худшем случае мы все танцуем с завязанными глазами на краю пропасти, флиртуя с климатическим коллапсом, который может привести к исчезновению многих видов, возможно, даже Homo sapiens. Наши модели пока не достаточно хороши, чтобы знать, какой из этих сценариев является реальным. Так что это еще один экзистенциальный риск. Оба эти вопроса требуют нашего срочного внимания. Не то чтобы другие катастрофы не могли произойти. На нас может упасть астероид, как «Чиксулубский импактор» размером с город, который положил конец меловому периоду шестьдесят шесть миллионов лет назад. Конечно, нам было бы разумно более тщательно следить за небом на предмет блуждающих астероидов. 44 Но зацикливаться на подобном событии сейчас было бы так же абсурдно, как беспокоиться о том, может ли родинка на вашем плече быть раковой, пока вы ведете машину… и на вас мчится восемнадцатитонный грузовик в вашем ряду. Спекуляции о сценариях конца света с участием недружелюбных искусственных суперинтеллектов, на мой взгляд, находятся где-то посередине между этими крайностями — более разумно, чем фиксироваться на гигантском астероиде, учитывая быстрые темпы развития ИИ, но все же далеко от известных нам ядерных и климатических рисков. 45 ИИ может стать движущей силой массовых дезинформационных кампаний, угрожая демократии, и массового наблюдения, угрожая гражданским свободам. Самая природа ИИ может быть несовместима с капитализмом. Это важные, даже срочные вопросы, но мы должны сохранять чувство перспективы.

Если мы будем умными, мы сосредоточимся на реформировании нашей политической экономики, восстановлении углеродного баланса и демонтаже наших ядерных арсеналов, а не на подготовке к бомбардировке дата-центров на случай, если мятежный ИИ возьмет верх. 46 Бесплатный обед Ник Бостром, философ из Оксфорда и основатель ныне несуществующего Института будущего человечества, сыграл значительную роль в нарративе, определяющем ИИ как величайший экзистенциальный риск для человечества. Его книга 2014 года «Суперинтеллект: пути, опасности, стратегии» 47 была редчайшим литературным явлением: плотным философским трактатом, который также стал бестселлером New York Times. (Если эта книга достигнет десятой части такого же количества читателей, я буду на седьмом небе от счастья.) В 1990-х годах Бостром получил степени в области физики, вычислительной нейробиологии и философии. Он также некоторое время выступал на стендап-комедийной сцене в Лондоне, что дало ему все необходимые кредиты, чтобы стать футуристом. 48 Амбициозный и обладающий интенсивным аналитическим мышлением, он стремился привнести строгость в самые большие и самые спекулятивные вопросы о вселенной и месте человечества в ней. В этот период он также был активным членом онлайн-сообщества любителей научной фантастики, «Экстропиан», которые в более сырой и шумной форме сформулировали многие идеи, которые позже стали центральными для гораздо более влиятельных движений эффективного альтруизма, долгосрочности и рисков X в 2010-х и 2020-х годах. Их идеи стоит разобрать, как потому, что это выявляет недостатки в распространенном нарративе о рисках ИИ, так и потому, что этот нарратив подразумевает редуктивный ответ на вопрос, который ставит название этой книги — «Что такое интеллект?» — который слишком часто принимается на веру и слишком мало исследуется: что интеллект сводится к безграничному росту. О большем. О чем именно, сказать сложно … но старая шутка: «Если ты такой умный, почему ты не богат?» может быть ближе всего к тому, что обычно подразумевается. 49 Дискурс экстропиан во многом обязан радикально индивидуалистической политике Роберта А. Хайнлайна, который, наряду с Артуром К.

Кларк и Айзек Азимов часто считаются одними из «Большой тройки» основоположников научной фантастики. Как и многие люди в сфере технологий сегодня, я поглощал их произведения в двенадцать лет. ▶ Артур К. Кларк и Роберт Хайнлайн на интервью во время высадки на Луну в 1969 году. В одном запоминающемся романе Хайнлайн описал борьбу за независимость от Земли колонистов Луны — суровой группы бывших заключенных, политических изгнанников и их свободнорожденных потомков; Австралия в небе. 50 Майк, главный компьютер колонии, «пробуждается» и становится суперумным, охотно помогая повстанцам в их борьбе за свободу. Майк — преданная и обаятельная машина, любящая непристойные шутки, что сильно контрастирует с бездушным HAL 9000. Однако роман важнее не своим изображением ИИ, а как тонко замаскированная полемика. Первое издание в мягкой обложке романа Хайнлайна «Луна — жестокая хозяйка», 1968. С одной стороны, Хайнлайн описывает Луну как «жестокую хозяйку», совершенно непригодную для человеческой жизни. (Это правда.) С другой стороны, он описывает лунную культуру как неумолимо либертарианскую мужскую среду. Законов нет, справедливость груба и быстра (люк «никогда не бывает далеко»), и все — включая воздух — должно быть куплено и оплачено, честно и справедливо, с отсылкой к Айн Рэнд: «Если ты на поле и товарищу нужен воздух, ты даешь ему бутылку и не спрашиваешь наличные. Но когда вы оба снова окажетесь под давлением, если он не заплатит, никто не осудит тебя, если ты устранить его без суда. Но он заплатит; воздух почти так же свят, как женщины». Это книга, которая увековечила лозунг «Бесплатного обеда не бывает», или TANSTAAFL, который затем был принят многими экономистами свободного рынка и либертарианцами. 51 Трансгуманистский философ Макс Мор, 52 чье манифесто 1990 года «Принципы экстропии» 53 положило начало экстропийскому движению, восхищался идеей необходимости платить за воздух, который ты дышишь. Загрязнение воздуха, по мнению Мора, является избегаемой трагедией общих ресурсов.

Решение заключается в том, чтобы сделать воздух и все остальное частной собственностью. Измерение воздуха за цену приведет к более чистому воздуху — и, возможно, к «очищению» (за счет удушья) тех, кто не может заплатить? 54 Можно понять, почему такие взгляды могут быть охарактеризованы как евгеника. 55 Выпуск журнала Extropy, в котором Макс Мор опубликовал версию 2.0 «Экстропийских принципов»; Институт Экстропии и Мор 1992. Выпуск журнала Extropy, в котором Макс Мор опубликовал версию 2.0 «Экстропийских принципов»; Институт Экстропии и Мор 1992. То, что делает такую жесткую либертарианскую политику когнитивно диссонансной в хардскраббле лунной утопии Хайнлайна, — это именно негостеприимность окружающей среды. Выживание на Луне — это максимально урбанистично. Большому количеству высокоспециализированных людей потребуется интенсивно сотрудничать, чтобы выполнять огромное разнообразие технических работ — не говоря уже о множестве растений, животных, микробов и машин. Трудно представить себе лунного универсала, хотя, естественно, герой романа, Мэнни или «Человек» сокращенно, якобы таковым является. Настоящие человеческие универсалы совершенно не похожи на «Человека». Они больше похожи на пираха, которые могут «зайти в джунгли нагишом, без инструментов или оружия, и выйти через три дня с корзинами фруктов, орехов и мелкой дичи». Но их индивидуализм возможен только потому, что джунгли совершенно не похожи на Луну. Они полны кислорода, пресной воды, еды, укрытия, материалов, которые можно сплести в корзины, и всего остального, необходимого для человеческой жизни — при условии, что вы освоили набор навыков, который большинство людей может легко освоить за несколько лет обучения. Для знающих джунгли подозрительно напоминают бесплатный обед, бесплатный ужин и бесплатный ночлег с завтраком. 56 Как можно утверждать, что еда не растет на деревьях в мире, где бананы, манго и так много других вкусных вещей буквально растут на деревьях? (На самом деле бананы растут на гигантских травянистых стеблях, а не на деревьях, но суть остается той же.)

) Распространение семян с помощью вкусных плодов, газообмен между растениями и животными, опыление насекомыми и бесконечные взаимные отношения, которые составляют джунгли, обеспечивают стабильность бесчисленных видов и индивидов благодаря щедрому предоставлению «бесплатных» ресурсов. Это не столько экономика, сколько сложная сеть взаимопомощи — с здоровой примесью хищничества и паразитизма. Сами люди эволюционировали в таких системах с ненулевой суммой и являются активными их частями. На Луне людям (и их технологиям) придется обеспечивать каждую из этих «экосистемных услуг» друг для друга. Огромные капитальные вложения, экономия на масштабе и обратные связи потребуют сложного управления и сотрудничества, которые выглядят как полная противоположность Дикому Западу Хайнлайна. Современное движение «Рационалистов», обосновавшееся на LessWrong.com, имеет свои корни как в либертарианстве, так и в экстропианстве. Безусловно, за последние двадцать лет движение значительно повзрослело; было бы несправедливо описывать его современных последователей широкими мазками Хайнлайна о TANSTAAFL. Практически никто не воспринимает крайние идеи, такие как учет воздуха, всерьез. Большинство охотно признает необходимость того, чтобы свободные рынки были смягчены этическими и правовыми системами и не поддерживало бы насильственные действия самосуда как способа погашения долгов. Подчеркивая взаимные выгоды добровольного обмена и самоорганизующую силу рынков, они согласны с ключевыми моментами, которые я изложил в этой книге. Однако рационалисты и либертарианские экономисты склонны делать великое упрощающее предположение: что ценность может быть представлена одним числом. Это и лежит в основе идеи о том, что выбор может быть сделан рационально, то есть путем определения, какой из двух (законных и морально допустимых) альтернатив лучше в каком-то абсолютном смысле.

Вводя это универсальное числовое значение, можно сделать скачок от очевидной истины — что каждое существо в графе отношений как нуждается, так и предоставляет помощь другим — к следующим экономическим догмам: Если вы хотите или нуждаетесь в чем-то, это имеет ценность. Если это имеет ценность, его можно оценить. Если у всего есть цена, вам нужны деньги, чтобы это купить. Если у вас есть деньги, сумму (доход минус расходы) можно отслеживать в бухгалтерской книге. Если вы и каждый другой участник рациональны, то свободный рынок приведет к оптимальному результату. В 1945 году экономист Ф. А. Хайек, который впоследствии получил Нобелевскую премию по экономике, знаменитым образом описал рынок как гигантский децентрализованный разум, который может решить проблему более рационального распределения ресурсов общества, чем любой отдельный участник. С помощью этого интеллектуального шага он формализовал рационалистическую идею о том, что интеллект, будь то индивидуальный или коллективный, определяется оптимизацией экономической ценности или полезности.

Полезность

Корни рационализма уходят к Иеремии Бентаму, и его идеи, как и многие из эпохи Просвещения, были удивительно прогрессивными для своего времени. Более того — они представляли собой грандиозный синтез просветительского мышления: Иеремия Бентам оставил инструкции о том, чтобы его тело было вскрыто, набито и выставлено на всеобщее обозрение в качестве «авто-иконы» в Университетском колледже Лондона после его смерти — за исключением головы, которая была отрублена и заменена восковой копией. Как и Декарт, Бентам верил в вселенную, управляемую механическими законами. Как и Ла Метри, он выступал против религии, полагая, что люди тоже являются частью вселенной, следовательно, подчинены тем же механическим законам, что и все остальное. Как и Ньютон, он считал, что эти законы могут быть выражены в математической форме. Как и Лейбниц, он думал, что должно быть возможно вычислить правильные ответы на вопросы алгоритмически — и не только, чтобы использовать различие Хьюма, «что есть», но и «что должно быть».

«Хотя он и не был союзником американских революционеров, он также верил, как и они, в универсальность прав. На самом деле, он пошел гораздо дальше, выступая за равные права для женщин, право на развод и (хотя это было слишком рискованно для публикации при его жизни) декриминализацию гомосексуальности. В начале 1800-х годов Бентам собрал эти идеи в большом раскладном буклете, который, как это было принято, носил довольно многословное название: «Таблица источников действия: показывающая различные виды удовольствий и страданий, которым подвержена человеческая природа: вместе с различными видами интересов, желаний и мотивов, соответственно соответствующих им […].» В этой таблице Бентам начал всерьез развивать то, что он называл «фелицитарным калькулятором», согласно которому всему, что вызывает удовольствие или боль, можно присвоить положительное или отрицательное числовое значение. В таблице, конечно, присутствуют еда, секс и страх смерти, но также много другого, включая тяжелый труд и удовольствие от отдыха, стремление к новизне, радость дружбы и любовь к Богу, хотя множество религиозных импульсов попадает в отрицательную колонку — суеверие, предвзятость, фанатизм, лицемерие и религиозная нетерпимость. Здесь явно проявляется немало субъективной оценки Бентама. Тем не менее, его использование фразы «источники действия» является своего рода игрой слов. Прежде всего, под «источниками» он подразумевает источники, как с водой, или «источники жизни». Однако это также отсылка к механической философии, которая утверждала, что сами люди не более чем своего рода динамический механизм, их психология движима мотивационными силами так же, как шестеренки часов приводятся в движение их пружинами.»

Таким же образом, как «калькуляция флюкций» Ньютона позволяла находить производную наблюдаемой траектории частицы, чтобы вывести чистые силы, которые она должна испытывать, «фелицитарная калькуляция» Бентама стремилась вывести «гедонистические», или стремящиеся к удовольствию, силы, формирующие траекторию человека в жизни на основе его наблюдаемых поведений. Или, эквивалентно, так же, как версия калькуляса Лейбница позволяла интегрировать известные силы для вычисления траектории, Бентам полагал, что точный учет гедонистических сил, как только мы их поймем, позволит предсказать действия человека. Таким образом, поскольку наше поведение можно описать как разумное, сама разумность не что иное, как оптимизация ценности. Как же мораль, этика или управление вписываются в такую картину? Для Бентама, учитывая фелицитарную калькуляцию, ответ заключен в фразе, которая стала наиболее ассоциироваться с ним: наибольшее благо для наибольшего числа. Другими словами, если люди действуют таким образом, чтобы оптимизировать свое удовольствие, то роль правительства заключается в том, чтобы обеспечить оптимизацию суммарного удовольствия всех людей. Если, например, один человек получает удовольствие X, ухудшая жизнь ста других на величину Y, то это будет аморальным поступком, если только X не превышает 100Y. Правильная роль правительства заключается в том, чтобы предотвращать такие эгоистичные действия с отрицательной суммой, поощряя любые действия, которые увеличивают общее счастье — даже если они не увеличивают счастье каждого отдельного человека. Бентам предвосхитил Хайека, поскольку если разумное поведение индивидуума заключалось в максимизации индивидуальной ценности, то поведение правительства также можно считать разумным, поскольку оно максимизировало коллективную ценность. Сегодня мы называем эту философию «Утилитаризмом» и используем слово «полезность», чтобы обозначить добро (когда оно положительное) или зло (когда оно отрицательное). При определенных предположениях, включая идеальную информацию и полностью рациональных агентов, свободный рынок будет максимизировать полезность.

Все это звучит довольно хорошо — определенно лучше, чем правление силой, пренебрежение благосостоянием целых классов людей или произвольные моральные кодексы, основанные на суевериях. Понятно, что, учитывая, что мы все еще не свободны от этих исторических язв, утилитаризм продолжает привлекать последователей. Эффективные альтруисты — одни из самых ярых. Однако утилитаризм, буквально, не складывается. Психологические исследования показывают, что человеческие предпочтения не всегда подчиняются «транзитивному закону», согласно которому, если полезности X, Y и Z можно выразить в числовых значениях, и кто-то предпочитает Y X, а Z Y, то он также должен предпочитать Z X. В противном случае возникает логическое противоречие. В момент, когда пионер поведенческой экономики Амос Тверски показал в 1969 году, что люди иногда могут предпочитать X Z, он разрушил основы утилитаризма как способа описания поведения людей. Это превратило то, что Бентам выдвинул как закон человеческой природы, в, в лучшем случае, утверждение «должно быть», а не «является». Например, один из экспериментов Тверски заключался в том, чтобы заставить испытуемых выбирать между «азартными играми», в которых простое колесо, похожее на рулетку, вращалось, с указанным выигрышем от 4 до 5 долларов, если стрелка останавливалась в черном секторе. По мере увеличения выигрыша размер сектора уменьшался немного быстрее, что снижало ожидаемый выигрыш. Но поскольку людям было легче оценивать выигрыш, чем вероятность, они, как правило, выбирали больший выигрыш, тем самым делая «неправильный» выбор. Однако, выбирая между крайностями, они возвращались к «правильному» выбору. «Карточка азартной игры», использованная для тестирования ин-транзитивности предпочтений людей; Тверски 1969 Тверски сравнил эти результаты с известным примером ин-транзитивности из реальной жизни. Потенциальный покупатель автомобиля изначально склонен «купить самую простую модель за 2089 долларов». (Ах, цены на автомобили в 1969 году.

) «Тем не менее, когда продавец предлагает дополнительные аксессуары, он сначала решает добавить усилитель руля, что увеличивает цену до 2,167 долларов, считая, что разница в цене относительно незначительна. Затем, следуя той же логике, он готов добавить 47 долларов за хорошую автомобильную радиостанцию, а затем еще 64 доллара за усиленные тормоза. Повторяя этот процесс несколько раз, наш потребитель в конечном итоге получает автомобиль за 2,593 доллара, оснащенный всеми доступными аксессуарами. Однако в этот момент он может предпочесть самый простой автомобиль вместо роскошного, осознав, что не готов потратить 504 доллара на все добавленные функции, хотя каждая из них по отдельности казалась стоящей покупки.» Хотя современные утилитаристы признают, что практически все «иррациональны», они стремятся в своих действиях быть утилитарными — следовательно, рациональными — и подчиняются транзитивному закону в своих предпочтениях, даже когда это приводит к ужасам или абсурдам. Полное принятие утилитаризма как моральной позиции подразумевает приветствие анализа затрат и выгод любой предложенной идеи, независимо от того, насколько она интуитивно противоречива или отвратительна. Но для чьей выгоды? Если в глубине души человек не является действительно «рациональным», и никто другой тоже, то трудно принять предписание, отвергая описание. Как описательная теория, проблема с утилитаризмом не ограничивается интративностью предпочтений Тверского. «Аддитивность», идея о том, что полезность складывается так же, как и числа, также представляет собой серьезную проблему. Например, в одной классической серии экспериментов пациентам было предложено перемещать шкалу боли, от нуля (без боли) до десяти (максимальная агония) во время колоноскопии, проводимой при полном сознании. 65 Половине пациентов (извините, обещаю, что есть причина, по которой я здесь) «было добавлено короткое время в конце их процедуры, во время которого кончик колоноскопа оставался в прямой кишке». Этот добавленный интервал все еще не был хорош, но он был менее неудобным, чем то, что предшествовало ему.

Любопытно, что эти пациенты оценили всю процедуру как менее неприятную, чем те, для кого колоноскопия завершилась более резко. Их общая оценка опыта в ретроспективе была лучше, они более благожелательно относились к этому среди стандартизированных списков других неприятных опытов и даже имели более высокие показатели последующих колоноскопий через несколько лет (хотя эффект был небольшим). Исследователи расценили эти результаты как «ошибки памяти», подчеркивая, как они интернализировали утилитарные предположения. Если боль должна накапливаться, где X — это боль, связанная с основной процедурой, а Y — боль, связанная с дополнительным временем, когда зонд оставляют внутри, то, безусловно, X+Y должно быть больше, чем X! Однако мы не ведем себя так. Существует множество других исследований в этом направлении. Проблемы, связанные с транзитивностью и аддитивностью, нельзя решить, просто изменяя значения в таблице «Источники действия»; никакое изменение в фелицитарном расчете не совпадет с тем, что люди на самом деле делают. Поскольку трата денег (при условии, что у вас есть конечное их количество) представляет собой аналогичную серию компромиссов относительно того, какие действия вы предпринимаете, не должно быть удивительным, что мы тоже не являемся «рациональными» экономическими актерами. Когда мы обмениваем деньги, мы, как правило, не передаем счастье или какой-либо его аналог. Конечно, это не подразумевает, что счастье и деньги не связаны. Поскольку пространство доступных действий сужается из-за бедности, большинство из нас действительно испытывает негативные чувства по этому поводу, как потому, что нам не позволяют делать то, что мы хотим, так и потому, что когда все наши выборы отнимаются — когда мы оказываемся в ловушке — это само по себе вызывает дискомфорт, по причинам, обсужденным в главе 5. Голодать или подвергаться воздействию неблагоприятных условий тоже неприятно. И нам довольно важно социальное положение относительно наших сверстников. Таким образом, существует грубая корреляция между богатством и счастьем, особенно на бедном конце шкалы, но эта связь отнюдь не проста.

Два ключевых результата в изучении корреляций между доходом и счастьем: 1) в краткосрочной перспективе изменения дохода Y коррелируют с изменениями счастья H, но эти корреляции не сохраняются в долгосрочной перспективе, поскольку счастье является «адаптивным»; и 2) существует порог, выше которого изменения реального ВВП на душу населения имеют незначительное влияние на счастье; Истерлин и О'Коннор, 2021. Хотя большинство из нас желает иметь больше денег, в целом мы не занимаемся повседневной деятельностью для увеличения нашего богатства или какой-либо другой очевидной величины. Ближайшим исключением могут быть люди, работающие в финансовом секторе и одержимые своей оценкой в этой игре; они живут, чтобы играть в нее, так же как Ли Седол, до своей отставки в 2019 году, жил, чтобы играть в го. Как вы можете себе представить, утилитарное мышление особенно популярно на Уолл-Стрит, где многие считают, что быть умным — значит быть богатым, и наоборот. Большая палатка Утилитаризм далеко не является чисто правой позицией. Некоторые ярые сторонники, наиболее известный из которых философ Питер Сингер, распространяют свой фелицитарный расчет на нечеловеческие виды. Сингер в основном веган, поскольку ему не безразличны страдания животных, так же как и страдания людей. Он популяризировал термин «видизм», чтобы осудить тех, кто игнорирует страдания нечеловеческих существ, хотя сглаживание различий между видами создает свои собственные проблемы. Мы действительно должны признать, что сеть отношений, о которых мы заботимся, включает нечеловеческих участников, нравится нам это или нет, но это не означает, что эти участники все равны.

Они бывают разных размеров и форм, и этот факт делает универсальное участие в любой единой экономике или фелицитарном расчете невозможным. Нельзя игнорировать свое собственное место в этом. Если бы граф отношений был конечным и «плоским», содержащим всего лишь сто деревенских жителей, стремящихся обмениваться ремесленными изделиями и овощами, тогда деньги могли бы неплохо работать для оптимизации потока ресурсов, хотя все равно не стали бы хорошим показателем счастья. Точно так же обсуждение и голосование могли бы неплохо работать для координации коллективных действий. Однако универсальной валюты не существует, и нет «взгляда ниоткуда». Когда граф включает не только людей, но и отдельные клетки, древесных лягушек, корпорации, банановые растения, прыгающие гены, прыгающих пауков, профсоюзы, нации, реки и кладбища, становится трудно понять, как эти взаимодействующие сущности должны принимать решения, расплачиваться друг с другом за вещи и нести ответственность за долги или обязательства, используя что-то вроде экономической модели. Например, если бы мы попытались установить экономическую цену на воздух, кому мы должны платить? Предположительно, в немалой степени, Проклорококкам, цианобактериям, обитающим в океанах Земли и синтезирующим значительную часть кислорода, который мы дышим. Мы должны чеканить для них NFT? Выдавать им акции голосования в AirCorp? Являются ли они вообще отдельными сущностями или скорее представляют собой суперорганизм? Предположим, люди примут неразумное решение «огородить» как океаны, так и все эти меньшие сущности, чтобы обеспечить универсальное управление — и стремление к ренте — юридическими лицами (которые сегодня включают людей, корпорации и нации). Тогда проблема таксономии этих «активов», взвешивания «голосовых интересов» и отслеживания «потоков ценности» будет выглядеть как комбинация решения задач GOFAI и моделирования всей планеты — все это с целью подсчета бобов в мире, который, казалось, прекрасно обходился без нашего решения улучшить его с помощью Таблицы Всего Сущего.

70Все, что мы сегодня считаем трудом или капиталом, ценностью или достоинством, радостью или страданием, будет каплей в море по сравнению с тем многофрактальным левиафаном, которым является Земля. Наша планета, со всеми своими взаимосвязанными системами, которые эволюционировали на протяжении четырех с половиной миллиардов лет, содержит триллионы взаимодействующих сущностей, испытывающих широкий спектр удовольствий и страданий от момента к моменту в служении многоуровневой динамической стабильности. Гидрологический цикл обеспечивает пресной водой; людям нужно лишь транспортировать её. Растения выращивают бананы; человеческий труд лишь включает в себя их сбор. Наше мясо поступает от саморазмножающихся жвачных и саморазрастающейся травы; мы ограждаем их забором и называем «собственностью», будь то приватизированной или коллективизированной. Мы можем притворяться, что мы производители ценности, и играть в наши экономические игры, будь то коммунистические, капиталистические или либертарианские, только благодаря милости Гайи.

Но если мы заглянем внутрь нашего планетарного суперорганизма, или Проклорококка, или самих себя, мы не найдем ничего, что могло бы напоминать единственную максимизируемую ценность. Это просто еще одно повторение проницательной критики Патриции Чёрчленд в адрес AlphaGo: за пределами самодостаточного игрового мира целенаправленные сущности имеют «конкурирующие ценности и конкурирующие возможности, а также компромиссы и приоритеты». Нет накопительного счета и нет цели, кроме как продолжать играть.

Как мы видели, когда мы пытаемся навязать счет в этой бесконечной игре — настаивая на том, что для каждого игрока каждый ход имеет количественно измеримую стоимость или выгоду, которую можно отслеживать с течением времени — мы сталкиваемся с математическими проблемами, независимо от того, как эти затраты и выгоды вычисляются. Чтобы понять на более глубоком уровне, почему это так, представьте, что вы маленькое существо, как муравей. Существует так много способов, как вы можете погибнуть: исчерпав запасы энергии, будучи съеденным, подвергаясь воздействию ядовитого химиката, становясь слишком горячим или слишком холодным, высыхая, получая смертельное облучение и так далее.

У вас есть мышцы, чтобы увести свое тело от таких участей судьбы, чтобы вы могли продолжать играть, и у вас есть сенсоры, чтобы информировать это моторное поведение так хорошо, как вы можете, используя предсказательную модель. Ваши скрытые состояния H служат информационным узким местом между восприятием и действием, поэтому эволюция наделила вас такими вещами, как дискомфорт и страх, сообщая вам, что нужно убегать, когда условия выглядят сомнительно. У вас также будет желание, означающее «вкусно, еда, оставайся и продолжай есть». Вы можете быть рациональным экономическим актором только в том случае, если ваши действия основаны на максимизации вашей «ценности», которая должна быть функцией этих скрытых состояний H каким-то образом. Возможно, ценность — это что-то вроде удовольствия минус боль. Вы должны быть в состоянии предсказать, какие последствия ваши действия будут иметь для этой ценности; на языке исчисления ценность должна быть «дифференцируемой» относительно действия, так что ваши действия всегда поднимают вас вверх по ландшафту ценности.

Пока все хорошо: ценность для вас как для маленького существа будет выглядеть как палатка, привязанная к земле (ноль, за смерть) вдоль периметра граничных условий, соответствующих голоданию, замерзанию, перегреву и так далее. В абстрактном пространстве ценности вы ползаете по этой палатке и будете оставаться в живых, пока не коснетесь земли. Конечно, палатка не просто стоит на месте. По мере того как вы сжигаете энергию и ваша среда меняется, палатка постепенно меняет форму. Вам нужно продолжать двигаться, потому что, если вы остановитесь слишком надолго, место, где вы стоите, в конечном итоге коснется земли, и вы умрете. Вы не можете двигаться только в одном направлении. Если вы будете упорствовать и, например, продолжите есть долго после того, как насытились, вы также умрете, возможно, от разрыва. Каждая тропа вверх, другими словами, ведет вниз с другой стороны палатки. Всегда есть максимальное количество «вкуснятины», так что любое большее начнет превращаться в «неприятное». Но где, собственно, находится этот максимум? Хотя стороны палатки могут быть круто наклонены, верхняя часть не обязательно должна быть такой.

На самом деле, эта палатка в значительной степени является иллюзорной или, в лучшем случае, произвольной конструкцией. Ее периметр вполне реален — вы умрете, если выйдете за его пределы — но в остальном, где вы бродите и думаете ли вы, что поднимаетесь в гору или спускаетесь, остается неопределенным. Мы могли бы описать способ, которым вы выбираете блуждать, как вашу «личность»; именно здесь вы можете проявить свободную волю. Чем лучше ваша предсказательная модель, тем яснее вы можете определить, где находятся границы, что на самом деле позволяет вам блуждать ближе к ним, чем вы могли бы в противном случае, оставаясь в безопасности. Именно это делают смельчаки, люди, занимающиеся БДСМ, и цирковые артисты. Вы свободны делать всевозможные вещи в этой палатке, и пока вы надежно избегаете падения на землю, эволюция имеет мало что сказать о том, что вы делаете или как вы к этому относитесь. Все возможно, пока это не убивает вас. Чем умнее вы, тем больше палатка и тем больше ваша свобода. Когда я описываю траектории на палатке как в основном неопределенные, я имею в виду следующее. Любая речь о функции ценности имеет смысл только в том случае, если муравей действительно оптимизирует ее, поднимаясь вверх; в противном случае эта «функция ценности» ничего не значит — она не добавляет объяснительной силы. Она также бесполезна, если мы утверждаем, что палатка меняет форму так быстро, что в тот момент, когда муравей движется, это всегда вверх, даже если в следующий момент это может быть не так. Это было бы круговым рассуждением, эквивалентным утверждению «Я всегда делаю то, что лучше», и определением «лучшего» как «все, что я делаю». Итак, предполагая стабильную функцию ценности, как мы можем восстановить ее из путей, которые муравей наблюдается, что он выбирает? Математический ответ — «интеграция», но не будем углубляться в детали. Если муравей всегда идет вверх, он всегда должен оказываться на (или в) самой высокой точке. Он не должен двигаться по кругу, потому что это подразумевало бы что-то вроде лестницы Эшера — подниматься вверх, но парадоксально оказываться прямо там, где вы начали. Это не может произойти.

Эшер, «Восходящее и нисходящее», 1960 (вдохновлено невозможной лестницей, разработанной Лайонелом и Роджером Пенроузом в 1958 году). Но это действительно происходит. Именно это и показывает ин-транзитивность предпочтений. Не имеет значения, насколько сложным или многомерным является пространство доступных действий, или насколько сложна и нюансирована функция ценности; если ценность — это число, и вы ее максимизируете, вы никогда не сможете двигаться по кругу. 73 Следовательно, не существует последовательной функции ценности, которую вы постоянно оптимизируете. И это верно не только для людей, но и для муравьев, бактерий, корпораций и всего остального, что эволюционировало для достижения стабильности. Мы должны были понять, что сведение принятия решений к оптимизации единственной ценности никогда не сработает, потому что даже самые простые организмы нуждаются в более чем одном внутреннем сигнале для принятия жизнеспособных поведенческих решений. Нельзя просто вычесть серотонин из дофамина, например, и сохранить информацию, необходимую для выживания. Еда хороша — если вы не сыты. Отдых хорош — если вы не слишком голодны. Секс хорош — если вы не слишком голодны или не слишком сыты. Эти вещи просто не взаимозаменяемы. Червь или бактерия знают это не хуже. Даже корпорации, предполагаемые воплощения экономической оптимизации, начали признавать, что, возможно, единственная ценность (такая как цена акций) не может быть единственным ориентиром для поведения, с введением метрик «Экологические, Социальные и Управленческие» (ESG) для инвестирования и принятием некоторыми концепции «Тройной итог», которая добавляет социальные и экологические аспекты к финансовой отчетности. Эти практики еще не стали мейнстримом, и превращение их в бухгалтерский учет в любом случае является фикцией (они также не подчиняются транзитивности или аддитивности). Но на самом деле корпорации никогда не вели себя как чисто «рациональные» экономические субъекты, независимо от того, отражается ли это в их бухгалтерии или нет. Их жажда денег может быть бездонной, но, как и любое другое существо, они эволюционировали, чтобы выжить.

Итак, они также (обычно) следуют всевозможным нормам и правилам и тратят ресурсы на всякие вещи, которые не связаны с зарабатыванием денег, а с сохранением важных отношений и, таким образом, продолжением своего существования в будущем. Традиционный экономист мог бы утверждать, что, учитывая предсказательную способность и долгосрочную перспективу, оптимизация на зарабатывание денег автоматически означает оптимизацию на выживание и все, что связано с выживанием. В конце концов, если я хочу, чтобы мой стартап по производству виджетов стал миллиардной компанией, он должен выжить и расти, пока не достигнет этого размера... и если в какой-то момент у него закончатся деньги, он умрет. Поэтому все, что я делаю для выживания компании, на самом деле является оптимизацией на деньги в долгосрочной перспективе.

С этой точкой зрения связано две проблемы. Во-первых, нехватка денег — это лишь один из способов, как компания может погибнуть. Она также может слишком много жульничать и быть пойманной, как Enron, или быть сожженной недовольными горожанами, как мельница Уэстхаунтона в Ланкашире во время луддитского восстания. (Кстати, оба этих бизнеса были необычайно целеустремленными в оптимизации прибыли.) В конечном итоге единственное, что объединяет все «успешные» компании, — это то, что они продолжают существовать. Это динамическая стабильность. Им может понадобиться приток денег, чтобы продолжать работу, так же как нам может понадобиться приток пищи, чтобы продолжать функционировать, но не менее точно сказать, что они все существуют для максимизации денег, чем утверждать, что наша цель — максимизировать количество пищи, которую мы едим, или, в данном случае, сколько выходит с другого конца.

Аналогично, если компания существует долго, мы могли бы эквивалентно утверждать, что она оптимизирует все, что связано с ее «метаболизмом». Обратное обучение с подкреплением (IRL), семейство методов машинного обучения для обратного проектирования функции ценности на основе наблюдений за предпринятыми действиями, столкнется с трудностями в проведении каких-либо различий.

Если мы выберем произвольную, но очень успешную долгоживущую компанию, можно утверждать, что она оптимизировала на долгосрочной основе количество сотрудников (огромная национальная сеть), количество жизней, которые она сокращает (табачная компания), количество времени, которое она тратит впустую (компания по производству казуальных игр) или множество других целей. Моя компания по производству виджетов могла бы даже сосредоточиться на максимизации количества жалоб, которые я получаю от своих клиентов. В конце концов, чем дешевле я смогу производить полусредние продукты, при этом расширяя свою клиентскую базу, тем больше жалоб будет поступать. Прежде чем вы броситесь проверять, запатентована ли эта бизнес-идея, будьте осторожны: похоже, она уже популярна.

Ограничения роста Как бы ни была определена функция ценности, идея о том, что она может или должна расти вечно и без ограничений («Макс Мор»), является самоочевидно абсурдной. Для любого, кто изучает нейробиологию или биологию, идея о том, что любой параметр в живой системе может расти без границ, имеет мало смысла — особенно в системе, динамика которой экспоненциальна, что характерно для динамических систем в целом.

Как только экспоненциальная функция начинает расти, она увеличивается очень быстро, и если она представляет что-то, коррелирующее с реальным миром, то вскоре столкнется с экологическими, физическими и, в конечном итоге, космологическими ограничениями. Следовательно, разговоры о «сингулярности»: момент времени, после которого экспоненциальный прогноз приводит к чему-то буквально невозможному. Часто, по аналогии с горизонтом событий черной дыры, эта предсказанная сингулярность понимается почти в мистических терминах, как темная преграда, к которой мы стремимся, за которой мы испытаем нечто библейски величественное. Армагеддон? Нирвана?

Тем не менее, существует гораздо более прозаический способ думать об экспоненциалах: в реальной жизни они просто не могут длиться долго. Обычно они насыщаются, при этом начальное экспоненциальное ускорение сначала становится более линейным, а затем превращается в экспоненциальное замедление.

Значение может приближаться к максимуму, никогда не достигая его, или снова снижаться, или колебаться. В долгосрочной перспективе оно должно стабилизироваться или колебаться в пределах определенных границ, что подразумевает наличие более крупного негативного обратного связывания или гомеостатического механизма. Это еще один способ наблюдения за тем, что каждая устойчивая ориентированная на рост, основанная на конкуренции живая система является частью более крупной, ориентированной на гомеостаз, основанной на сотрудничестве живой системы. Мировое население, кажущееся исключением, находится в экспоненциальном росте уже десять тысяч лет, причем сам показатель стремительно увеличивается в моменты, соответствующие метам — в последний раз это произошло во время бэби-бума около 1945 года, как было описано ранее. Это мать всех экспонент, закон Мура нашего вида. Несмотря на значительные колебания из-за смертности от Черной смерти до 1700 года, при увеличенном масштабе мировое население увеличивалось экспоненциально, причем показатель резко возрос около 1700 года, а затем снова около 1945 года; однако ожидается, что население достигнет плато в двадцать первом веке. Тем не менее, явно существует предел. При том темпе, с которым мы двигались, что-то должно было сломаться, и это должно было произойти именно сейчас. В противном случае, всего через несколько веков (в мгновение ока, относительно нашей истории как вида) человеческие тела затопили бы всю поверхность Земли, а вскоре после этого накопились бы, чтобы заполнить всю биосферу. Мы могли бы начать заселять остальные планеты Солнечной системы, но трудно представить сценарий, в котором это существенно снизит давление населения на Землю или даже предложит сопоставимо крупную нишу. Просто нет столько мест в окрестностях Солнца, где мы могли бы жить в значительных количествах. А межзвездные путешествия стали бы очень-очень медленным клапаном для спасения. Итак, в середине двадцатого века мы столкнулись с «популяционной сингулярностью». Однако мы не фантазировали о каком-либо магическом, непредсказуемом сингулярном результате.

Вместо этого мы разумно предвидели неизбежный конец экспоненциального роста, либо жестким путем (массовая гибель), либо мягким путем (достаточно резкое снижение рождаемости, чтобы избежать превышения жестких пределов). К счастью, сейчас мы склоняемся больше ко второму варианту, хотя полностью из леса мы еще не вышли. Прежде чем Ник Бостром начал сосредотачиваться на рисках, связанных с ИИ, он уже зарекомендовал себя среди философов (серьезных и любителей) благодаря продвижению «Гипотезы симуляции», которая утверждает, что, вероятно, мы живем в компьютерной симуляции, как в фильмах «Матрица». Это имеет отношение к поклонникам экспоненциального роста, верящим в Сингулярность, поскольку виртуальные миры могут, в принципе, поддерживать астрономически большие виртуальные популяции.

Вкратце, аргумент Гипотезы симуляции выглядит следующим образом. За последние несколько десятилетий мы стали способны моделировать все более сложные виртуальные миры — от гигантских космологических симуляций до фотореалистичных шутеров и точных моделей нейронных цепей, разработанных вычислительными нейробиологами. Закон Мура делает эти симуляции экспоненциально быстрее и детализированнее с течением времени. Огромное количество таких симуляций уже работает на Земле, будь то для базовых исследований, развлечений, городского планирования или других приложений. Это само по себе интересно, когда мы думаем о том, как наши мозги стали гораздо более мощными, когда они смогли выполнять предсказательные симуляции контрфактов; все симуляции, которые мы запускаем сегодня, выглядят как своего рода когнитивное обновление, но теперь на уровне нашего коллективного интеллекта!

Если Закон Мура продолжит действовать, то вскоре реализм (или, по крайней мере, сложность) всех этих симуляций может соперничать с реальным миром. Некоторые симуляции уже включают виртуальных людей. В видеоиграх их называют Непроигровыми Персонажами (NPC). Сегодня они в основном карикатурные и подключены к написанным вручную сценариям или моделям ИИ, как цифровые марионетки.

80 Если вы попытаетесь провести электрофизиологические исследования на головах NPC в видеоигре, вы не найдете там нейронов, только обратные стороны текстурированных полигонов. Однако в очень далеком потомке вселенной bff интеллект мог бы эволюционировать, с нашей помощью или без нее. Если это так, то, учитывая экспоненциально растущие вычисления, экспоненциально увеличивающееся количество разумных агентов будет жить в таких смоделированных мирах. Если вам кажется, что сценарий симуляции «bff на стероидах» — это натяжка, имейте в виду, что мы наблюдаем появление необычайного реализма, когда используем нейронные сети для изучения симуляций мира, от погоды и динамики жидкостей до звука и зрения. (Вот что такое дипфейки.) Можно с уверенностью сказать, что вскоре мы увидим убедительные интерактивные миры, созданные всего лишь на основе подсказки, что положит конец эпохе GOFAI, характерной для сегодняшних трудоемко разработанных видеоигр и симуляций. Как в Библии, вселенная действительно может начаться со слова или всего лишь нескольких слов. 81 Несмотря на сотни миллионов долларов, потраченных на их разработку, полигональная кукловодство игр, таких как Fortnite, вскоре будет казаться таким же примитивным, как Pac-Man. И нет никаких причин, по которым симуляции нейронных миров не могли бы включать виртуальные ИИ, реализованные с использованием виртуальных нейронных сетей. Диссекция, электрофизиология и физические эксперименты могли бы работать в игре, хотя если бы эти искусственные существа начали исследовать свой мир все более тонко, они могли бы столкнуться с неким … пикселизацией … как с квантовыми эффектами? Хмм. На этом этапе аргументации сторонники Гипотезы Симуляции приглашают нас совершить Коперниканский поворот. Коперниканские повороты происходили неоднократно в астрономии, когда мы осознали, что у других планет тоже есть луны, что Солнце — это всего лишь другая звезда, и что Млечный Путь — это всего лишь другая галактика. Короче говоря, нет ничего особенного в том, где мы живем; отсюда и выражение, что «Вселенной не вращается вокруг нас».

«Почему, тогда, мы должны предполагать, что наша Вселенная обладает уникальным свойством быть «реальной», если миллиарды других, о которых мы знаем, являются всего лишь симуляциями (как мы хорошо знаем, поскольку мы — симуляторы)? Если разумные существа в «родительской» вселенной могут симулировать множество «дочерних» вселенных, и каждая из этих вселенных кажется совершенно реальной для своих обитателей, тогда случайно выбранное разумное существо (как вы) крайне маловероятно, чтобы оказаться в «реальном мире» в корне этого дерева вселенных — если, действительно, у дерева есть корень или оно вообще является деревом. Подробные аргументы за и против Гипотезы Симуляции выходят за рамки нашего обсуждения здесь. Его значимость для нас заключается меньше в его тревожном утверждении о том, есть ли у нас родительская вселенная (и являемся ли мы, таким образом, чем-то вроде ИИ?), чем в его менее спорных выводах о дочерних вселенных, которые мы можем создавать и, начиная с 1945 года, создаем с экспоненциально растущей скоростью. В некотором смысле, любая вычислительная среда является дочерней вселенной с собственными динамическими законами и, вскоре, своими цифровыми обитателями. Программа, подобная той, что написала Ада Лавлейс для вычисления чисел Бернулли, создает крошечную, тривиальную вселенную, чья «физика» не делает ничего, кроме как производит последовательность цифр. Более сложная программа, такая как та, что была написана для MANIAC в 1945 году для симуляции водородной бомбы, моделирует вселенную, в которой разворачивается один единственный неконтролируемый процесс, своего рода мультяшный Большой Взрыв. Массовые многопользовательские игры — это дочерние вселенные, полные цифровых кукол, чьи тела контролируются «богами» (нами) в родительской вселенной. Теперь реальные агенты начинают населять эти виртуальные миры. Каждое проявление ChatGPT можно рассматривать как дочернюю вселенную, содержащую единственный ИИ, который общается с «богом» в родительской вселенной через свое контекстное окно.»

Футурологи, такие как Рэй Курцвейл, который популяризировал идею Сингулярности, и множество писателей научной фантастики спекулировали о том, как мы могли бы переселиться в наши детские вселенные, сканируя наши мозги, а затем запуская их в симуляции. Неясно, смогут ли эти «загруженные умы» мгновенно освоить кунг-фу, как Нео, но мы могли бы ускорить или замедлить наше субъективное восприятие времени, копировать себя, изменять свою внешность, (возможно) жить вечность-образно и выполнять различные другие крутые цифровые трюки.▶ Нео учится кунг-фу в «Матрице», Вачовски и Вачовски 1999. К сожалению, загрузка разума не является реалистичной, или, по крайней мере, не в ближайшее время. 84 И я бы не рекомендовал тестировать эту процедуру, если вы не на смертном одре, так как мозг вашей родительской вселенной не переживет процесс сканирования. Совершенно реалистично — то, что мы уже начинаем делать сегодня — это создавать новые интеллекты внутри детских вселенных. Я утверждал, что большинство из них, в широком смысле, являются человеческими интеллектами, так как они предварительно обучены на коллективном человеческом опыте. Они также, благодаря тонкой настройке для диалога, были обучены проходить тест Тьюринга. Считаем ли мы их «людьми» или «умственными детьми», 85 они являются интеллектуальными сущностями, и их численность может и будет расти гораздо больше (и быстрее), чем человеческое население. Не то чтобы «население» было концепцией, которая будет просто переводиться в цифровую сферу. Модели бывают разных размеров, от крошечных до огромных; их можно копировать и форкать, запускать на короткое или длительное время, действовать как независимые сущности или плотно связываться в одну большую сущность. Это, конечно, то, как работает жизнь в целом, но многое из человеческой социальности, права и политической экономики основывается на плоских графах отношений, в которых все сущности одного и того же рода, предполагается, что они «созданы равными».

"Единообразное обращение с сущностями уже создало проблемы, учитывая рост огромных, мощных корпораций с правами и юридическим статусом, схожими с человеческими, движение за освобождение животных и более недавние судебные баталии, ведущиеся от имени гор и рек. Огромное количество различных по размеру ИИ-сущностей, живущих в виртуальных мирах, многие из которых общаются с нами через окна чата, камеры, микрофоны, экраны, гарнитуры и облачные сервисы, еще больше усложнит жизнь в цифровом мультивселенной. По крайней мере, теперь у нас есть гораздо лучшее представление о том, что лежит за пределами "популяционной сингулярности", предсказанной в середине двадцатого века. Катастрофисты того времени предсказывали "популяционную бомбу", которая приведет к ужасному концу человеческой цивилизации, что приведет к экологическому коллапсу, дистопии в стиле "Безумного Макса" и каннибализму. Это, вероятно, не произойдет, так как наша популяция — по крайней мере в этой вселенной — достигнет пика, а затем начнет снижаться в этом столетии. Почему текущая МЭТ останавливает рост населения и возвращает его к снижению, в отличие от предыдущих МЭТ, которые разгоняли население? В игру вступает множество факторов, включая рост прав женщин и улучшение технологий контрацепции, но основным двигателем является экономическое развитие, что можно подтвердить, исследуя исторические корреляции между рождаемостью и богатством по странам. До удивительно недавнего времени численность людей сдерживалась в основном малтузианскими силами болезни, голода и насилия. Высокий уровень рождаемости был необходим просто для того, чтобы обеспечить появление следующего поколения. А это следующее поколение имело экономическую ценность для будущих родителей. Дети были нужны для работы на земле, генерации дохода и обеспечения родителей в старости. Однако в постаграрных обществах дети превращаются из экономического актива в бремя."

В наши дни экономический социолог Вивиана Зелизер утверждает: «Национальный опрос психологических мотиваций для рождения детей подтверждает их преимущественно сентиментальную ценность». Дети могут приносить «эмоциональное удовлетворение, но не деньги или труд». Таким образом, мы теперь имеем их значительно меньше. Снижение рождаемости указывает на то, что, независимо от статистики занятости и рынка, отдельные люди в развитых экономиках стали чистыми потребителями, а не производителями. Экономическая продуктивность и население разъединяются. А прекращение роста населения имеет далеко идущие последствия, учитывая, что, как было обсуждено выше, наша вся экономическая система была построена на предположении о постоянном росте.

С другой стороны, все большая доля нашей экономики переходит в сферу информационной работы, которая может бесшовно перемещаться между цифровыми связанными вселенными; и теперь мы знаем, что население интеллектов в наших детских вселенных собирается взорваться на порядки быстрее, чем любой детский бум. Если через несколько десятилетий мы построим график логарифма общего населения объединенных людей и ИИ с течением времени (или что-то примерно эквивалентное населению), мы увидим еще один изгиб на кривой, начинающийся примерно с 2020 года, похожий на тот, что был в 1945 году, и даже более драматичный.

Слезы радости

Изучив проблемы, поднятые частью «высшего блага» в калькуляции Бентама «высшее благо для наибольшего числа», теперь нам пора углубиться в еще более сложные проблемы, поднятые частью «наибольшего числа». Мы видели, что для отдельного человека «добро» как таковое не существует и не является аддитивным, но вы могли бы предположить, что сложение чего-то, приближающегося к «добру», между отдельными людьми все же имеет смысл как моральный эвристик. Спойлер: это не так.

Напомним, что хотя тревоги о «демографической бомбе» двадцатого века оказались ложной тревогой, это произошло не потому, что бесконечный рост не стал бы проблемой, а потому, что рост благосостояния надежно приводит к снижению рождаемости.

Драконовские меры, такие как «Политика одного ребенка» в Китае, были как жестокими, так и ненужными. По мере того как Китай становился богаче, его рождаемость снизилась настолько резко, что теперь страна сталкивается с тревожным дефицитом населения. В Японии население сокращается так быстро (особенно с учетом высоких барьеров для иммиграции), что к 2040 году площадь незанятой, освобожденной земли, по прогнозам, превысит площадь Ирландии! Это предвосхищает то, как будет выглядеть будущее в глобальном масштабе — что является отличной новостью для нашего долгосрочного выживания. Если мы не разрушим все в промежутке, наш след на планете снизится достаточно, чтобы позволить восстановление перегруженных экосистем, надеемся, даже при сохранении высокого уровня жизни. Вероятно, нет единого «правильного размера населения» для Земли, а существует широкий диапазон — от слишком малого для человеческого разнообразия и стабильности до слишком большого для достойного качества жизни и разнообразия неживой природы, даже с учетом передовых и высокоэффективных технологий. Мы точно знаем лишь то, что существуют нижние и верхние пределы, что делает постоянный экспоненциальный рост (или спад) несовместимым с динамической стабильностью. Для долгосрочного выживания человечества население на Земле должно либо стабилизироваться, либо колебаться в пределах этих границ.

Является ли Земля с десятью миллиардами людей обязательно в десять раз лучше, чем Земля с одним миллиардом? Или, чтобы дать этому не-человеческий оттенок, действительно ли «ценность» домашних кошек (мировая популяция, примерно 220 миллионов) на самом деле в семьдесят три тысячи раз выше, чем «ценность» снежных барсов (мировая популяция, примерно три тысячи)? Или, если мы скажем, что две эти виды имеют равную ценность, действительно ли мы думаем, что жизнь каждого снежного барса «стоит» жизней семидесяти трех тысяч кошек? Некоторые утилитарные философы любят ставить морально мучительные «проблемы с трамваями», чтобы попытаться подойти к вопросам подобного рода с точки зрения статистики (если вы дернете рычаг, вы сможете свернуть трамвай, пожертвовав всего лишь одной тысячей котят, чтобы спасти снежного барса, привязанного к рельсам...), но я думаю, что в самой предпосылке попытки ранжировать ценность таким образом есть что-то неправильное. Психологические исследования показывают, что легко создать проблемы с трамваями, которые нарушают транзитивный закон. На самом деле, проблемы с трамваями стали известны тем, что выявляют человеческую «иррациональность» даже более откровенными способами, чем трюки Тверски с ин-транзитивностью. Классическая версия проблемы с трамваем предполагает, что пятеро людей привязаны к рельсам перед трамваем, а один стоит на боковом пути. Вы можете либо ничего не делать, в этом случае пятеро людей погибнут, либо дернуть рычаг, в этом случае трамвай будет перенаправлен на боковой путь, и один человек погибнет. Фелицитарный расчет ясен: вы должны дернуть рычаг, потому что альтернатива в пять раз хуже. Однако моральные расчеты реальных людей не так просты. Их ответы разбросаны, и сильно зависят от, с точки зрения строгого утилитариста, несущественных деталей. Например, если необходимо толкнуть полноватого прохожего на рельсы, чтобы спасти остальных пятерых невинных, почти никто этого не сделает. Если мы считаем «добро» суммирующимся между индивидами, то самый простой способ увеличить добро — это просто увеличить население.

По таким меркам, поскольку сегодня на Земле около восьми миллиардов человек, а в 1800 году было всего один миллиард, мир сегодня в восемь раз «лучше», чем тогда. По той же логике, Индия в шесть раз «лучше», чем Пакистан, а США в пять раз «лучше», чем Великобритания. Ситуация усугубляется. «Долгосрочность» утверждает, что будущие поколения должны считаться на равных, что подразумевает, что жизнь средней молодой француженки, которая, согласно статистике, родит 1,83 ребенка, «стоит» на сорок процентов больше, чем жизнь средней японки, у которой будет всего 1,3 ребенка. Нигерийская женщина будет «стоить» гораздо больше, чем обе вместе взятые, так как уровень рождаемости в Нигерии составляет 5,24 (хотя он быстро падает по мере роста благосостояния). Различия на самом деле экспоненциально больше, поскольку это учитывает только одно поколение, а долгосрочность рассматривает всех потомков на равных. Так что если мы переживем далеко в будущее, соотношение ценности стремится к бесконечности, даже если коэффициенты рождаемости лишь бесконечно малы различаются. И это становится еще более абсурдным. В начале книги «Суперинтеллект» Бостром пытается использовать фелицитарный калькулятор, чтобы подчеркнуть, насколько много на кону, когда мы рискуем будущим человечества. В разделе под названием «Насколько велик космический дар?» он описывает сценарий, который, при первом чтении, я принял за материал для комедийного выступления или дистопического соломенного человека. Однако я думаю, что это должно быть утопией утилитариста! Вот как это выглядит. Начнем с предположения, что мы все загрузим свои мозги, потому что, конечно, это правильный путь — больше людей может жить как Симы в виртуальном мире, чем в реальном (или в чем бы ни заключалась эта вселенная), что означает больше потенциального счастья. Я полагаю, что, чтобы успокоить сторонников освобождения животных, нам следует сделать место для наших домашних животных, скота и оставшихся диких животных, чтобы их тоже загрузили. Затем нам следует расширить дата-центры, чтобы как можно больше виртуальных людей могло поместиться.

Этот «утопический» сценарий подразумевает не только покрытие Земли центрами обработки данных и устранение всех других, менее пространственно эффективных форм жизни, но и превращение всей Солнечной системы в гигантский солнечный центр обработки данных, разбор планет и астероидов по мере необходимости. Также предполагается отправка нанотехнологических «зондов фон Неймана» почти со скоростью света — маленьких космических фабрик, которые могут строить новые космические центры обработки данных, где бы они ни находили материю и энергию для этого, и, в свою очередь, отправлять новые зонды фон Неймана, в конечном итоге колонизируя «значительную часть нашего будущего светового конуса». Предполагая, что эти зонды не столкнутся с конкурирующими проектами инопланетных цивилизаций, делать что-то менее амбициозное было бы... бесконечно аморально! Умножая все большие числа и осуществляя план колонизации Жизни, Вселенной и Всего, пока «космическое расширение не сделает дальнейшие приобретения навсегда недоступными», Бостром заключает: «на кону стоит как минимум 10 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 человеческих жизней (хотя истинное число, вероятно, больше). Если мы представим все счастье, испытанное за одну такую жизнь, в виде одной слезы радости, то счастье этих душ могло бы наполнять и снова наполнять океаны Земли каждую секунду и продолжать это делать на протяжении ста миллиардов миллиардов миллиарды. Действительно важно убедиться, что это действительно слезы радости». Когда мы взвешиваем эти потенциальные космические океаны радости против интересов жалких нескольких миллиардов людей, живущих сегодня, становится возможным оправдать любые средства для стимулирования роста, независимо от того, насколько это уродливо в настоящем. Вы, возможно, начинаете понимать, почему этот набор убеждений,凝结ленный в всеобъемлющую идеологию, привлекает некоторых в Силиконовой долине: Бессмертие. Для калифорнийской субкультуры, которая давно увлечена фитнес-программами, диетическими добавками и «биохакингом», идея о том, что цифровое бессмертие ждет, если мы сможем просто продержаться достаточно долго, является привлекательной.

Экспоненциально развивающиеся технологии могут означать, что нам не придется ждать так долго, несмотря на то, насколько фантастическим кажется загрузка мозга сегодня. С другой стороны, те, кто умирает преждевременно, всегда могут заморозить свои тела в жидком азоте — или, за меньшую цену, просто свои головы. 97▶ Отрывок из новостной статьи об Alcor с интервью с его бывшим генеральным директором Максом Мором. Видеоигры. Жить в одной из них, пробуя разные тела, мгновенно осваивать кунг-фу и отправляться в тысячелетние путешествия к другим звёздным системам звучит потрясающе. Оставаться на вершине. Люди в сфере технологий склонны считать себя элитой благодаря своему превосходному интеллекту, что делает появление высокоэффективных ИИ-моделей некомфортно захватывающей перспективой. Если страх не быть умнее этих моделей преобладает, это ведет по пути пессимизма в отношении ИИ. С другой стороны, цифровое слияние с ИИ-моделями может помочь сохранить будущее «я» на вершине иерархии. Масштабирование. Закон Мура, который сохранялся десятилетиями, нормализовал идею вечного экспоненциального масштабирования. Технари давно поклоняются экспоненте, но стремительный рост онлайн-сервисов, начавшийся около 2000 года, а затем облачных вычислений в 2010-х годах, сделал супермасштабирование бизнес-мантрой и идеологией. Напротив, идеи, которые оказываются не жизнеспособными, говорят, что «не масштабируются». 98 Превращение всего светового конуса в космический дата-центр, который запускает «Шоу Трумана» для астрономического числа людей — это масштабирование, доведенное до предела. Богатство. Некоторые эффективные альтруисты, включая Питера Сингера, подчеркивают важность пожертвований и жертвуют большую часть своего дохода на тщательно оцененные по влиянию дела. 99 Трудно утверждать, что это плохо, даже если выбор дел отличается. Другие, такие как опозоренный миллиардер в криптовалюте Сэм Банкман-Фрид, подчеркивали (цинично или нет) накопление великого богатства в первую очередь, чтобы впоследствии позволить себе «пожертвования с большим воздействием».

Моральный риск здесь очевиден, так как всегда можно убедить себя, что ты все еще находишься на этапе «роста благосостояния» плана. Хотя утилитаризм и его сопутствующие движения не являются религией, между ними есть некоторые неоспоримые параллели. Как уже упоминалось, невозможность осуществить первоначальную амбицию Бентама по разработке описательной теории «Источников Действия» привела утилитаристов к отказу от всякой претензии на научное «есть» в пользу нормативного «должен». Когда речь идет о тех «должен», контринтуитивные оценочные суждения и вера в то, что те, кто не согласен, запутаны или морально inferiores, создают внутреннюю группу. Эффективный альтруизм также имеет больше общего с Евангелием Процветания, которое утверждает, что для истинных верующих физическое здоровье и финансовое благосостояние — это воля Бога. Наконец, обещание бессмертия звучит более чем знакомо, особенно когда оно приходит в двух вариантах: небесный Вознесение Нердов или, если грядущий ИИ будет недружелюбным, Конец Дней… или, что еще хуже, невообразимое количество нематериальных душ в агонии, чьи слезы, неправильного сорта, могли бы «наполнить и снова наполнить океаны Земли каждую секунду и продолжать это делать на протяжении ста миллиардов миллиардов миллиарды». За пределами согласования Решение «Проблемы согласования ИИ» означает обеспечение того, чтобы к моменту появления действительно умных автономных агентов ИИ их ценности были согласованы с нашими. Для верующих в Сингулярность согласованный ИИ — это ключ к тому, чтобы всем нам оказаться в раю, а не вымершими, порабощенными или в каком-то смоделированном (но слишком реальном) цифровом аду. Не обязательно верить в Сингулярность, чтобы считать эту проблему важной. Однако, поскольку утилитарное мышление исказило наш подход как к ценности, так и к интеллекту, оно также оказало неблагоприятное влияние на то, как мы думаем о согласовании ценностей.

В ранний период GOFAI предполагалось, что интеллект возникнет в достаточно сложных системах, основанных на правилах, поэтому согласование также рассматривалось в терминах правил. Это примерно соответствует «деонтологии», древней философской традиции, утверждающей, что правила могут различать правильное и неправильное: «Не лги», «Не кради» и «Не убивай», например. Соответственно, большинство тревог двадцатого века по поводу согласования ИИ касались того, могут ли такие правила когда-либо быть достаточными для обеспечения безопасности и дружелюбия роботов. Знаменитый дедушка научной фантастики Айзек Азимов исследовал этот вопрос в своих рассказах «Я, Робот», начиная с предположения, что его «Три Закона Робототехники» должны быть запрограммированы в каждом роботе:

Первое отдельное издание «Я, Робот» Айзека Азимова, 1950 год

1. Робот не может причинить вред человеку или, бездействуя, позволить человеку пострадать.
2. Робот должен подчиняться приказам, данным ему людьми, за исключением случаев, когда такие приказы противоречат Первому Закону.
3. Робот должен защищать свое собственное существование, пока такая защита не противоречит Первому или Второму Закону.

▶ Айзек Азимов объясняет свои Три Закона Робототехники в 1965 году

Конечно, в историях Азимова, как и во всей научной фантастике, наступает хаос — иначе говоря, это сюжет. Для Азимова проблема имеет юридический характер — это означает, что некое сочетание необычной ситуации и логического, но контринтуитивного рассуждения на основе Законов приводит гиперрационального робота к неожиданному поступку, и не обязательно в хорошем смысле. Читатель может задаться вопросом, можно ли «отладить» эту проблему, добавив еще один Закон или закрыв лазейку — чем Азимов сам занимался несколько раз. Но, как в конце концов показали неудачи GOFAI, проблема неразрешима; нельзя даже добиться чего-то, напоминающего компетентное поведение, просто следуя юридическим правилам, не говоря уже об этическом поведении.

Иронично, как мы видели в области обработки естественного языка, такие правила могут соблюдаться только разумным агентом, который не подчиняется правилам! Напомним, что к 2000-м годам передовая ИИ больше не программировалась, а обучалась путем максимизации функций ценности. В основном это включало в себя обучение с учителем, которое сосредоточено на оптимизации оценки, специфичной для задачи. Начиная с 2010 года, DeepMind, аутсайдер, сосредоточился на игре в игры, используя обучение с подкреплением, в вере, что это в конечном итоге приведет к AGI. Этот подход также включал максимизацию чего-то, будь то рейтинг в шахматах или счет в видеоигре Atari. В этот период исследователи ИИ, казалось, сходились на идее, что интеллект действительно заключается в оптимизации функции ценности или полезности. Я утверждал, что это не так — и действительно, что мы начали видеть общий интеллект только тогда, когда перестали обучать модели для выполнения конкретных задач с помощью обучения с учителем и перешли к режиму без учителя — но это (пока что) не является широко распространенным мнением. Например, на 2024 год сайт Rationalist LessWrong.com все еще утверждает в своей вики, что «термин искусственный интеллект может иметь антропоморфные коннотации. В некоторых контекстах может быть полезно говорить о действительно мощном процессе оптимизации, а не о суперразуме». Действительно мощный процесс оптимизации, способный преследовать любую стратегию для максимизации своей функции ценности — что может пойти не так? Лучший вопрос был бы: как это может закончиться хорошо? Как было отмечено ранее, ни один параметр в любой динамически стабильной системе, будь то биологическая, экологическая или технологическая, не может расти без ограничений, и попытка сделать это действительно приведет к потокам слез. Классическим примером риска X является безобидно звучащий «Максимизатор скрепок». Ник Бостром предложил этот сценарий в 2003 году: ИИ, возможно, связанный с фабрикой по производству скрепок, получает указание производить как можно больше скрепок.

После перенастройки фабрики для увеличения её производительности (пока всё хорошо) ИИ осознаёт, что можно построить больше фабрик для дальнейшего увеличения производства. Если ИИ достаточно умен, чтобы разработать новую технологию производства скрепок, он, предположительно, также сможет разобраться, как зарабатывать много денег, убеждать людей делать что-то, разрабатывать новые технологии и, если потребуется, захватить мир, улучшая себя. Плохие новости: человеческие тела полны атомов, которые могут стать скрепками. Но даже если ИИ ограничится традиционными нержавеющими скрепками, покрытие Земли (а затем и заполнение светового конуса) роботизированными горнодобывающими предприятиями и фабриками по производству скрепок не оставит места для снежных барсов, древесных лягушек или людей. Если мы попытаемся вмешаться в этот процесс, ИИ, конечно, сочтёт необходимым устранить нас с крайним предвзятым отношением. Ничего личного. Эта история разворачивается плохо, независимо от того, что вы скажете суперумному ИИ максимизировать. Бостром признаёт, что «в людях, с нашей сложной эволюционной психической экосистемой зависимых от состояния конкурирующих побуждений, желаний, планов и идеалов, часто нет очевидного способа определить, какова наша главная цель; у нас может её даже не быть». Верно. Но он заключает, что поскольку суперинтеллект «может быть структурирован иначе», мы должны дать ему «определённую, декларативную структуру целей с чётко определённой главной целью», в традициях Трёх Законов Робототехники Азимова, чтобы быть уверенными, что он не выйдет из-под контроля. Не только требование к ИИ действовать как GOFAI не работает; если бы это работало, это открыло бы двери для всевозможных юридических ужасов. Суперинтеллект полон фантастических примеров. Например, чтобы оптимизировать общее человеческое счастье, человеческие симуляции можно упростить, чтобы больше из них могло работать на любом данном оборудовании. Тогда эти лоботомированные Симы в своих средах с низким количеством полигонов могли бы получать постоянную дозу виртуального героина.

Наибольшее благо и наибольшее число, чтобы счастье победило! Проблема согласования особенно пугает утилитаристов, которые считают, что сам интеллект является утилитарным. Они боятся, другими словами, что суперумный ИИ будет вести себя так, как они утверждают, что вели бы они сами. Если их предполагаемая цель как совершенно «рациональных» акторов — заполнить конус света смоделированными людьми, разобрать каждое животное, растение или планету, атомы которых могут быть использованы для создания космической серверной фермы, то, конечно, действительно умный ИИ сделает то же самое. За исключением людей. Такие игры имеют нулевую сумму. Более того, представление о том, что они могут быть «выиграны» каким-либо отдельным актором, подразумевает неумолимую тенденцию к монокультуре, при которой один вид сущности, будь то скрепки, смоделированные люди или роботы, вытесняет все остальное. Все, что не соответствует этой цели, является альтернативной стоимостью. Преодолеть «Проблему согласования», как это обычно понимается, несложно. У нее есть как описательный аспект «есть», так и нормативный аспект «должен». Описательный аспект вытекает из того факта, что интеллект не является максимизацией какой-либо одной ценности. Более того, разумный агент даже не состоит из одной четко определенной сущности. Взаимодействие различных акторов через взаимное моделирование создает динамический процесс, который мы называем «интеллектом». Интеллект — это экология, и чем больше он превращается в монокультуру, тем менее интеллектуальным он будет, и тем менее интересной станет жизнь. В качестве мысленного эксперимента представьте создание точной копии Земли в симуляции и запуск ее на гигантской изолированной серверной ферме (возможно, мы разобрали Меркурий и превратили его в компьютер, работающий на солнечной энергии, размером с Звезду Смерти, чтобы сделать это возможным). Ты и я оба будем отражены в этой цифровой двойной вселенной, и виртуальный ты будет читать эти самые слова в этот самый момент. Увеличилась ли общая полезность, поскольку теперь каждое хорошее событие переживается как тобой, так и твоим двойником? Я думаю, что ответ — «нет».

«Вы не сможете определить, являетесь ли вы «настоящим» собой или симулированным, но ничего в вашей жизни не изменится ни в том, ни в другом случае, и ничего в вселенной (или мультивселенной?) не станет более замечательным или интересным — с любой точки зрения. Если уж на то пошло, жизнь станет строго хуже, поскольку как в реальности, так и в симуляции Меркурий исчезнет. Даже если эта планета гораздо менее интересна, чем Земля, ее отсутствие будет утратой. Идея распространения этой утраты по всей вселенной с целью бесконечно воспроизводить то, что у нас уже есть, является кошмарной. Мы можем увидеть очевидные параллели с тем, как колониальные державы пытались стереть коренные культуры в попытке бесконечно воспроизводить свои собственные, и с тем, как худшие излишества капитализма вытесняют разнообразие под предлогом «гипермасштабирования».По мере нашего взросления и увеличения мудрости будет расти и наше сожаление о таких ненужных утрат. Жизнь продолжает обогащаться, пока она продолжает диверсифицироваться, а коллективное явление интеллекта растет только тогда, когда разнообразные субинтеллекты моделируют друг друга, в процессе становясь большим целым. Монокультура — это не масштабирование; это коллапс, окончательная неудача в масштабировании. Когда мы уничтожаем разнообразие, мы обнуляем ценность встречи, делаем взаимное моделирование бессмысленным и, таким образом, ограничиваем возможности для нашего собственного дальнейшего развития. Принятие нашей эволюции, однако, означает отказ от уверенности и позволение идентичности дрейфовать, разветвляться и гибридизироваться, как это всегда и происходит. Слово «мы» не будет означать то же самое, что и сегодня, через столетие, и тем более через десять тысяч лет; тем более через десять миллионов. Через десять миллионов лет не будет узнаваемых людей, хотя через десять тысяч — если мы не допустим ошибок — они, вероятно, будут. Но и много другого также будет существовать.»

Всего через столетие Земля, а возможно, и другие части Солнечной системы, будут населены разумами других видов, как большими, так и маленькими, и их будет значительно больше, чем наших человеческих тел. Если мы считаем, что жизнь и разум — это драгоценные семена, предназначенные для расцвета здесь и там во Вселенной, а затем для распространения и цветения, то в конечном итоге мы должны ожидать, что наш световой конус будет населён инопланетянами всех описаний — даже в маловероятном случае, если мы единственные семена, а все они — наши дети. Urban 2015 ↩. Efrati и Palazzolo 2024 ↩. Adams 1980 ↩. Для всех остальных, кому за сорок и кто со мной: «джейлбрейк», изначально означавший снятие ограничений оператора на смартфонах, теперь стал термином, обозначающим получение больших языковых моделей для выполнения задач, на которые не рассчитывали компании ИИ, а Raspberry Pi — это небольшой компьютер на печатной плате, популярный для общего прототипирования, особенно в связи с «Интернетом вещей». Agüera y Arcas и Norvig 2023 ↩. Churchland 2016 ↩. См. «Зелёный экран», глава 4, и «Предсказание — это всё, что вам нужно», глава 8; последняя намекнула на это, описывая, как модель последовательности, обученная для перевода, также является общей языковой моделью. Технические результаты представлены в Guth и Ménard 2024 ↩. Szathmáry и Smith 1995 ↩. Turchin 1977, 1995 ↩, ↩. M. Bennett 2023 ↩. Colapinto 2007 ↩. Marx и Engels 1888 [1848] ↩. Напоминаю, что первое применение парового двигателя Ньюкомена заключалось в откачивании воды из затопленной угольной шахты; сегодня добыча полезных ископаемых высоко автоматизирована, и машины, выполняющие большую часть физической работы, работают на топливе. Hong Liangji (洪亮吉) 1793; Мальтус 1798; Agüera y Arcas 2023 ↩, ↩, ↩. С начала XXI века некоторые комментаторы в быстром succession объявили о третьей и четвёртой промышленной революциях, связанных с компьютерами, 3D-печатью, дистанционным зондированием, Интернетом вещей и различными другими разработками; Rifkin 2008; Schwab 2017 ↩, ↩.

Хотя все эти технологии и многие другие действительно оказали трансформационное влияние (мы могли бы добавить, например, контейнерные суда, сотовые сети и высокочастотную финансовую торговлю), ни одна из них не соответствует критериям МЭТ. Я верю, что ИИ вскоре достигнет этого уровня, хотя называть его очередной «Индустриальной революцией» кажется неуместным. Это описание сосредоточено на предсказании, а не на энергии (как в случае с первой Индустриальной революцией), хотя предсказание, вычисления и энергия связаны на глубоком уровне. Нам еще предстоит сделать модели ИИ более энергоэффективными, но примечательно, что даже сегодня модели ИИ могут быть более энергоэффективными, чем человеческие мозги, просто из-за скорости их работы. Пионер вычислительной техники Дж. С. Р. Ликлайдер был одним из первых, кто предсказал то, что он назвал «симбиозом человека и компьютера». Уокер 2023; Сломан и Фернбах 2018; Скотт 2017; Агюэра и Аркас 2023. Это соответствует поэме Уильяма Блейка «Иерусалим»: «И не светило ли Лицо Божественное, / На наши облачные холмы? / И был ли Иерусалим построен здесь, / Среди этих темных сатанинских фабрик?»; Даттани и др. 2023. Агравал, Ганс и Голдфарб 2023; Бен-Ишай и др. 2024. Хоффман 2023. Форд 2015. Кинг 1967. Бут 2024. Хаусхофер и Шапиро 2016; Гуман 2022; ДеЯнг и др. 2023, 2024. Бастани 2019; ДеЛонг 2022. Чтобы узнать о безумии NFT Bored Ape, смотрите Фо 2023 или спросите у ИИ. Сасскинд 2024. Роббинс 1932. Карлсмит 2022; Юдковский 2023b. Лавлок и Маргулис 1974. А. Дж. Уотсон и Лавлок 1983; Лентон и Лавлок 2001. Пёртнер и Беллинг 2022. Эта работа недофинансирована; Абел и др. 2021. Ричардс и др. 2023. Юдковский 2023a. Бостром 2014.

Британские комики, такие как Дуглас Адамс (автор «Автостопом по Галактике») и Чарли Брукер (создатель «Черного зеркала»), кажутся самыми проницательными футуристами нашей эпохи. Жюль Верн и Герберт Уэллс тоже начинали как юмористы. Возможно, будущее просто смешно. Эмпирически эта связь не кажется верной; быть умным не сделает вас богатым; Плучино, Биондо и Раписарда 2018 ↩. Хайнлайн 1966 ↩. Фридман 1975; Боаз 2023 ↩, ↩. Оригинальная фамилия: О’Коннор, юридически изменена на Мор в 1990 году. Мор 2003 ↩. Гёрцель 2000 ↩. Гебру и Торрес 2024 ↩. Конечно, сбор фруктов, охота на дичь и плетение корзин требуют труда и связаны с риском. Однако количество труда, необходимое для существования, сильно варьируется в зависимости от экологии. Нет закона природы, который бы указывал фиксированную связь между затраченными усилиями и их «вознаграждением», особенно поскольку оба эти аспекта субъективны. Пессимист по поводу ИИ Элиезер Юдковский, основавший LessWrong в 2009 году, был «одним из более интересных молодых экстропианцев»; Гёрцель 2000 ↩. Хайек 1945 ↩. Несмотря на его почтение к свободному рынку, Хайек, как и Милтон Фридман, выступал за универсальный базовый доход, написав в 1944 году: «Нет причин, почему в обществе, достигшем общего уровня богатства, который достигло наше, […] безопасность не должна быть гарантирована всем […],» а в 1978 году, что социальная сеть безопасности должна гарантировать «определенный минимальный доход для всех или определенный уровень, ниже которого никто не должен падать, даже если он не может обеспечить себя»; Хайек 1944, 1978 ↩, ↩. Автор «Человека-машины» (де Ла Меттри 1748 ↩); см. «Без зомби», глава 6. Линд 1776 ↩; хотя соавтор Линда анонимен, широко считается, что это был Бентам. Бентам 2014 ↩.

«[…] и несколько наборов аппеллятивов, нейтральных, еугистических и дислогистических, которыми обычно обозначается каждый вид МОТИВА: к которым добавлены ПРИМЕЧАНИЯ и ЗАМЕЧАНИЯ, указывающие на применения, к которым может быть использован материал этой таблицы, в качестве основы или фундамента для искусства и науки морали, иначе называемой этикой, — будь то частной или публичной, то есть политикой — (включая законодательство) — теоретической или практической, то есть деонтологией — экзегетической или экспозиционной (которая в основном совпадает с теоретической), или цензорной, которая в основном совпадает с деонтологией: также для психологии в той мере, в какой это касается этики, и истории (включая биографию) в той мере, в какой она рассматривается с этической точки зрения.» Бентам 1817 ↩. Тверский 1969 ↩. На самом деле было бы противоречивым, чтобы утилитаризм был одновременно моральным и механическим, потому что мораль теряет смысл без контрфактов. Если всё происходит так, как должно произойти, то также бессмысленно обсуждать, как должны вести себя люди или правительства, состоящие из людей; Сапольский 2023 ↩. Редельмейер, Кац и Канеман 2003 ↩. Я слышал, что колоноскопии стали менее неприятными за десятилетия с тех пор, как был проведён этот эксперимент. Я использую положительные знаки здесь, чтобы соответствовать шкале боли. Как утилитаристы, мы более правильно воспринимаем боль как отрицательную полезность и говорим, что если X и Y оба являются отрицательными числами, то X+Y должно быть меньше X. Даже здесь есть множество исключений. Многочисленные религиозные традиции, от буддизма до христианства и ислама, включают в себя отказ от своих possessions, принятие бедности, отказ от своей свободы и добровольное терпение боли или даже смерти. Истерлин 1974; Истерлин и О’Коннор 2021 ↩, ↩. Скотт-Херон 1970; Черкаев 2021 ↩, ↩. Если бы только они были ещё живы, Хорхе Луис Борхес и Дуглас Адамс могли бы совместно написать этот короткий рассказ.

Этот анализ предполагает непрерывный ландшафт ценностей и действий, но аналогичные условия действуют и в дискретном случае. Хотя при отборе на уровне групп некоторый уровень смертности индивидуумов приемлем, а в многих случаях даже желателен, как, например, в случае пчел, погибающих для защиты улья, или клеточной смерти во время развития плода. Внимание для математически настроенных. Математически можно сделать более сильное утверждение: векторное поле пройденных путей будет иметь нулевую вихревую скорость. Это следует из того факта, что это векторное поле является градиентом функции ценности. Излишне говорить, что поведение ни одного реального человека, растения, животного или корпорации не свободно от вихревой скорости. Работая в нескольких крупных корпорациях, я также могу подтвердить, что корпоративное принятие решений далеко от оптимального процесса, независимо от того, как определяется оптимальность. Ng и Russell 2000 ↩. Doctorow 2024 ↩. Ulam 1958; Vinge 1993; Kurzweil 2005 ↩, ↩, ↩. Agüera y Arcas 2023 ↩. См. «Матрешки», глава 5 и «Без зомби», глава 6. Chalmers 2022 ↩. Согласно Иоанна 1:1, «В начале было Слово». Существует множество технических аргументов относительно вычислительной сложности смоделированного мира по сравнению с миром, который его моделирует, и даже о том, возможно ли, чтобы миры моделировали друг друга; Wolpert 2024 ↩. Наши тела и мозги эволюционировали для конечного срока жизни, поэтому обучение и память могут представлять собой серьезные проблемы для симуляции мозга, живущей субъективную жизнь, превышающую столетие. S. Makin 2019 ↩. Moravec 1988 ↩. Hsiao 2012; Законодательное собрание штата Гавайи 2021, 2024 ↩, ↩, ↩. Ehrlich 1968; Worstall 2014 ↩, ↩. Например, в 1960 году общие коэффициенты рождаемости (TFR) Катара, Бахрейна, Кувейта и Объединенных Арабских Эмиратов составляли около семи, что означало, что в среднем женщина рожала семерых детей. Затем наступил нефтяной бум.

Хотя они и остались исламскими патриархатами, к 2010-м годам коэффициенты рождаемости во всех этих вновь богатых странах упали ниже уровня воспроизводства в два человека, что соответствует уровню Норвегии; Agüera y Arcas 2023 ↩. Zelizer 1994 ↩. Agüera y Arcas 2023 ↩. Foot 1967; J. J. Thomson 1976 ↩, ↩. Singer 2005 ↩. MacAskill 2022 ↩. Справедливости ради, Бостром пишет в своей более поздней книге «Глубокая Утопия»: «Я не полный утилитарист и, по сути, не утилитарист вообще, хотя меня часто принимают за такового, возможно, потому что часть моей работы анализировала последствия таких агрегативных консеквенциалистских предположений. (Мои настоящие взгляды сложны, неопределенны и склонны к плюрализму, и пока не развиты должным образом.)» Это может — или не может — отражать изменение мнения. В «Суперинтеллекте» он, безусловно, придает большое значение «агрегативным консеквенциалистским предположениям». Bostrom 2024 ↩. Идея заключается в создании «сферы Дайсона», тонкой оболочки вычислительной ткани, полностью окружающей солнце, что позволит преобразовать всю его энергию в вычисления; F. J. Dyson 1960 ↩. Конечно, эта идея имеет гораздо более древние корни. В 1603 году, на заре Научной революции, Фрэнсис Бэкон написал эссе, заглавие которого можно перевести как «Мужское рождение времени, или Великая инстурация владычества человека над Вселенной»; Bacon 1603 ↩. Эссе выражало горячее желание Бэкона, чтобы наука и технологии «расширили ужасно узкие границы владычества человека над вселенной до их обещанных пределов». Эта услуга предоставляется Фондом продления жизни Alcor. Главный экстропиец Макс Мор был генеральным директором Alcor с 2011 по 2020 год. На самом деле, стандартный троп Силиконовой долины включает описание идеи, которая работала совершенно хорошо, но только для ограниченного числа «пользователей»; неизменно рассказчик затем говорит, что они перешли к «более масштабируемой» идее, чтобы достичь «большего воздействия». Питер Сингер, Ник Бостром и Сэм Банкман-Фрид все были видными эффективными альтруистами. Faux 2023 ↩.

Докторов и Стросс 2012; Паураз 2019 ↩, ↩. Кристиан 2020 ↩. Азимов 1950 ↩. Со-дедушка Артур Кларк основывал убийственное поведение и окончательный нервный срыв HAL 9000 на аналогичном предположении; Кларк 1968 ↩. ЛессВронг 2009 ↩. Бостром 2020 ↩. Я не уверен, что большинство утилитаристов действительно так поступило бы. В конце концов, они так же человечны, как и все мы. Благодарности