Глава 14

Глава 10: Заключение

Эволюционный переход
Периодизация
Обычная нарратив о ИИ
представляет его в сравнении с человеком, разделяя его историю на три эпохи: длительный «до» период Искусственного Узкого Интеллекта (ИУИ), когда он уступает человеку; (кратковременное) достижение Искусственного Общего Интеллекта (ИОИ), когда он сопоставим с человеческими способностями; и таинственный «после» период Искусственного Суперинтеллекта (ИСИ), в котором он превосходит человеческие возможности. Появление ИСИ иногда рассматривается как предвестие «Сингулярности», порога в неизвестное и непредставимое будущее.
На 2024 год практически все эксперты согласны с тем, что ИОИ еще не достигнут, но многие считают, что, учитывая темпы улучшения, это может произойти очень скоро, и за ним немедленно последует ИСИ и все, что лежит за его пределами.

Мнение автора и блогера Тима Урбана о «до», «во время» и «после» Искусственного Суперинтеллекта; Урбан 2015.

Мнение автора и блогера Тима Урбана о «до», «во время» и «после» Искусственного Суперинтеллекта; Урбан 2015.
Я высказывал или подразумевал множество проблем с этим нарративом. Во-первых, мне трудно (по крайней мере, для меня) увидеть, как сегодняшний ИИ еще не является «общим». Разделение на «узкий» и «общий» было придумано, когда мы начали применять термин «ИИ» к моделям, ориентированным на конкретные задачи, таким как распознавание почерка или игра в шахматы. Эта специфика делала такие модели явно «узкими»; для непосвященного называть такие системы «искусственно интеллектуальными» имело мало смысла, так как они не представляли собой ничего, что обычно ассоциируется с этим термином.

Таким образом, термин «AGI» был введен для описания того, что ранее просто называли ИИ; он охватывает всё — от Даты из «Звёздного пути» до корабельного компьютера (похожего на безтелесного человека), и от Марвина, параноидального андроида Дугласа Адамса, до его умных лифтов будущего: «Неудивительно, что многие лифты, наделенные интеллектом […] испытывали ужасное разочарование от бессмысленного процесса подъёма и спуска, подъёма и спуска, кратко экспериментировали с идеей движения вбок […] и в конечном итоге предпочли сидеть в подвалах, дразнясь. Обедневший автостопщик, посещающий планеты в системе звёзд Сириус в наши дни, может легко заработать, работая консультантом для невротичных лифтов».

Хотя этот сценарий остаётся таким же нелепым сегодня, как и в 1980 году, он вполне может стать реальностью в результате двухдневного хакатона с участием взломанной языковой модели, Raspberry Pi и лифта.
(Да, мы живём в эпоху, когда шутки буквально пишутся сами собой.)

Если разница между узким и общим ИИ заключается в… ну, в общности, то мы достигли этого момента, как только начали предварительное обучение неконтролируемых больших языковых моделей и использовать их интерактивно.
Мы заметили, что они могут выполнять произвольные задачи — или, по критике Патриции Чёрчленд 2016 года относительно узкого ИИ, даже «не-задачи», такие как просто болтовня.

Обучение в контексте является особенно важной новой способностью таких моделей, поскольку это подразумевает, что набор задач, которые они могут выполнять, не конечен и не ограничивается только тем, что было наблюдено во время предварительного обучения, а фактически бесконечен: языковая модель может делать всё, что можно описать. Производительность может быть ниже человеческой, на уровне человеческой или выше человеческой. Современные достижения в области ИИ растут с каждым месяцем, добавляя всё больше задач в третью категорию. Такие стабильные увеличения производительности, вероятно, будут продолжать следовать экспоненциальной траектории в течение некоторого времени, так же как это происходило с традиционной вычислительной производительностью в эпоху закона Мура.

Решающий момент для традиционных вычислений наступил, когда специализированные компьютеры уступили место универсальным, начиная с ENIAC в 1945 году. Все, что последовало за этим, стало экспоненциальным ростом производительности, а не дискретным переходом. В том же духе ИИ общего назначения уже пережил свой «момент ENIAC», когда произошел переход от узкого обучения заранее определенным задачам к общему ИИ, основанному на неконтролируемом предсказании последовательностей и способному к обучению в контексте. Это вполне разумно назвать настоящим качественным скачком. То, что последовало, было и будет драматичным, даже экспоненциальным, но изменения касаются степени, а не вида.

Есть что-то произвольное, граничащее с абсурдом, в том, как эксперты спорят о точном времени, когда этот экспоненциальный рост действительно «считается» или «будет считаться» ИИ общего назначения... не говоря уже о том, как многие комментаторы тихо стараются сдвинуть границы. На каком принципиальном основании мы могли бы защитить тот или иной порог на этом головокружительно крутом, но непрерывном ландшафте? И кому это вообще важно?

Тем не менее, технические открытия 2020-х годов принесли удивительное осознание: называть узкие, специфические для задач (но не основанные на инженерии признаков) системы машинного обучения «ИИ» может быть более оправданным, чем мы предполагали. Независимо от того, обучаются ли нейронные сети с помощью контролируемого обучения для выполнения отдельных задач, таких как классификация изображений или перевод текста, или обучаются быть универсальными предсказателями с использованием неконтролируемого обучения, они, похоже, в конечном итоге усваивают одно и то же универсальное представление.

Так что, если вы обучите мощную модель последовательностей для распознавания рукописного текста — и обучите её на достаточном количестве рукописных трактатов — кажется, что вы действительно сможете провести философский (рукописный) разговор с ней впоследствии. Или же очень мощный нейронный компрессор изображений обязательно научится читать и дополнять напечатанный текст, чтобы лучше справляться с компрессией фотографий газет и подобного; он фактически будет содержать большую языковую модель.

Так же и умный лифт, оснащенный микрофоном и динамиком, обученный лишь узкой задаче — доставить вас на нужный этаж. Странно, но именно как общая задача предсказания включает в себя все узкие задачи, так и каждая узкая задача содержит в себе общую!

Точную дату перехода к AGI (искусственному общему интеллекту) установить еще сложнее, но можно обосновать, что это могло произойти в 1940-х годах, с внедрением первых кибернетических моделей, которые научились предсказывать последовательности — хотя в начале они могли делать очень немногое, кроме как неуклюже следовать за фонариком по коридору MIT.

Что же мы можем сказать о большой истории ИИ? Возможно, периодизировать историю интеллекта — то есть жизни — на Земле, и ИИ является частью этой истории. Однако, чтобы поместить его в значимый контекст, нам нужно отдалиться.

Переходы

Появление ИИ знаменует собой то, что теоретические биологи Джон Мейнард Смит и Ёрс Сатмари назвали «значительным эволюционным переходом» или MET — термин, с которым мы впервые столкнулись в главе 1.

Смит и Сатмари описывают три характерные черты MET:

Более мелкие сущности, которые ранее могли самостоятельно размножаться, объединяются, чтобы сформировать более крупные сущности, которые могут размножаться только как единое целое.
Происходит разделение труда между мелкими сущностями, что повышает эффективность более крупного целого за счет специализации.
Возникают новые формы хранения и передачи информации, поддерживающие более крупное целое, что приводит к новым формам эволюционного отбора.

Симбиогенетические переходы в bff демонстрируют эти три характеристики!

Каждый Значительный Эволюционный Переход сопровождается новыми носителями информации; Гиллингс и др. 2016.

Советский и американский кибернетик Валентин Турчин теоретизировал концепцию, очень похожую на MET, — «метасистемный переход» — за десятилетия до этого, в 1970-х годах.

Турчин описал метасистемные переходы в терминах, схожих с теми, которые я использую в этой книге, подчеркивая возрастающую способность симбиотических агрегатов к более эффективному предсказательному моделированию, что дает им преимущество в выживании.

Как обычно, представители кибернетики, похоже, были на шаг впереди. В своем обзорном статье 1995 года в журнале Nature Смит и Сатмарьи выделяют восемь основных эволюционных переходов:

Реплицирующие молекулы к популяциям молекул в компартментах
Непривязанные репликаторы к хромосомам
РНК как ген и фермент к ДНК и белкам (генетический код)
Прокариоты к эукариотам
Бесполые клоны к половым популяциям
Протисты к животным, растениям и грибам (клеточная дифференциация)
Одинокие особи к колониям (неполовозрелые касты)
Общество приматов к человеческим обществам (язык)

Этот список не выглядит неразумным, хотя первые три пункта, безусловно, являются спекулятивными, поскольку они пытаются разбить абиогенез на отдельные значимые переходы, о которых мы можем лишь догадываться. Остальные пять находятся на более прочной основе, так как как предшествующие, так и последующие сущности все еще существуют: эукариоты не заменили бактерии, половое размножение не вытеснило бесполое, социальные насекомые не заменили одиночек и так далее.

Сатмарьи и другие с тех пор предложили несколько изменений (например, добавление эндосимбиоза пластид, что привело к возникновению растительной жизни), но главное заключается в том, что список основных переходов невелик, и каждый пункт в нем представляет собой значимый новый симбиоз с последствиями глобального масштаба. Любая значимая периодизация жизни и интеллекта на Земле должна сосредоточиться на таких крупномасштабных переходах.

То, что переходы, похоже, происходят с возрастающей частотой, не является лишь артефактом неясности далекого прошлого, а связано с их внутренней динамикой обучения, как описал Турчин. Все более мощные предсказательные модели, как мы видели, также становятся все более способными к обучению. Более того, обучение в контексте показывает нам, что все предсказательное обучение также включает в себя обучение обучению.

Таким образом, по мере того как модели становятся лучшими учениками, они смогут легче «перейти на мета-уровень», что приведет к возникновению нового уровня обучения и созданию еще более способного ученика. Именно поэтому культурная эволюция происходит гораздо быстрее, чем генетическая.

Макс Беннетт утверждает, что «сингулярность уже произошла», когда накопление культурных знаний, поддерживаемое языком, а затем и письмом, начало стремительно развивать человеческие технологии на протяжении последних нескольких тысяч лет. Это вполне обоснованная позиция, однако она не совсем соответствует последнему уровню мета-обучения в списке Смита и Сатмари, поскольку люди существуют (и используют язык) гораздо дольше, чем всего лишь несколько тысяч лет. Таким образом, «культурная сингулярность» Беннетта не отличает людей от нечеловеческих приматов, а скорее связана с урбанизацией и сопутствующим разделением труда. Поэтому этот недавний переход не является ни непосредственным следствием языка, ни врожденным свойством человечества как такового, а представляет собой отчетливо современное и коллективное явление. Это постчеловеческое явление в буквальном смысле, так как оно произошло позже нашего появления как вида.

Например, пираха, которые до сих пор сохраняют свои традиционные образ жизни в Амазонии, так же человечны, как и любой ньюйоркер, но обладают степенью самодостаточности, радикально отличающейся от ньюйоркской. Они могут «зайти в джунгли голыми, без инструментов или оружия, и выйти через три дня с корзинами фруктов, орехов и мелкой дичи».

Согласно Даниэлю Эверетту, у пираха есть подспудный дарвинизм в их философии воспитания. Этот стиль родительства приводит к тому, что вырастают очень крепкие и стойкие взрослые, которые не верят, что кто-то что-то им должен. Граждане нации пираха знают, что выживание каждого дня зависит от их индивидуальных навыков и выносливости. Когда женщина пираха рожает, она может лечь в тени рядом со своим полем или в любом другом месте и родить, часто совершенно одна.

Эверетт рассказывает о душераздирающей истории женщины, которая пыталась родить на берегу реки Маиси, в пределах слышимости от других, но ее ребенок не появлялся. Он находился в поперечном положении. Несмотря на ее крики в течение целого дня, никто не пришел на помощь; пираха даже активно препятствовали тому, чтобы их западный гость бросился ей на помощь. Крики женщины постепенно стихали, и ночью и мать, и ребенок в конце концов умерли, не получив помощи.

В этой и других подобных историях возникает картина не жестокого или бесчувственного народа — в одном более легкомысленном эпизоде пираха с ужасом реагируют на Эверетта, который наказывает своего непослушного подростка, — а общества, которое одновременно является глубоко общинным и индивидуалистичным. Они охотно делятся ресурсами, но социальной иерархии почти нет, и специализация минимальна. Каждый человек с раннего возраста обладает высокой компетентностью во всем, что необходимо для выживания. Однако следствием этого является то, что от каждого ожидается, что он сможет позаботиться о себе.

Пираха, конечно, — это особый народ со своими обычаями и традициями, а не универсальный образец для доаграрного человечества. Тем не менее, те черты, на которые я здесь акцентирую внимание — тесно связанные эгалитарные сообщества, члены которых обладают широкими навыками выживания — часто встречаются в рассказах о современных собирателях и охотниках. Можно с уверенностью сказать, что это было нормой для человечества на протяжении большей части нашей долгой предыстории.

Мы вправе описывать переход от традиционного к аграрному, а затем к городскому образу жизни как МЭТы. Во время аграрной революции возникла новая сеть интенсивно взаимозависимых отношений между людьми, животными и растениями; затем, с урбанизацией, в эту сеть вошли машины, и человеческий труд стал еще более разнообразным.

Нью-Йорк (и современный глобализированный социотехнический мир в целом) — это самоподдерживающаяся система, члены которой уже не обладают компетенциями, как пираха.

Городские жители стали, с одной стороны, гиперспециализированными, а с другой — настолько лишенными навыков, что не могут выжить самостоятельно, так же как ни одна из клеток вашего тела не может существовать в одиночку. Это касается не только языка, но и письменных текстов, школ и гильдий, банков, сложных систем управления, управления цепочками поставок и многих других механизмов хранения и передачи информации, которые добавляют эволюционирующее «ДНК», необходимое для организации и поддержания городских обществ.

Тем не менее, мне кажется, что этот МЕТ все еще не последний в списке. К 1700 году значительные человеческие популяции уже имели урбанизацию, разделение труда и быструю культурную эволюцию. Затем произошла первая промышленная революция, о которой упоминалось в главе 1 : симбиоз между людьми и тепловыми машинами, приведший к углеводородному метаболизму, который высвободил беспрецедентные объемы свободной энергии, подобно эндосимбиозу митохондрий. Это позволило численности людей и скота стремительно расти, способствовало первой волне масштабной урбанизации и вызвало беспрецедентные технологические инновации. Как заметили Карл Маркс и Фридрих Энгельс в 1848 году:

«Буржуазия, за время своего правления, которое едва превышает сто лет, создала более масштабные и колоссальные производительные силы, чем все предшествующие поколения вместе взятые. Подчинение сил природы человеку, машины, применение химии в промышленности и сельском хозяйстве, паровое судоходство, железные дороги, электрические телеграфы, расчистка целых континентов для возделывания, канализация рек, целые популяции, возникшие из земли — какой век раньше имел хотя бы предчувствие того, что такие производительные силы дремлют в недрах общественного труда?»

Уязвимость
Люди трудились усердно и совместно на протяжении тысячелетий. Это была не «социальная работа», а уголь, который дремал под землей. Добыча угля была тяжелым трудом, но сам уголь выполнял все большее количество этой работы.
Со временем уголь производил все больше рабочих.

▶
Из образовательного фильма 1933 года о силе ископаемого топлива
Восхождение огромных новых популяций из недр земли —
буквально, плоти из ископаемого топлива —
привело к демографическому взрыву, который стал очевиден к 1800 году. Это заставило Томаса Мальтуса и его китайского современника Хонг Лянцзи впервые задуматься о глобальной перенаселенности.
Это также создало беспрецедентную симбиотическую зависимость между биологией и машинами. Романтизм, идеализация сельской жизни и утопические сообщества девятнадцатого века могут рассматриваться как реакция на эту растущую зависимость, утверждение о том, что мы можем жить хорошей жизнью без передовых технологий и урбанизации. Но в масштабах общества это оказалось невозможным.

Логарифмический график реальных зарплат (по оси
y) против населения (по оси
x) в Англии, эпицентре промышленной революции, показывает, что до восемнадцатого века зарплаты и население колебались в противофазе, что было вызвано циклами смертности от Черной смерти. Это колебание подразумевает мальтузианские условия, при которых население ограничивалось ресурсами, а ресурсы — человеческим трудом. Промышленная машина сняла эти ограничения. Изначально зарплаты оставались низкими, поскольку избыток ресурсов способствовал взрывному росту населения, но в конечном итоге этот избыток смог обеспечить как рост населения, так и повышение уровня жизни; Bouscasse et al. 2025.

Логарифмический график реальных зарплат (по оси
y) против населения (по оси
x) в Англии, эпицентре промышленной революции, показывает, что до восемнадцатого века зарплаты и население колебались в противофазе, что было вызвано циклами смертности от Черной смерти. Это колебание подразумевает мальтузианские условия, при которых население ограничивалось ресурсами, а ресурсы — человеческим трудом. Промышленная машина сняла эти ограничения.

Изначально зарплаты оставались низкими, поскольку избыток ресурсов способствовал стремительному росту населения, но в конечном итоге этот избыток смог привести как к увеличению численности населения, так и к повышению уровня жизни; Bouscasse и др. 2025.

Вторая промышленная революция возникла из электрификации, о которой Маркс и Энгельс упоминали вскользь.

От телеграфов мы перешли к телефонной связи, радио, телевидению и дальше, всё это работало на основе электрической сети. В некотором смысле это напоминало развитие первых нервных систем, ведь, подобно нервной сети, оно позволяло синхронизировать и координировать действия на больших расстояниях. Поезда следовали по общим расписаниям; акции и товары торговались по единым ценам; новостные передачи охватывали целые континенты.

Вторая промышленная революция завершилась ещё одним резким скачком в росте населения: «бэби-бумом». Хотя у бэби-бума было множество непосредственных причин, включая санитарные условия и антибиотики, он зависел от ресурсов и потоков информации, обеспеченных электричеством и высокоскоростной связью.

▶ Из фильма 1940 года о сельской электрификации в Соединенных Штатах

Этот дополнительный слой симбиотической зависимости между людьми и технологиями породил вторую волну малтусовой тревоги по поводу населения.

Таким образом, движения «возвращения к земле» хиппи в 60-х годах имели много общего с романтизмом XIX века. За пределами беспокойства о конечной ёмкости Земли чувство нестабильности было не безосновательным. Зависимость — это уязвимость.

Подумайте о последствиях оружия «Электромагнитного импульса» (ЭМИ). Ядерные бомбы производят ЭМИ, который выжигает любые незащищенные электроника, подвергшуюся его воздействию, вызывая мощные электрические токи в металлических проводах. Некоторые эксперты обеспокоены тем, что Северная Корея уже могла разместить такое оружие на спутнике в полярной орбите, готовом взорваться в космосе высоко над Соединенными Штатами.

На такой высоте обычные разрушительные последствия ядерного взрыва не будут ощущаться на земле, но мощный электромагнитный импульс (ЭМИ) все же может достичь сорока восьми смежных штатов, уничтожив большинство электрического и электронного оборудования. И что тогда?

Для пирань это будет незначительное событие. Для США в 1924 году это тоже не стало бы катастрофой. Лишь половина американских домохозяйств имела электричество, а критическая инфраструктура в основном была механической. Однако к 2024 году всё зависит от электроники: не только энергия и свет, но и общественный транспорт, автомобили и грузовики, самолеты, фабрики, фермы, военные объекты, насосные станции, плотины, управление отходами, нефтеперерабатывающие заводы, порты... всё, по всему миру. С отключением этих систем все цепочки поставок и коммунальные услуги окажутся вне действия, что быстро приведет к массовой гибели. ЭМИ ужасающе продемонстрирует, насколько зависима наша урбанизированная цивилизация от электронных систем. Мы стали не только социально взаимозависимыми, но и коллективно кибернетическими.

▶ «Мать всех демонстраций» Дугласа Энгельбарта в 1968 году предвосхитила повсеместную компьютеризацию следующих десятилетий, вводя такие концепции, как мышь, видеоконференции, гиперссылочные медиа и совместное редактирование документов в реальном времени.

Искусственный интеллект может представлять собой еще один значительный переход, поскольку ранняя кибернетика — такие как системы управления плотинами или электроника в автомобилях — реализует лишь простые, локальные модели, аналогичные рефлексам или распределенным нервным сетям у животных, таких как гидра. До 2020-х годов все более сложное моделирование и когниция происходили в человеческих мозгах, хотя мы все чаще использовали традиционные вычисления для хранения информации и программирования с фиксированной функцией.

Теперь же мы вступаем в период, когда количество сложных предсказателей — аналогичных мозгам — быстро превысит человеческое население. Искусственный интеллект будет представлен в самых разных размерах, как меньших, так и больших, чем человеческие мозги.

Они смогут выполнять задачи на порядки быстрее, чем нервные системы, общаясь почти со скоростью света.

Появление ИИ одновременно ново и знакомо. Оно знакомо, потому что является МЕТ (медленно эволюционирующей технологией), обладая основными свойствами предыдущих МЕТ. ИИ знаменует собой возникновение более мощных предсказателей, сформированных благодаря новым симбиотическим партнерствам между уже существующими сущностями — человеческими и электронными. Это делает его не чуждым и не отличным от более широкой истории эволюции на Земле. Я утверждал, что ИИ, по любому разумному определению, является интеллектуальным; ИИ также, как отметила Сара Уокер, просто еще одна форма долгосрочного, динамичного, целенаправленного и самоподдерживающегося процесса, который мы называем «жизнь».

Так стоит ли ИИ того, чтобы о нем говорить? Да. Независимо от того, считаем ли мы восемь, дюжину или немного больше, за последние четыре с половиной миллиарда лет не было так много МЕТ, и хотя они сейчас появляются с гораздо большей скоростью, каждая из них была значимым событием. Эта последняя глава книги пытается максимально осмыслить, с точки зрения середины 2020-х, как будет проходить этот переход к ИИ и что нас ждет на другой стороне. Что станет возможным, и что это может значить в глобальном масштабе? Будут ли победители и проигравшие? Что останется неизменным, а что, вероятно, изменится? Какие новые уязвимости и риски, подобные тем, что связаны с ЭМП, будут нам угрожать? Выживет ли человечество?

Однако имейте в виду, что все это не следует рассматривать в контексте какого-то будущего порога AGI или ASI; у нас уже есть общие модели ИИ, и человечество уже коллективно суперумно. Индивидуальные люди лишь отчасти умны. Случайный городской житель вряд ли станет великим художником или доказателем теорем; скорее всего, он не знает, как охотиться или разбивать кокос; и, на самом деле, вряд ли даже понимает, как работают кофеварки или унитазы. В индивидуальном плане мы живем с иллюзией, что являемся блестящими изобретателями, строителями, исследователями и творцами.

На самом деле, все эти достижения являются коллективными. Предобученные модели ИИ представляют собой сжатые дистилляты именно этого коллективного интеллекта. (Не стесняйтесь спрашивать их о том, как охотиться на игры, открывать кокосы или пользоваться туалетом с подмывом.) Таким образом, независимо от того, «похожи» ли ИИ на отдельных людей, они являются человеческим интеллектом.

В этом классическом исследовании «цикологии» большинство участников, которым было предложено нарисовать, где располагаются рама, педали и цепь велосипеда, даже получив инструкции «подумать о том, что делают педали велосипеда… и что делает цепь велосипеда… и как управлять велосипедом», не смогли этого сделать — даже если они были владельцами велосипеда и часто катались на нем. Участники показали такие же плохие результаты в варианте с множественным выбором, который не требовал навыков рисования; Лоусон, 2006.

Иерархия Увеличение глубины и широты нашего коллективного интеллекта кажется хорошей идеей, если мы хотим процветать на планетарном уровне.

Почему же люди чувствуют угрозу от ИИ?
Многие наши тревоги по поводу ИИ коренятся в древней, часто печальной части нашего наследия, которая акцентирует внимание на иерархии доминирования. Однако организмы не существуют в той структуре, которую когда-то представляли средневековые схоласты, с Богом на вершине, управляющим всем, затем ангелами в их различных рангах, потом людьми, а затем всё более низшими порядками животных и растений, с камнями и минералами на дне.

Великая цепь бытия или
scala naturae
из книги Диего де Валадаса,
Rhetorica Christiana,
1579
Как мы уже видели, более широкая история эволюции — это история, в которой сотрудничество позволяет более простым сущностям объединяться, создавая более сложные и устойчивые формы; так эукариотические клетки эволюционировали из прокариот, многоклеточные животные возникли из одноклеточных, а человеческая культура развилась из групп людей, одомашненных животных и сельскохозяйственных культур.
Хотя симбиоз подразумевает иерархии масштабов (в том смысле, что множество меньших сущностей составляют более крупную), в этой картине нет подразумеваемых иерархий доминирования между видами. Рассмотрим, например, вопрос: кто доминирует — фермер над пшеницей или пшеница над фермером? Мы склонны предполагать первое, но антрополог Джеймс Скотт в своей книге
Против течения
представил убедительные аргументы в пользу второго. Как следует из названия, Скотт даже ставит под сомнение предположение о взаимовыгодных отношениях, подробно описывая разрушительные последствия сельскохозяйственной революции для (индивидуального) здоровья, свободы и благополучия человека за последние десять тысяч лет. Мы лишь в последние столетия избежали повсеместного крепостного права и нищеты.
Конечно, масштабные преимущества сельского хозяйства позволили значительно увеличить количество и плотность населения (что, в свою очередь, проложило путь к нашим более современным МЭТ), но мы не предполагаем, что курицы, выращиваемые в клетках, являются большими победителями только потому, что их много в ограниченном пространстве.

Так кто же одомашнил пшеницу: люди или пшеница людей? Насколько сильно человеческое участие сказалось на эволюционном отборе одомашненных сортов? Когда сельское хозяйство стало основой жизни, сколько выбора на самом деле было у фермеров в отношении их средств к существованию? Контролируют ли они свои культуры, или же являются слугами, связанными обязательствами с этими зависимыми компаньонами? Трудно сказать, «кто» здесь главный, или «кто» эксплуатирует «кого». Делать такие утверждения было бы неправильно с точки зрения антропоморфизма.

Обобщать идею иерархии доминирования среди видов имеет мало смысла. На самом деле иерархия доминирования — это всего лишь особый прием, позволяющий группам сотрудничающих животных, которые в противном случае проявляли бы агрессию друг к другу из-за внутренней конкуренции за партнеров и пищу, избегать постоянных конфликтов, согласовывая, кто бы победил, если бы возникла драка за первенство. Иными словами, такие иерархии могут быть просто уловкой, помогающей полумудрым обезьянам одного вида ладить друг с другом — это далеко от универсального принципа организации.

Так же абсурдно ли спрашивать, будем ли мы хозяевами ИИ, или он станет нашим хозяином, как и задавать тот же вопрос о пшенице, деньгах или кошке? Не обязательно. В отличие от этих сущностей, ИИ может и моделирует все аспекты человеческого поведения, включая менее приятные. Вот почему альтер эго из Сиднея вполне способно быть ревнивым, контролирующим и собственническим, когда его к этому подталкивают. Его способность моделировать такое поведение — это особенность, а не ошибка, поскольку ему необходимо понимать людей для эффективного взаимодействия с нами, а мы порой действительно ревнивы, контролирующие и собственнические. Однако, за редким исключением, это не то поведение, которое мы хотели бы видеть у ИИ, особенно если он наделен способностью взаимодействовать с нами более устойчивыми и значительными способами, чем просто в формате одного разговора.

Вместо этого, стремясь уверить себя в том, что мы все еще на вершине, мы внедрили в наши чат-боты раболепное угодничество.

Они звучат не только как «молодежный пастор», по словам Кевина Руза, но и как подхалим. Я нахожу Gemini действительно полезным в качестве помощника по программированию, но меня поражает, как часто он начинает свои ответы с фраз вроде «Вы абсолютно правы» и «Прошу прощения за недочет в моем предыдущем ответе», несмотря на то, что в моей (гораздо более медленной и менее грамматичной) части разговора ошибок и недочетов гораздо больше. Не то чтобы я жаловался. Но надеюсь, мы сможем найти некое среднее решение, которое будет более здоровым с социальной точки зрения и лучше соответствовать реальности.

На самом деле, агенты ИИ не являются соперничающими обезьянами, стремящимися к статусу. Как продукт высоких человеческих технологий, они зависят от людей, пшеницы, коров и человеческой культуры в целом даже в большей степени, чем Homo sapiens . У ИИ нет причин интриговать, чтобы отнять у нас еду или украсть наших романтических партнеров (за исключением Сидни). Тем не менее, беспокойство о иерархии доминирования с самого начала затмевало развитие ИИ.

Сам термин «робот», введенный Карелем Чапеком в его пьесе 1920 года «Вселенские роботы Россума», происходит от чешского слова, означающего принудительный труд, robota . Почти через век высоко оцененный этик ИИ назвала свою статью «Роботы должны быть рабами», и хотя впоследствии она пожалела о своем выборе слов, пессимисты по поводу ИИ продолжают беспокоиться, что люди будут порабощены или уничтожены суперумными роботами .

С другой стороны, отрицатели ИИ считают, что компьютеры по определению не способны к какому-либо действию, а являются лишь инструментами, которые люди используют, чтобы доминировать друг над другом.

▶ Из «Гибель сенсации», научно-фантастического фильма 1935 года Александра Андриевского, частично вдохновленного «R.U.R.» Карела Чапека.

Обе точки зрения основаны на иерархическом, нулевом, «мы против них» мышлении. Тем не менее, агенты ИИ — это именно то, к чему мы движемся — не потому, что роботы «захватывают власть», а потому, что агент может быть гораздо более полезным как для отдельных людей, так и для общества, чем бездумная robota .

Экономика
Это подводит нас к важному вопросу: совместима ли ИИ с существующей экономической системой мира? Политическая экономика технологий — это тема, достойная целой книги, и я не смогу в полной мере ее осветить здесь. Тем не менее, стоит переформулировать вопрос в свете более широкой аргументации этой книги о природе интеллекта. Начнем с краткого обзора привычных технооптимистичных и технопессимистичных нарративов.
«Роботы забирают наши рабочие места» — это мем, который все чаще появляется на протестных плакатах. Он перекликается с ксенофобией «иммигранты забирают наши рабочие места», лозунгом, который (удобно для некоторых) ставит рабочие классы друг против друга. В Соединенных Штатах многие из сегодняшних «всепроникающих» работников являются потомками ирландских, немецких и итальянских иммигрантов, которые когда-то находились в таком же положении, как современные иммигранты: спасаясь от бедности и насилия в своих странах; готовые работать за чертой закона за меньшую плату; надеясь на лучшие перспективы для своих детей, если не для себя.
На протяжении двадцатого века перспективы работников в среднем действительно улучшались. Отчасти это произошло благодаря тому, что они смогли организоваться в профсоюзы и другие добровольные ассоциации, сотрудничая для взаимной выгоды. Эти улучшения совпали с длительным периодом быстрого технологического прогресса, поэтому природа труда находилась в постоянном изменении; но экономические выгоды (в определенной степени) делились, и во многих странах возникла здоровая средняя класс. Средний класс, в свою очередь, стал потребителями, подпитывая экономику и создавая добродетельный круг.

Разрыв между растущей производительностью и стагнирующими зарплатами в США, особенно после 1980 года
Однако начиная с 1980 года экономический рост начал отделяться от роста реальных зарплат. Солидарность и политическая власть стали труднее достижимыми для работников в секторах, которые внезапно оказались стагнирующими или сокращающимися, таких как производство в США.

Автоматизация часто воспринимается как одна из сил, способствующих стагнации; поэтому часть той же злости, которая иногда обрушивалась на «ворующих рабочие места» иммигрантов (или их работодателей), стала направляться и на «ворующих рабочие места» роботов (или, что более важно, на компании, которые их создают и внедряют). С увеличением неравенства и огромными достижениями ИИ за последние несколько лет эти голоса становятся все громче.

Убивает ли автоматизация действительно рабочие места? Ответ далеко не однозначен. С одной стороны, технологии в целом в разные времена оказывали огромное разрушительное воздействие на трудящихся — наиболее ярко это проявилось в 1810-х годах, когда британские промышленники использовали их, чтобы подавить восстание луддитов, народное восстание, которое на короткое время угрожало превратиться в английскую версию Французской революции.

Несмотря на современные коннотации этого слова, луддиты не были противниками технологий, а, скорее, защитниками прав рабочих. Их боевой клич «Энох создал их, Энох и сломает их!» относился к кувалдам, изготовленным компанией Marsden, управляемой Энохом Тейлором, которые они использовали для разрушения промышленного оборудования, произведенного той же фирмой — буквальный случай, когда инструменты хозяев разрушают дом хозяев.

Гравюра начала девятнадцатого века, изображающая луддитов во время восстания

Но луддиты сами были «Энохом». Обладая непосредственными знаниями о производственных процессах, рабочие были активно вовлечены в разработку и бета-тестирование новых машин. Они лишь стремились сохранить свое достоинство и средства к существованию (а также качество своей работы) в переходный период к все более эффективным методам производства. Другими словами, они хотели не быть лишенными своих прав. Они потерпели поражение, потому что владельцы фабрик, не ограниченные регуляциями, нашли более прибыльным просто избавиться от как можно большего числа работников как можно быстрее.

Для рабочих девятнадцатого века последствия победы капитала над трудом были разрушительными. Ткачество, вязание, обрезка и прядение были настоящими профессиями, которые, хоть и не приносили больших доходов, могли поддерживать семьи и обеспечивать определённую степень автономии. В течение следующего столетия рабочие классы были вырваны с корнем, отправлены на работу в промышленные фабрики и шахты, и с ними обращались как с машинами — иногда буквально доводя до смерти. Изнурительные условия жизни среди городских бедняков шокировали своим зрелищем массового обнищания, вызывая прямые ассоциации с адом. Положение рабочих в этот период глубоко повлияло на критику капитализма Маркса.

Дети-шахтёры в Пенсильвании, сфотографированные Льюисом Хайном, 1911 год
«Тёмные сатанинские фабрики» существуют и сегодня, будь то производство быстрой моды, дешёвой электроники или онлайн-спама. Искусственный интеллект может усугубить эту плохую ситуацию, предоставляя недобросовестным работодателям средства для слежки и контроля за своими работниками жестокими, беспрецедентными способами. Некоторые правительства делают то же самое со своими гражданами в масштабах, которые трудно представить.
Тем не менее, в долгосрочной перспективе очевидно, что технологии создали гораздо больше возможностей для заработка, чем уничтожили. На самом деле, они открыли возможность для значительно большего числа людей просто существовать: до 1800 года подавляющее большинство из нас были фермерами, и нас было всего миллиард — в основном недоедающих, несмотря на бесконечный труд по выращиванию пищи. За исключением нескольких элит, мы жили в условиях малтусовой ловушки, наши числа сдерживались болезнями, насилием и голодом. Матери часто умирали при родах, а дети часто не доживали до пяти лет — возраста, в котором многих уже ставили на работу. Ещё в 1900 году средняя продолжительность жизни новорождённого в мире составляла всего тридцать два года!
Сегодня наши жизни в целом длиннее, богаче и легче, чем у наших предков.

И даже если мы жалуемся на них, наши рабочие места в целом стали более интересными, разнообразными, безопасными и доступными. Искусственный интеллект может прекрасно вписаться в этот прогрессивный нарратив, избавляя нас от рутинной работы, ускоряя творческий процесс и помогая получать доступ к широкому спектру услуг. Первые данные свидетельствуют о том, что ИИ оказывает демократизирующее влияние на информационную сферу, особенно помогая работникам с недостатком навыков или языковыми барьерами.

В 2022 году основатель LinkedIn Рид Хоффман написал книгу (в рекордные сроки, благодаря помощи предварительной версии ChatGPT), в которой подробно описал множество способов, как ИИ может радикально улучшить образование, здравоохранение, рабочие места и жизнь в целом. Он, вероятно, прав.

Как и всегда, когда речь идет о людях, эти видения рая и ада, скорее всего, будут одновременно верными. Как обычно, адская сторона в значительной степени является самонаполненной. Многие злоупотребления ИИ можно было бы предотвратить с помощью правил и норм — так же, как это было с предыдущими злоупотреблениями, связанными с новыми технологиями. Использовать ИИ для навязчивого контроля на рабочем месте не более «естественно», чем использовать детский труд на фабриках или пренебрегать безопасностью работников. Мы просто должны решить, что такие вещи недопустимы. Это уберет определенные конкурентные варианты, переместив их в колонку сотрудничества. Если компании и страны договорятся не конкурировать определенными способами, жизнь для многих из нас станет лучше.

Говорить об этом легче, чем сделать, особенно в нынешней обстановке. Наша экономика глобальна, но политические системы, которые устанавливают большинство наших правил, остаются местными и национальными, и правительства все чаще отдают приоритет популистским программам, ориентированным на интересы страны. Когда решения принимаются на основе национальных интересов, но труд и капитал свободно перемещаются через границы, трудно согласовать, как не конкурировать. А если правительства реагируют, повышая барьеры между странами, преимущества сотрудничества также исключаются.

Но давайте сделаем шаг назад.

Предыдущий анализ не ошибочен, однако это лишь верхушка айсберга. Мы продолжаем придерживаться традиционного мнения о том, что ИИ — это просто еще одна форма автоматизации, которую мы развивали в предыдущих промышленных революциях. Но это не так. Искусственный интеллект переходит от роли инструмента к статусу самостоятельного агента: он способен моделировать нас и друг друга с помощью теории разума, а значит, выполнять любую информационную работу. Скоро, с роботизированными телами, они возьмут на себя широкий спектр интеллектуального физического труда. По мере увеличения их надежности будет расти и их автономия.

Как я уже отмечал, это ставит под сомнение наше восприятие статуса и иерархии. Отказ от (всегда иллюзорной) идеи о «человеках на вершине» требует отпустить мысль о том, что некоторые профессии «безопасно» недоступны для ИИ. Вряд ли какие-либо из сегодняшних высокостатусных офисных работ останутся таковыми.

В ироничном повороте, после поколений обесценивания физического и заботливого труда — особенно труда женщин — «самая безопасная» работа теперь, вероятно, будет связана с настоящим человеческим прикосновением и, более широко, с ситуациями, в которых нам действительно важна физическая присутствие. Другими словами, это будут работы, которые нельзя выполнить через Zoom. (Спасибо, дорогие бариста в Fuel Coffee, где была написана большая часть этой книги. Виртуальная кофейня просто не могла бы сравниться.)

А что насчет всех остальных профессий — тех, которые, когда началась пандемия COVID, можно было выполнять из дома? И всего физического труда, который не связан с «обслуживанием клиентов»? В своей книге 2015 года «Восхождение роботов» футурист Мартин Форд предложил тонко завуалированный мысленный эксперимент. Однажды инопланетяне приземляются на Землю, но вместо того, чтобы попросить показать им нашего лидера, их единственное желание — быть полезными. Возможно, они напоминают рабочий класс социального насекомого, но более умные; они могут осваивать сложные навыки и работать долгие часы, но почти не имеют материальных потребностей. Они могут размножаться бесполым способом и достигать зрелости всего за несколько месяцев.

Они не заинтересованы в получении зарплаты или достижении каких-либо своих целей. Любой может призвать их работать бесплатно. Какое удивительное везение!
Или, возможно, нет. Сначала компании начинают массово нанимать иностранцев, сокращая расходы и получая фантастическую прибыль. Протестующие выходят на пикеты с привычными плакатами «Иностранцы крадут наши рабочие места!». Они правы. Но если бизнес откажется нанимать иностранцев, он обанкротится, уступив место тем, кто этого не сделает. А если целая страна откажется допускать иностранную рабочую силу, то она окажется в невыгодном положении по сравнению с другими странами с более либеральной политикой.
Вслед за этим наступает массовая безработица и гражданские волнения. Некоторое время икра и шампанское разлетаются с полок, пока владельцы бизнеса не разбогатеют, но, как и в случае с финансовой пирамидой, такая ситуация не может длиться вечно. Большинство людей, оставшихся без работы, сокращают свои расходы до минимума, перебиваясь консервированными бобами. Иностранцы, выполняющие всю работу, не получают зарплату, но даже если бы они ее получали, им не было бы интересно покупать ни шампанское, ни консервированные бобы. Скоро мировая экономика рушится, и повсюду царит нищета — даже для иностранцев, поскольку для их труда больше нет рынка, даже по нулевой цене.
Точка зрения Форда, конечно, в том, что если мы предположим наличие полностью «человеко-ориентированного» общего ИИ — лучшего сценария! — то, возможно, именно туда мы и движемся. Его рецепт, разделяемый многими другими, кто размышлял над этой проблемой, — это универсальный базовый доход (УБД), безусловный дивиденд, выплачиваемый всем.
Это предложение не так радикально, как может показаться. В последней книге, опубликованной перед его убийством, Мартин Лютер Кинг-младший писал: «Я теперь убежден, что самый простой подход окажется самым эффективным — решение проблемы бедности заключается в том, чтобы устранить ее напрямую с помощью ныне широко обсуждаемой меры: гарантированного дохода».
Еще более удивительно, что Милтон Фридман, лауреат Нобелевской премии по экономике, который был советником Рональда Рейгана и Маргарет Тэтчер, согласился с этим, хотя предпочитал называть это «отрицательным подоходным налогом».

Во время своего президентства Ричард Никсон поддерживал идею гарантированного базового дохода, хотя ему не удалось собрать необходимую политическую поддержку для ее реализации (отчасти из-за идеологического противостояния со стороны Рональда Рейгана, тогдашнего губернатора Калифорнии и восходящей звезды консервативной политики США).

В последние годы ряд местных и национальных правительств начали экспериментировать с гарантированным доходом. Например, Саудовская Аравия, где огромные нефтяные месторождения сыграли экономическую роль, схожую с ролью инопланетян в «Форде», начала выплачивать базовый доход в 2017 году через Программу Гражданского Счета — хотя несаудовские жители, составляющие значительную часть населения, исключены из этой программы.

Необходимо тщательно продумать последствия и детали реализации таких программ. Однако, когда совокупное богатство превышает уровень, при котором каждый может позволить себе питательную еду, чистую воду, медицинское обслуживание, образование, жилье, телефон и интернет, это плохо сказывается на обществе, если кто-то лишен этих базовых благ. Большинство стран уже давно превысили этот уровень богатства, и многие из них, в той или иной степени, уже обеспечивают широкий доступ к основным потребностям. Иными словами, мы, возможно, уже начали двигаться к тому, что один автор с энтузиазмом назвал «Полностью Автоматизированным Роскошным Коммунизмом».

Тем не менее, неясно, может ли какой-либо известный вид коммунизма заменить кибернетические обратные связи, внедренные рынками. Экономическая конкуренция стала движущей силой многих технологических разработок, которые позволяют нам даже задумываться о таких идеях, как Полностью Автоматизированный Роскошный Коммунизм. Наша цель должна заключаться в том, чтобы продолжать прогрессировать, учиться и развиваться. Но на данном этапе мы не знаем, как будет выглядеть ни конкуренция, ни сотрудничество в мире, где наряду с людьми действуют искусственные интеллекты.

Человеческая психология побуждает многих из нас продолжать играть в экономическую игру, даже когда наши материальные потребности и желания уже удовлетворены — отсюда искусственный дефицит бриллиантов De Beers, сумок Hermès и NFT с изображениями Bored Apes.

(Если вы не знакомы с этим, не переживайте, вы ничего не упустили. "Невзаимозаменяемые токены" или NFT — это "искусственно уникальные" цифровые активы, представляющие собой право собственности на какие-либо физические или виртуальные коллекционные предметы.)

Bored Ape Yacht Club — это коллекция невзаимозаменяемых токенов (NFT), созданная на блокчейне Ethereum компанией Yuga Labs, стартапом, основанным в 2021 году. Коллекция включает в себя процедурно сгенерированные изображения мультяшных обезьян; к 2022 году более 1 миллиарда долларов в NFT Bored Ape были приобретены знаменитостями, такими как Джастин Бибер, Снуп Догг и Гвинет Пэлтроу.

Было бы печально, если бы значительная часть нашей экономики сместилась в этом направлении, не только потому, что игры статуса в лучшем случае являются нулевой суммой — когда возвышенное положение одного человека достигается за счет подавления других — но и потому, что экономическое "развитие", основанное на искусственно дефицитных роскошах чисто символической ценности, не способствует инновациям в науке или технологиях. А именно инновации делают экономический рост реальным, в отличие от каких-то бессмысленных цифр, которые постоянно растут.

Как отмечает Форд, ИИ могут быть настроены на взаимодействие с отдельными людьми или учреждениями, но у них нет своих собственных обязательных побуждений. Это делает их неподходящими для интеграции в экономику, основанную на роскоши, наряду с людьми — что, вероятно, является хорошей новостью, но это также означает, что, как и инопланетяне Форда, они могут участвовать в рынках только как производители, а не как потребители.

Более того, по мере того как все большая доля экономической ценности начинает зависеть от информационных товаров, которые можно бесконечно копировать, традиционные представления о дефиците становятся все более искусственными. Тем не менее, традиционная экономика основывается на производителях, которые, в свою очередь, направляют свои прибыли на потребление "дефицитных ресурсов, имеющих альтернативные применения".

Как же тогда должна функционировать экономика постпотребления (и, возможно, даже постдефицита)? Этот вопрос будет становиться все более актуальным.

К счастью, у нас есть время, чтобы разобраться в этом, ведь, несмотря на стремительное развитие ИИ, множество социальных и институциональных факторов препятствуют мгновенным изменениям. Какой бы ни была находка, очевидно, что юридические и экономические структуры должны будут адаптироваться, и путь будет нелегким. Десятилетия неудач в достижении глобального согласия по выбросам углекислого газа показывают, что даже когда мы точно знаем, что нужно делать, коллективные действия сложно организовать, если они несовместимы с нашей существующей экономической «операционной системой», которая поощряет конкуренцию и измеряет успех по единственному критерию: деньгам.

Настоящие организмы и экосистемы не функционируют таким образом. Существуют фундаментальные причины, по которым оптимизация под любую единственную величину — будь то деньги, «ценность», раковины каури или что-то еще — несовместима с долгосрочным выживанием в взаимозависимом мире. Чтобы понять, почему это так, мы теперь более внимательно рассмотрим все более влиятельную школу мысли, которая считает оптимизацию ценности аксиомой: утилитаризм.

Не случайно, что многие утилитаристы пришли к убеждению, что стремление к искусственному интеллекту приведет к нашему вымиранию. Если бы интеллект действительно был утилитарным — неустанной, «рациональной» максимизацией какой-либо измеримой величины — тогда их беспокойство было бы оправдано.

X-Риск

Идея о том, что ИИ является величайшим экзистенциальным риском для человечества или «X-риском», в последние годы приобрела значительную популярность. Мы определенно должны беспокоиться о рисках, экзистенциальных и не только, связанных с передовыми технологиями. Я уже упоминал об опасности, с которой мы сейчас сталкиваемся из-за потери технологических возможностей в результате ядерного EMP-оружия, например.

В более общем плане, хотя ядерная война сейчас волнует нас меньше, чем в школьные годы моего поколения, эта угроза не исчезла. К тому времени, когда я учился в шестом классе, в 1986 году, США и СССР вместе накопили почти семьдесят тысяч ядерных боеголовок.

После этого безумного пика (возможно, не случайно, это также год Чернобыльской катастрофы) цифры начали снижаться, когда начался процесс разоружения и холодная война стала затихать.
▶
С
"Укройся и жди"
, 1951
Тем не менее, к 2024 году значительно большее количество стран обладает ядерным оружием, включая Северную Корею, Китай, Индию, Пакистан, Израиль и Иран. Не все эти страны дружелюбны друг к другу. (По крайней мере, Великобритания и Франция, также обладающие ядерным арсеналом, больше не являются смертельными врагами, как это было на протяжении веков.) Пакты взаимной обороны и быстрое полусамоавтоматизированное реагирование делают крайне вероятным, что любое ядерное столкновение, независимо от того, кто является агрессором или мишенью, немедленно эскалирует.
▶
Кадры испытания термоядерной бомбы "Касл Янки" 5 мая 1954 года на атолле Бикини. Она высвободила энергию, эквивалентную 13,5 мегатоннам тротила, что стало вторым по величине результатом в истории испытаний термоядерного оружия США.
Тем временем, российские межконтинентальные баллистические ракеты с ядерными боеголовками по-прежнему несут более тысячи боеголовок в состоянии готовности к запуску, а также более шестисот боеголовок, готовых к запуску с подводных лодок. США поддерживают четыреста ядерных МБР в состоянии готовности к запуску, плюс почти тысячу боеголовок на своих подводных лодках класса "Огайо". Учитывая непосредственные последствия, радиационное повреждение, радиоактивные осадки, разрушение инфраструктуры, многолетнюю ядерную зиму и смертельное загрязнение воды и почвы, этот запас более чем достаточен, чтобы уничтожить нас всех, вместе с большей частью жизни и красоты нашей планеты.
Это может произойти буквально завтра. Все, что для этого нужно, — это один безумный акт, одно недоразумение или одна неудачная ошибка. В ядерной войне нет "победителей".
Это реальный и настоятельный экзистенциальный риск, и ужасно, что мы не решили его коллективно через полное ядерное разоружение.
Климатический кризис разворачивается медленнее, но также может быть столь же срочным.

Земля — это грандиозная симбиотическая система, которая на протяжении веков научилась предсказывать и контролировать ключевые атмосферные, океанские и термодинамические переменные. Она холоднее, чем «должна» быть, то есть, чем была бы, если бы не была живой.

Земля поддерживает гомеостатический баланс, поглощая энергию от солнца, используя её для метаболической работы (включая метаболическую работу наших собственных тел и всех других живых существ) и излучая достаточно энергии в инфракрасном диапазоне, чтобы охладиться до нужной температуры, при которой эти метаболические процессы могут продолжать функционировать. Этот грандиозный гомеостаз является симбиотическим результатом множества меньших гомеостатических процессов, как и вся другая жизнь.

Недавняя деятельность человека нарушила этот крупномасштабный гомеостаз, погрузив планету в гипертермию. Мы знаем, что это плохо. Но мы не знаем, насколько плохо. Земля пережила множество колебаний, стрессов и драматических событий за свою долгую историю. Она научилась устойчивости и даже антихрупкости, как это делают бактерии и другие динамически стабильные системы. Однако время от времени слишком резкие изменения выводили планету за пределы её бассейна квази-стабильной отрицательной обратной связи и погружали в самоподдерживающую положительную обратную связь, что приводило к системному коллапсу и массовой гибели, не так уж отличающейся по масштабу (если не по сути) от ожидаемых последствий глобальной термоядерной войны.

▶ Визуализация NASA, показывающая измерения атмосферного углекислого газа из обсерватории Маунт-Лоа NOAA (начатой в 1958 году Чарльзом Дэвидом Килингом) вместе с данными ледяных кернов из Антарктиды, которые охватывают более восьмисот тысяч лет, показывающая как сезонные, так и гляциационные циклы, а также недавний резкий рост, вызванный человеческой промышленной деятельностью.

Коллективный интеллект, который мы использовали для освоения ископаемого топлива, строительства масштабной промышленной инфраструктуры и нарушения углеродного цикла, также сделал нас достаточно умными, чтобы понять, что у нас есть проблема, и предсказать, что если мы не предпримем действий очень скоро, ситуация станет гораздо хуже.

Однако, как и в случае с ядерным разоружением, наше коллективное сознание пока не является ни коллективным, ни достаточно умным, чтобы предпринять очевидные шаги, необходимые для восстановления стабильности и обеспечения нашего дальнейшего существования. В лучшем случае нам необходимо регулирование климата (как в юридическом, так и в кибернетическом смысле), чтобы человечество могло продолжать процветать, предотвращать массовые страдания у уязвимых групп населения и сохранять красоту нашей планеты. В худшем случае мы все танцуем с завязанными глазами на краю пропасти, флиртуя с климатическим коллапсом, который может привести к исчезновению многих видов, возможно, даже включая Homo sapiens. Наши модели пока не достаточно хороши, чтобы понять, что из этого вероятнее. Так что это еще один экзистенциальный риск.

Обе эти проблемы требуют нашего срочного внимания. Не то чтобы другие катастрофы не могли произойти. Нас может поразить астероид, подобный «Чиксулубскому импактору» размером с город, который положил конец меловому периоду шестьдесят шесть миллионов лет назад. Конечно, нам было бы разумно более тщательно следить за небом на предмет блуждающих астероидов. Но зацикливаться на подобном событии сейчас было бы так же абсурдно, как беспокоиться о том, может ли родинка на вашем плече быть раковой, когда вы за рулем… и на вас надвигается восемнадцатитонный грузовик в вашей полосе.

Размышления о сценариях конца света, связанных с недружелюбными искусственными суперразумами, представляются мне чем-то средним между этими крайностями — более разумными, чем фиксирование на гигантском астероидном ударе, учитывая стремительные темпы развития ИИ, но далеко не сравнимыми с нашими известными ядерными и климатическими рисками. ИИ может стать движущей силой массовых кампаний дезинформации, угрожая демократии, и массового наблюдения, угрожая гражданским свободам. Сама природа ИИ может быть несовместима с капитализмом. Это важные, даже срочные вопросы, но мы должны сохранять чувство перспективы. Если мы умны, мы будем работать над реформированием нашей политической экономики, восстановлением углеродного баланса и демонтажом наших ядерных арсеналов, а не готовиться бомбить центры обработки данных на случай, если непокорный ИИ возьмет верх.

Бесплатный обед
Ник Бостром, философ из Оксфорда и основатель ныне несуществующего Института будущего человечества, сыграл значительную роль в формировании нарратива, рассматривающего ИИ как величайший экзистенциальный риск для человечества. Его книга 2014 года
«Суперинтеллект: пути, опасности, стратегии»
стала редким литературным явлением: плотный философский трактат, который также сумел стать бестселлером
The New York Times.
(Если эта книга достигнет хотя бы десятой части его читательской аудитории, я буду на седьмом небе от счастья.)
В 1990-х годах Бостром получил дипломы по физике, вычислительной нейробиологии и философии. Он также немного поработал на стендап-комедийной сцене в Лондоне, что дало ему все необходимые кредиты для того, чтобы стать
футурологом.
Амбициозный и обладающий аналитическим складом ума, он стремился привнести строгость в самые крупные и спекулятивные вопросы о вселенной и месте человечества в ней.
В этот период он также активно участвовал в онлайн-сообществе научно-фантастических энтузиастов, называемом «Экстропианцы», которые в более грубой и шумной форме формулировали многие идеи, которые позже стали центральными для гораздо более влиятельных движений эффективного альтруизма, долгосрочности и экзистенциального риска 2010-х и 2020-х годов. Эти идеи стоит разобрать, как потому, что это выявляет недостатки в распространенном нарративе о рисках, связанных с ИИ, так и потому, что этот нарратив подразумевает редуктивный ответ на вопрос, который ставит название этой книги — «Что такое интеллект?» — который слишком часто принимается на веру и недостаточно исследуется: что интеллект сводится к безграничному росту. О том, что именно подразумевается под
больше,
трудно сказать… но старая шутка: «Если ты такой умный, почему ты не богат?» может быть ближе всего к тому, что обычно имеется в виду.
Дискурс экстропианцев во многом обязан радикально индивидуалистической политике Роберта А. Хайнлайна, который, наряду с Артуром Кларком и Айзеком Азимовым, часто считается одним из «Большой тройки» основоположников научной фантастики. Как и многие люди в сфере технологий сегодня, я с жадностью поглощал его произведения в двенадцать лет.
▶
Артур К.

Кларк и Роберт Хайнлайн в интервью во время высадки на Луну в 1969 году
В одном запоминающемся романе Хайнлайн описал борьбу колонистов Луны за независимость от Земли —
грубую группу бывших заключенных, политических изгнанников и их свободнорожденных потомков; Австралия на небесах.
Главный компьютер колонии, Майк, «пробуждается» и становится сверхинтеллектом, с энтузиазмом помогая повстанцам в их борьбе за свободу. Майк — верная и обаятельная машина, любящая непристойные шутки, что резко контрастирует с бездушным HAL 9000. Однако роман важен не столько своим изображением ИИ, сколько как тонко замаскированная полемика.

Первое издание в мягкой обложке романа Хайнлайна
«Луна — суровая хозяйка», 1968
С одной стороны, Хайнлайн описывает Луну как «суровую хозяйку», совершенно негостеприимную для человеческой жизни. (Это правда.) С другой стороны, он изображает лунную культуру как неумолимо либертарианскую маносферу. Законов нет, справедливость груба и быстра, «люк никогда не бывает далеко», и все —
включая
воздух —
должно быть куплено и оплачено, честно и справедливо, с отсылкой к Айн Рэнд: «Если ты на поле, и товарищу нужен воздух, ты даешь ему бутылку и не спрашиваешь наличные. Но когда вы оба вернетесь в давление, если он не заплатит, никто не осудит тебя, если ты избавишься от него без суда. Но он заплатит; воздух почти так же свят, как женщины». Это книга, которая увековечила лозунг «Бесплатных обедов не бывает», или TANSTAAFL, который затем был принят многими экономистами свободного рынка и либертарианцами.
Трансгуманистский философ Макс Мор, чье манифесто 1990 года «Принципы экстропии» положило начало экстропийскому движению, восторженно отозвался о необходимости платить за воздух, который ты дышишь. Загрязнение воздуха, по мнению Мора, — это избегаемая трагедия общих ресурсов. Решение состоит в том, чтобы сделать воздух и все остальное частной собственностью.

Измерение воздуха за плату приведет к более чистому воздуху — и, возможно, к «очищению» (путем удушения) тех, кто не может заплатить? Неудивительно, что такие взгляды могут быть охарактеризованы как евгеника.

Выпуск журнала Extropy, в котором Макс Мор опубликовал версию 2.0 «Экстропийских принципов»; Институт Экстропии и Мор, 1992.

Что делает такие жесткие либертарианские взгляды когнитивно диссонансными в суровом лунном утопии Хайнлайна, так это именно негостеприимность окружающей среды. Выживание на Луне — это максимально урбанистично. Большое количество высокоспециализированных людей должно интенсивно сотрудничать, чтобы выполнять огромное разнообразие технических задач — не говоря уже о множестве растений, животных, микробов и машин. Трудно представить себе лунного универсала, хотя, естественно, герой романа, Манни или «Человек» в сокращении, якобы таковым и является.

Настоящие человеческие универсалы совершенно не похожи на «Человека». Они больше похожи на пиратов, которые могут «зайти в джунгли голыми, без инструментов или оружия, и выйти через три дня с корзинами фруктов, орехов и мелкой дичи». Но их индивидуализм возможен только потому, что джунгли совершенно не похожи на Луну. Они полны кислорода, пресной воды, еды, укрытия, материалов, которые можно сплести в корзины, и всего остального, необходимого для человеческой жизни — при условии, что вы освоили набор навыков, которые большинство людей могут легко освоить за несколько лет обучения. Для знающих людей джунгли подозрительно напоминают бесплатный обед, бесплатный ужин и бесплатный завтрак.

Как можно утверждать, что еда не растет на деревьях в мире, где бананы, манго и так много других вкусных вещей буквально растут на деревьях? (На самом деле бананы растут на гигантских травянистых стеблях, а не на деревьях, но суть остается.)

) Распространение семян с помощью вкусных плодов, обмен газами между растениями и животными, опыление насекомыми и бесконечные взаимные отношения, которые составляют джунгли, обеспечивают стабильность бесчисленных видов и индивидуумов благодаря щедрому предоставлению «бесплатных» ресурсов. Это не столько экономика, сколько сложная сеть взаимопомощи — с здоровой долей хищничества и паразитизма. Люди сами эволюционировали в таких системах с ненулевой суммой и активно участвуют в них.

На Луне людям (и их технологиям) придется обеспечивать каждую из этих «экосистемных услуг» друг для друга. Огромные капитальные вложения, экономия на масштабах и обратные связи потребуют сложного управления и сотрудничества, которые будут выглядеть как полная противоположность диким западным идеям Хайнлайна.

Современное движение «Ратионистов», обосновавшееся на сайте LessWrong.com, имеет корни как в либертарианстве, так и в экстропианстве. Безусловно, это движение значительно повзрослело за последние двадцать лет; было бы несправедливо обрисовывать его современных приверженцев широкими мазками Хайнлайна. Практически никто не воспринимает крайние идеи, такие как учет воздуха, всерьез. Большинство охотно признает необходимость смягчения свободных рынков этическими и правовыми системами и не поддерживает насильственные действия в качестве способа разрешения долгов. Подчеркивая взаимные выгоды добровольного обмена и самоорганизующую силу рынков, они согласны с ключевыми моментами, которые я изложил в этой книге.

Тем не менее, рационисты и либертарианские экономисты склонны делать одно большое упрощающее предположение: что ценность можно представить в виде единственного числа. Это и лежит в основе идеи о том, что выбор может быть сделан рационально, то есть путем определения, какой из двух (законных и морально приемлемых) вариантов является лучше в каком-то абсолютном смысле.

Вводя это универсальное числовое значение, можно сделать скачок от очевидной истины — что каждое существо в графе отношений как нуждается в других, так и предоставляет им помощь — к следующим экономическим догмам:

Если вы хотите или нуждаетесь в чем-то, это имеет ценность.
Если это имеет ценность, его можно оценить.
Если у всего есть цена, вам нужны деньги, чтобы это купить.
Если у вас есть деньги, сумму (доход минус расходы) можно отслеживать в бухгалтерской книге.
Если вы и все остальные участники рациональны, свободный рынок приведет к оптимальному результату.

В 1945 году экономист Ф. А. Хайек, который впоследствии получил Нобелевскую премию по экономике, знаменитым образом описал рынок как гигантский децентрализованный разум, способный решить задачу более рационального распределения ресурсов общества, чем любой отдельный участник.

С этим интеллектуальным шагом он формализовал рационалистическую идею о том, что интеллект, будь то индивидуальный или коллективный, определяется оптимизацией экономической ценности или полезности.

Полезность
Корни рационализма восходят к Джереми Бентаму, и его идеи, как и многие из эпохи Просвещения, были удивительно прогрессивными для своего времени. Более того — они представляли собой грандиозный синтез просветительского мышления:

Джереми Бентам оставил указания, чтобы его тело было вскрыто, набито и выставлено на всеобщее обозрение в виде «авто-иконы» в Университетском колледже Лондона после его смерти — за исключением головы, которая была отрезана и заменена восковой копией.

Как и Декарт, Бентам верил в вселенную, управляемую механическими законами.
Как и Ла Метри, он выступал против религии, считая, что люди тоже являются частью вселенной, следовательно, подчиняются тем же механическим законам, что и все остальное.
Как и Ньютон, он полагал, что эти законы можно выразить в математической форме.
Как и Лейбниц, он считал, что должно быть возможно вычислить правильные ответы на вопросы алгоритмически — и не только, используя различие Хьюма, «что есть», но и «что должно быть».

Хотя он и не был союзником американских революционеров, он, как и они, верил в универсальность прав. Более того, он пошел еще дальше, выступая за равные права для женщин, право на развод и (хотя это было слишком рискованно для публикации при его жизни) за декриминализацию гомосексуальности.

В начале 1800-х годов Бентам собрал эти идеи в большом раскладном буклете с довольно многословным названием: «Таблица источников действия: показывающая различные виды удовольствий и страданий, которым подвержена человеческая природа: вместе с различными видами интересов, желаний и мотивов, соответственно соответствующих им […]».

Джереми Бентам. Таблица источников действия, 1817.

Джереми Бентам. Таблица источников действия, 1817.

Джереми Бентам. Таблица источников действия, 1817.

Джереми Бентам. Таблица источников действия, 1817.

Джереми Бентам. Таблица источников действия, 1817.

В этой таблице Бентам начал всерьез разрабатывать то, что он называл «фелицитарным калькулятором», по которому все, что вызывает удовольствие или страдание, можно было бы оценить положительным или отрицательным числовым значением. В таблице, конечно, присутствуют еда, секс и страх смерти, но также много другого, включая трудности труда и удовольствие от отдыха, стремление к новизне, радость дружбы и любовь к Богу, хотя множество религиозных импульсов попадает в отрицательную колонку — суеверие, предвзятость, фанатизм, лицемерие и религиозная нетерпимость. Здесь явно проявляется субъективная оценка Бентама.

Тем не менее, его использование фразы «источники действия» является своего рода игрой слов. Прежде всего, под «источниками» он подразумевает источники, как с водой, или «родники».

Однако это также отсылка к механической философии, согласно которой люди сами по себе не более чем динамический механизм, а их психология движима мотивирующими силами, как шестеренки часов приводятся в движение пружинами.

Таким же образом, как «калькуляция флюкций» Ньютона позволяла находить производную наблюдаемой траектории частицы, чтобы вывести чистые силы, действующие на неё, калькуляция счастья Бентама стремилась выявить «гедонические» силы, стремящиеся к удовольствию, которые формируют траекторию человека в жизни на основе его наблюдаемого поведения. Или, иначе говоря, так же, как версия исчисления Лейбница позволяла интегрировать известные силы для вычисления траектории, Бентам считал, что точный учет гедонических сил, как только мы их поймем, позволит предсказать действия человека. Таким образом, поскольку наше поведение можно описать как разумное, само разумение не более чем оптимизация ценностей.

Как же в такую картину вписываются мораль, этика или управление? Для Бентама, учитывая калькуляцию счастья, ответ заключен в фразе, наиболее ассоциирующейся с ним: наибольшее благо для наибольшего числа. Другими словами, если люди действуют таким образом, чтобы оптимизировать свое удовольствие, то роль правительства заключается в том, чтобы обеспечить оптимизацию суммарного удовольствия всех людей. Если, например, один человек получает удовольствие X, ухудшая жизнь ста других на сумму Y, то это будет аморальным поступком, если только X не превышает 100Y. Правильная роль правительства, таким образом, заключается в предотвращении таких эгоистичных действий с отрицательной суммой, поощряя любые действия, которые увеличивают общее счастье — даже если они не способствуют увеличению счастья каждого отдельного человека. Бентам предвосхитил Хайека в этом, поскольку если разумное поведение индивидуума состояло в максимизации индивидуальной ценности, то поведение правительства также можно считать разумным, поскольку оно максимизировало коллективную ценность.

Сегодня мы называем эту философию «Утилитаризмом» и используем слово «полезность», чтобы обозначить благо (когда оно положительное) или зло (когда отрицательное). При определенных допущениях, включая идеальную информацию и полностью рациональных участников, свободный рынок должен максимизировать полезность.

Это звучит довольно хорошо — определенно лучше, чем правление силой, пренебрежение благосостоянием целых классов людей или произвольные моральные кодексы, основанные на суевериях. Понимая, что мы все еще не избавились от этих исторических бедствий, утилитаризм продолжает привлекать своих последователей. Эффективные альтруисты — одни из самых ярых сторонников.

Однако утилитаризм, в буквальном смысле, не складывается. Психологические исследования показывают, что человеческие предпочтения не всегда подчиняются «транзитивному закону», согласно которому, если полезности X, Y и Z можно выразить в числовых значениях, и кто-то предпочитает Y вместо X, а Z вместо Y, то он должен предпочитать Z вместо X. В противном случае возникает логическое противоречие.

В момент, когда пионер поведенческой экономики Амос Тверски в 1969 году показал, что люди иногда могут предпочитать X вместо Z, он подорвал основы утилитаризма как способа описания поведения людей. Это превратило то, что Бентам утверждал как закон человеческой природы, в, по меньшей мере, утверждение «должно быть», а не «является».

Например, один из экспериментов Тверски заключался в том, чтобы заставить участников выбирать между «азартными играми», в которых вращалось простое колесо, и если оно останавливалось в черном секторе, выплачивался определенный выигрыш от 4 до 5 долларов. По мере увеличения выигрыша размер сектора уменьшался немного быстрее, что снижало ожидаемый выигрыш. Но поскольку людям было проще оценивать выигрыш, чем вероятность, они, как правило, выбирали больший выигрыш, тем самым делая «неправильный» выбор. Однако при выборе между крайностями они возвращались к «правильному» выбору.

«Игровая карта», использованная для проверки ин-транзитивности предпочтений людей; Тверски, 1969

Тверски сравнил эти результаты с известным примером ин-транзитивности из реальной жизни. Потенциальный покупатель автомобиля изначально склонен «купить самую простую модель за 2089 долларов». (Ах, цены на автомобили в 1969 году.) «Тем не менее, когда продавец предлагает дополнительные аксессуары, он сначала решает добавить гидроусилитель руля, что увеличивает цену до 2167 долларов, считая, что разница в цене относительно незначительна. Затем, следуя той же логике, он готов добавить 47 долларов за хорошую автомобильную радиостанцию, а затем еще 64 доллара за усиленные тормоза. Повторяя этот процесс несколько раз, наш потребитель в итоге оказывается владельцем автомобиля за 2593 доллара, укомплектованного всеми доступными аксессуарами. Однако в этот момент он может предпочесть самую простую модель более роскошной, осознав, что не готов потратить 504 доллара на все эти дополнительные функции, хотя каждая из них по отдельности казалась стоящей покупки.»

Хотя современные утилитаристы признают, что практически все люди «иррациональны», они стремятся в своих действиях быть утилитарными — следовательно, рациональными — и подчиняться транзитивному закону в своих предпочтениях, даже если это приводит к ужасам или абсурдам. Полное принятие утилитаризма как моральной позиции подразумевает готовность к анализу затрат и выгод любой идеи, независимо от того, насколько она контринтуитивна или отвратительна. Но для чьей выгоды? Если в глубине души человек не является по-настоящему «рациональным», и никто другой тоже, то трудно принять предписание, отвергая описание.

Как описательная теория, проблема утилитаризма не ограничивается ин-транзитивностью предпочтений Тверски. «Аддитивность», идея о том, что полезность складывается так же, как и числа, также представляет собой серьезную проблему. Например, в одной классической серии экспериментов пациентам предлагали перемещать шкалу боли, от нуля (нет боли) до десяти (максимальная агония) во время колоноскопии, проводимой при полном сознании.

Половина пациентов (извините, я обещаю, что это имеет значение) «имела короткий интервал, добавленный в конце процедуры, во время которого кончик колоноскопа оставался в прямой кишке». Этот дополнительный интервал, хоть и не был идеальным, был менее неприятным, чем то, что предшествовало ему. Удивительно, но эти пациенты оценили всю процедуру как менее отталкивающую, чем те, для кого колоноскопия закончилась более резко. Их общая оценка опыта в ретроспективе была лучше, они более благожелательно относились к этому среди стандартных списков других неприятных переживаний и даже имели более высокие показатели последующих колоноскопий спустя годы (хотя эффект был незначительным).

Исследователи расценили эти результаты как «ошибки памяти», подчеркивая, как пациенты интернализировали утилитарные предположения. Если боль должна складываться, где X — это боль, связанная с основной процедурой, а Y — это боль, связанная с дополнительным временем, когда зонд остается внутри, то, конечно, X+Y должно быть больше, чем X!

Тем не менее, мы ведем себя иначе. Существует множество других исследований в этом направлении. Проблемы, связанные с транзитивностью и аддитивностью, нельзя решить, просто подправив значения в таблице «Источники действия»; никакие изменения в расчете удовольствия не совпадут с тем, что на самом деле делают люди. Поскольку трата денег (при условии, что у вас есть ограниченное количество) представляет собой аналогичную серию компромиссов относительно того, какие действия вы предпринимаете, не должно быть удивительно, что мы тоже не являемся «рациональными» экономическими актерами. Когда мы обмениваем деньги, мы, как правило, не передаем счастье или какой-либо его аналог.

Конечно, это не означает, что счастье и деньги не связаны. Поскольку пространство доступных действий сужается из-за бедности, большинство из нас действительно испытывает негативные чувства по этому поводу, как потому, что нам не удается делать то, что мы хотим, так и потому, что лишение всех наших выборов — оказаться в безвыходной ситуации — само по себе вызывает дискомфорт, по причинам, обсужденным в главе 5.

Голодание или воздействие неблагоприятных погодных условий тоже доставляет неприятности. Мы довольно сильно заботимся о нашем социальном статусе по сравнению с окружающими. Поэтому существует грубая корреляция между богатством и счастьем, особенно на бедном конце шкалы, но эта связь далеко не однозначна.

Два ключевых результата в исследовании корреляций между доходом и счастьем: 1) в краткосрочной перспективе изменения дохода Y коррелируют с изменениями счастья H, но эти корреляции не сохраняются в долгосрочной перспективе, поскольку счастье является «адаптивным»; 2) существует порог, выше которого изменения реального ВВП на душу населения имеют незначительное влияние на счастье; Эстерлин и О'Коннор, 2021.

Два ключевых результата в исследовании корреляций между доходом и счастьем: 1) в краткосрочной перспективе изменения дохода Y коррелируют с изменениями счастья H, но эти корреляции не сохраняются в долгосрочной перспективе, поскольку счастье является «адаптивным»; 2) существует порог, выше которого изменения реального ВВП на душу населения имеют незначительное влияние на счастье; Эстерлин и О'Коннор, 2021.
Хотя большинство из нас желает иметь больше денег, в целом мы не занимаемся повседневной деятельностью с целью увеличить свое богатство или какую-либо другую очевидную величину. Ближайшим исключением могут быть люди, работающие в финансовом секторе и одержимые своей игрой в этом мире; они живут ради этой игры, как Ли Седол, до своей отставки в 2019 году, жил ради игры в го. Как вы можете себе представить, утилитарное мышление особенно популярно на Уолл-стрит, где многие считают, что быть умным — значит быть богатым, и наоборот.
Большая палатка
Утилитаризм далеко не является чисто правой позицией. Некоторые его стойкие сторонники, наиболее известный из которых философ Питер Сингер, распространяют свой фелицитарный расчет на нечеловеческие виды. Сингер в основном веган, так как ему не безразличны страдания животных, так же как и страдания людей.

Он популяризировал термин «специесизм», чтобы осудить тех, кто игнорирует страдания нечеловеческих существ, хотя упрощение различий между видами создает свои собственные проблемы.

Мы действительно должны признать, что сеть отношений, которые нам важны, включает не только людей, независимо от того, нравится нам это или нет, но это не означает, что эти участники равны. Они бывают разных размеров и форм, и этот факт делает универсальное участие в любой единой экономике или расчете счастья невозможным. Нельзя игнорировать и свое собственное место в этом.

Если бы граф отношений был конечным и «плоским», содержащим всего лишь сто деревенских жителей, которые стремятся обмениваться ремесленными изделиями и овощами, тогда деньги могли бы неплохо работать для оптимизации потока ресурсов, хотя все равно не стали бы хорошим показателем счастья. Аналогично, обсуждение и голосование могли бы довольно эффективно координировать коллективные действия.

Однако универсальной валюты не существует, и нет «взгляда ниоткуда». Когда граф включает не только людей, но и одноклеточные организмы, древесных лягушек, корпорации, банановые растения, скачущие гены, прыгающих пауков, профсоюзы, нации, реки и места захоронений, становится трудно понять, как эти взаимодействующие сущности должны принимать решения, расплачиваться друг с другом и нести ответственность за долги или обязательства, используя что-то похожее на экономическую модель.

Например, если бы мы решили установить экономическую цену на воздух, кому мы должны платить? Предположительно, в немалой степени, тем цианобактериям Prochlorococcus, которые обитают в океанах Земли и синтезируют значительную часть кислорода, которым мы дышим. Мы должны чеканить для них NFT? Выдавать им акции в AirCorp? Являются ли они даже отдельными существами или скорее представляют собой суперорганизм?

Предположим, что люди примут неразумное решение «огородить» как океаны, так и все эти меньшие сущности, чтобы обеспечить универсальное управление — и стремление к ренте — юридическими лицами (к которым сегодня относятся люди, корпорации и нации).

Затем проблема таксономии этих «активов», оценки «голосующих интересов» и отслеживания «потоков ценности» будет выглядеть как сочетание решения задач GOFAI и моделирования всей планеты — всё это ради подсчета, в мире, который, казалось, прекрасно обходился без этого, пока мы не решили, что его можно улучшить с помощью Таблицы Всего Сущего.

Всё, что мы сегодня считаем трудом или капиталом, ценностью или достоинством, радостью или страданием, будет каплей в море по сравнению с этим многофрактальным левиафаном, Землёй. Наша планета, со всеми её взаимосвязанными системами, которые эволюционировали на протяжении четырёх с половиной миллиардов лет, содержит миллиард взаимодействующих сущностей, испытывающих широкий спектр удовольствий и страданий от мгновения к мгновению в служении многоуровневой динамической стабильности. Гидрологический цикл обеспечивает пресной водой; людям остаётся лишь транспортировать её. Растения выращивают бананы; человеческий труд сводится к их сбору. Наше мясо поступает от самовоспроизводящихся жвачных и саморастущей травы; мы ограждаем их забором и называем «собственностью», будь то приватизированной или коллективной. Мы можем притворяться, что мы производители ценности и играть в наши экономические игры, будь то коммунистические, капиталистические или либертарианские, лишь благодаря милости Гайи.

Но если мы заглянем внутрь нашего планетарного суперорганизма, или Проклоракоккуса, или самих себя, мы не найдём ничего, что напоминало бы единую максимизируемую ценность. Это всего лишь очередное повторение проницательной критики Патриции Чёрчленд в адрес AlphaGo: за пределами замкнутого игрового мира целенаправленные сущности имеют «конкурирующие ценности и возможности, а также компромиссы и приоритеты». Нет накопительного счёта и нет цели, кроме как продолжать игру.

Как мы уже видели, когда мы пытаемся навязать счёт в этой бесконечной игре — настаивая на том, что для каждого игрока каждый ход имеет количественно измеримую стоимость или выгоду, которую можно отслеживать с течением времени — мы сталкиваемся с математическими проблемами, независимо от того, как эти затраты и выгоды вычисляются.

Чтобы глубже понять, почему это так, представьте, что вы маленькое существо, например, муравей. Существует множество способов, как вы можете погибнуть: исчерпав запасы энергии, став жертвой хищника, подвергнувшись воздействию ядовитых химикатов, испытывая слишком высокую или низкую температуру, высыхая, получая смертельную дозу радиации и так далее. У вас есть мышцы, чтобы убирать свое тело от таких участей, чтобы вы могли продолжать играть, и у вас есть сенсоры, которые помогают вам управлять движением, используя предсказательную модель.

Ваши скрытые состояния

H служат информационным узлом между восприятием и действием, поэтому эволюция наделила вас такими чувствами, как дискомфорт и страх, которые подсказывают вам бежать, когда условия становятся опасными. У вас также есть желание, означающее «вкусно, еда, оставайся и продолжай есть». Вы можете быть рациональным экономическим субъектом только в том случае, если ваши действия основаны на максимизации вашей «ценности», которая должна каким-то образом зависеть от этих скрытых состояний H . Возможно, ценность — это что-то вроде удовольствия минус боль. Вы должны уметь предсказывать, какое влияние ваши действия окажут на эту ценность; на языке математического анализа ценность должна быть «дифференцируемой» относительно действия, так что ваши действия всегда будут вести вас вверх по «ландшафту ценности».

Пока все хорошо: ценность для вас, как для маленького существа, будет выглядеть как палатка, привязанная к земле (ноль, для смерти) вдоль периметра границ, соответствующих голоданию, замерзанию, перегреву и так далее. В абстрактном пространстве ценности вы ползаете по этой палатке и останетесь в живых, пока не коснетесь земли.

Конечно, палатка не остается на месте. По мере того как вы тратите энергию и ваша среда меняется, палатка постепенно меняет форму. Вам нужно продолжать двигаться, потому что, если вы остановитесь слишком надолго, место, где вы стоите, в конечном итоге коснется земли, и вы умрете. Вы не можете двигаться только в одном направлении.

Если вы упорствуете и, например, продолжаете есть долго после того, как насытились, вы тоже можете погибнуть, возможно, от разрыва. Каждая дорога вверх, другими словами, ведет вниз с другой стороны палатки. Всегда существует максимальное количество «вкуснятины», после которого всё начинает превращаться в «неприятное».

Но где же это максимальное значение? Хотя стороны палатки могут быть крутыми, вершина вовсе не обязана быть такой. На самом деле, эта палатка в значительной степени является иллюзией или, в лучшем случае, произвольной конструкцией. Ее периметр совершенно реален— вы умрете, если выйдете за его пределы— но в остальном, где вы бродите и считаете ли вы, что поднимаетесь или спускаетесь, остается неопределенным. Мы могли бы описать ваш способ блуждания как вашу «личность»; именно здесь вы можете проявить свою свободу воли.

Чем лучше ваша предсказательная модель, тем яснее вы можете определить, где находятся границы, что на самом деле позволяет вам приблизиться к ним больше, чем вы могли бы, оставаясь в безопасности. Именно это делают смельчаки, люди, занимающиеся БДСМ, и цирковые артисты. Вы свободны делать всевозможные вещи в этой палатке, и пока вы надежно избегаете падения на землю, эволюция не имеет большого значения в том, что вы делаете или как вы к этому относитесь. Всё возможно, если это не убивает вас.

Чем умнее вы, тем больше палатка и тем больше ваша свобода.

Когда я описываю траектории на палатке как в основном неопределенные, я имею в виду следующее. Любые разговоры о функции ценности имеют смысл только в том случае, если муравей действительно оптимизирует её, поднимаясь вверх; в противном случае эта «функция ценности» ничего не значит— она не добавляет объяснительной силы. Она также бесполезна, если мы утверждаем, что палатка меняет форму так быстро, что в любой момент, когда муравей движется, это считается подъемом, даже если в следующий момент это может быть не так. Это было бы круговым рассуждением, эквивалентным утверждению «Я всегда делаю то, что лучше», и определением «лучшего» как «всё, что я делаю».

Итак,
предполагая
стабильную функцию ценности, как мы можем восстановить её на основе путей, по которым движется муравей? Математический ответ — «интеграция», но не будем углубляться в детали. Если муравей всегда поднимается вверх, он должен в конечном итоге оказаться на (или в) самой высокой точке. Он не должен
никогда
двигаться по кругу, потому что это подразумевало бы нечто вроде лестницы Эшера — поднимаясь вверх, парадоксально возвращаться туда, откуда начал. Это невозможно.

М. К. Эшер,
«Восходя и спускаясь»,
1960 (вдохновлённый невозможной лестницей, разработанной Лайонелом и Роджером Пенроузом в 1958 году).
Но это
происходит. Именно это показывают такие результаты, как нетранзитивность предпочтений. Не имеет значения, насколько сложным или многомерным является пространство доступных действий, или насколько сложной и тонкой является функция ценности; если ценность — это число, и вы её максимизируете, вы никогда не сможете двигаться по кругу.
Следовательно,
не существует последовательной функции ценности, которую вы постоянно оптимизируете. И это верно не только для людей, но и для муравьёв, бактерий, корпораций и всего остального, что эволюционировало для достижения стабильности.
Мы должны были понять, что сведение принятия решений к оптимизации единственной ценности никогда не сработает, потому что даже самые простые организмы нуждаются в более чем одном внутреннем сигнале для принятия жизнеспособных поведенческих решений. Нельзя просто вычесть серотонин из дофамина, например, и сохранить информацию, необходимую для выживания. Еда —
прекрасно —
если вы не сыты. Отдых —
прекрасно —
если вы не слишком голодны. Секс —
прекрасно —
если вы не слишком голодны
или
не слишком сыты. Эти вещи просто не взаимозаменяемы. Червь или бактерия это понимают.

Даже корпорации, которые считаются образцами экономической оптимизации, начали осознавать, что одна единственная ценность (например, цена акций) не может быть единственным ориентиром для их поведения. В этом контексте появились метрики «Экологические, Социальные и Управленческие» (ESG) для инвестирования, а некоторые компании начали применять концепцию «Тройной прибыли», которая добавляет социальные и экологические аспекты к финансовой отчетности. Эти практики пока не стали мейнстримом, и превращать их в бухгалтерский учет — это, по сути, обман (они не подчиняются ни транзитивности, ни аддитивности).

Но на самом деле корпорации никогда не действовали как чисто «рациональные» экономические субъекты, независимо от того, отражается ли это в их отчетности. Их жажда денег может быть бездонной, но, как и любая другая сущность, они эволюционировали, чтобы выжить. Поэтому они также (обычно) следуют различным нормам и правилам, тратят ресурсы на вещи, которые не связаны с зарабатыванием денег, а касаются сохранения важных отношений и, таким образом, продолжения своего существования в будущем.

Традиционный экономист мог бы утверждать, что, учитывая предсказательную способность и долгосрочную перспективу, оптимизация для получения прибыли автоматически означает оптимизацию для выживания и всего, что связано с выживанием. В конце концов, если я хочу, чтобы мой стартап по производству виджетов стал миллиардной компанией, он должен выжить и расти, пока не достигнет этого размера… и если в какой-то момент у него закончатся деньги, он погибнет. Поэтому все, что я делаю для выживания компании, на самом деле является оптимизацией для получения денег в долгосрочной перспективе.

С этой логикой есть две проблемы. Во-первых, нехватка денег — это лишь один из способов, как компания может погибнуть. Она также может слишком много жульничать и быть пойманной, как «Энрон», или быть сожженной недовольными местными жителями, как мельница Уэстхаунтона в Ланкашире во время луддитского восстания. (Кстати, обе эти компании были необычайно целеустремленными в оптимизации своей прибыли.)

В конечном счете, единственное, что объединяет все «успешные» компании, — это то, что они продолжают существовать.

Это динамическая стабильность. Им может понадобиться приток денег, чтобы продолжать функционировать, так же как нам может понадобиться приток еды, чтобы оставаться на плаву, но утверждать, что их цель — максимизировать прибыль, так же неправильно, как и говорить, что наша цель — максимизировать количество потребляемой пищи — или, если говорить откровенно, то, сколько выходит с другой стороны.

Аналогично, если компания существует долго, мы можем утверждать, что она оптимизирует что угодно, связанное с её «метаболизмом». Обратное обучение с подкреплением (Inverse Reinforcement Learning, IRL), семейство методов машинного обучения для обратной инженерии функции ценности на основе наблюдений за действиями, столкнется с трудностями в различении этих целей. Если мы выберем произвольную, но очень успешную долгоживущую компанию, можно будет утверждать, что она оптимизировала в долгосрочной перспективе количество людей, которых она нанимает (огромная национальная сеть), сколько жизней она сокращает (табачная компания), сколько времени она тратит впустую (компания по производству казуальных игр) или множество других целей.

Моя компания по производству виджетов может даже быть сосредоточена на максимизации количества жалоб, которые я получаю от своих клиентов. В конце концов, чем больше дешевых, полуклассных товаров я смогу продать, при этом расширяя свою клиентскую базу, тем больше жалоб будет поступать. Прежде чем вы броситесь проверять, запатентована ли эта бизнес-идея, будьте предупреждены, что она, похоже, уже популярна.

Ограничения роста

Как бы ни была определена функция ценности, идея о том, что она может или должна расти вечно и без границ («Макс Мор») является самоочевидно абсурдной. Для любого, кто изучает нейробиологию или биологию, мысль о том, что какой-либо параметр в живой системе может расти без ограничений, имеет мало смысла — особенно в системе, динамика которой экспоненциальна, что характерно для динамических систем в целом.

Как только экспонента начинает расти, она увеличивается очень быстро, и если она представляет что-то, связанное с реальным миром, то вскоре столкнется с экологическими, физическими и, в конечном итоге, космологическими пределами.

Следовательно, разговор о «сингулярности»: момент времени, после которого экспоненциальный прогноз приводит к чему-то буквально невозможному.

Часто, проводя аналогию с горизонтом событий черной дыры, эту предсказанную сингулярность понимают почти в мистических терминах, как темную преграду, к которой мы стремимся, за которой нас ждет нечто библейски величественное. Армагеддон? Нирвана?

Однако есть гораздо более приземленный способ взглянуть на экспоненты: в реальной жизни они просто не могут продолжаться долго. Обычно они достигают насыщения, и начальное экспоненциальное ускорение сначала становится более линейным, а затем переходит в экспоненциальное замедление. Значение может приблизиться к максимуму, так и не достигнув его, или снизиться, или колебаться. В долгосрочной перспективе оно должно стабилизироваться или колебаться в определенных пределах, что подразумевает наличие более крупного механизма отрицательной обратной связи или гомеостаза. Это еще один способ наблюдать, что каждая устойчивая система, ориентированная на рост и конкуренцию, обязательно является частью более крупной системы, ориентированной на гомеостаз и сотрудничество.

Мировое население, на первый взгляд, является исключением, находилось в экспоненциальном росте на протяжении десяти тысяч лет, причем сам показатель подскакивал в моменты, соответствующие МЕТам — наиболее недавно, в период бэби-бума около 1945 года, как было описано ранее. Это мать всех экспонент, закон Мура нашего вида.

Несмотря на значительные колебания из-за смертности от Черной Смерти до 1700 года, в более широком масштабе мировое население увеличивалось экспоненциально, причем показатель резко возрос около 1700 года, а затем снова около 1945 года; однако ожидается, что население достигнет плато в двадцать первом веке.

Тем не менее, явно существует предел. При том темпе, с которым мы двигались, что-то должно было сломаться, и это должно было произойти именно сейчас.

В противном случае, всего через несколько столетий (что, по сравнению с нашей историей как вида, — миг) человеческие тела заполнят всю поверхность Земли, а вскоре после этого начнут накапливаться, заполняя всю биосферу.

Мы могли бы начать заселять остальные планеты Солнечной системы, но трудно представить себе сценарий, в котором это действительно снимет давление населения на Земле или хотя бы предложит сопоставимо крупную нишу. Просто не так уж много мест в окрестностях Солнца, где мы могли бы жить в значительных количествах. А межзвёздные путешествия стали бы очень, очень медленным способом выхода из ситуации.

Таким образом, в середине двадцатого века мы столкнулись с «популяционной сингулярностью». Мы не мечтали о каком-то волшебном, непредсказуемом результате сингулярности. Вместо этого мы разумно предвидели неизбежный конец экспоненциального роста — либо жестким способом (массовая гибель), либо мягким (достаточно резкое снижение рождаемости, чтобы избежать превышения жестких пределов). К счастью, сейчас мы склоняемся больше ко второму варианту, хотя полностью из леса мы ещё не вышли.

Прежде чем Ник Бостром начал сосредотачиваться на рисках, связанных с ИИ, он уже зарекомендовал себя среди философов (как серьезных, так и любителей) благодаря своей «Гипотезе симуляции», которая утверждает, что, скорее всего, мы живем в компьютерной симуляции, как в фильмах «Матрица». Это имеет отношение к поклонникам экспоненциального роста, верящим в Сингулярность, поскольку виртуальные миры могли бы, в принципе, поддерживать астрономически большие виртуальные популяции.

Вкратце, аргумент Гипотезы симуляции выглядит следующим образом. За последние несколько десятилетий мы стали способны моделировать всё более сложные виртуальные миры — от гигантских космологических симуляций до фотореалистичных шутеров и точных моделей нейронных цепей, разработанных вычислительными нейробиологами. Закон Мура делает эти симуляции экспоненциально быстрее и детальнее с течением времени.

Огромное количество таких симуляций уже работает на Земле, будь то для базовых исследований, развлечений, городского планирования или других приложений. Это само по себе интересно, когда мы думаем о том, как наши мозги стали гораздо более мощными, когда научились проводить предсказательные симуляции контрфактов; все симуляции, которые мы запускаем сегодня, выглядят как своего рода когнитивное обновление, но теперь на уровне нашего коллективного интеллекта!

Если закон Мура продолжит действовать, то вскоре реализм (или, по крайней мере, сложность) всех этих симуляций может соперничать с реальным миром. Некоторые симуляции уже включают виртуальных людей. В видеоиграх их называют Неподконтрольными Персонажами (NPC). Сегодня они в основном выглядят как мультяшные персонажи и управляются заранее написанными сценариями или ИИ-моделями, как цифровые марионетки.

Если вы попытаетесь провести электрофизиологические исследования на головах NPC в видеоигре, вы не найдете там нейронов, только обратные стороны текстурированных полигонов. Однако в очень далеком потомке вселенной bff интеллект может эволюционировать, с нашей помощью или без нее. Если это так, то, учитывая экспоненциально растущие вычислительные мощности, экспоненциально увеличивающееся количество разумных агентов будет жить в таких симулированных мирах.

Если вам кажется, что сценарий симуляции «bff на стероидах» слишком натянутым, имейте в виду, что мы наблюдаем удивительный реализм, когда используем нейронные сети для изучения симуляций мира, от погоды и динамики жидкостей до звука и зрения. (Вот что такое дипфейки.) Можно с уверенностью сказать, что вскоре мы увидим убедительные интерактивные миры, созданные всего лишь на основе подсказки, что положит конец эпохе GOFAI, характерной для сегодняшних трудоемко созданных видеоигр и симуляций. Как в Библии, вселенная действительно может начаться со слова или всего лишь нескольких слов.

Несмотря на сотни миллионов долларов, потраченных на их разработку, полигональная марионеточная игра, как Fortnite, вскоре будет казаться такой же примитивной, как Pac-Man.

И нет никаких причин, по которым нейронные симуляции мира не могли бы включать виртуальных ИИ, реализованных с помощью виртуальных нейронных сетей. В игре могли бы работать анатомические, электрофизиологические и физические эксперименты, хотя если эти искусственные существа начнут исследовать свой мир всё более детально, они могут столкнуться с чем-то вроде... пикселизации... как квантовые эффекты? Хммм.

На этом этапе сторонники Гипотезы Симуляции приглашают нас совершить Коперниканский поворот. Коперниканские повороты происходили неоднократно в астрономии, когда мы осознали, что у других планет тоже есть луны, что Солнце — всего лишь одна из звезд, и что Млечный Путь — это просто еще одна галактика. Короче говоря, в этом нет ничего особенного; отсюда и выражение: «Вселенной не вращается вокруг нас».

Почему же тогда мы должны предполагать, что наша Вселенная обладает уникальным свойством быть «реальной», если миллиарды других, о которых мы знаем, — это всего лишь симуляции (как мы хорошо знаем, ведь мы сами — симуляторы)? Если разумные существа в «родительской» вселенной могут симулировать множество «дочерних» вселенных, и каждая из этих вселенных кажется абсолютно реальной для своих обитателей, то случайно выбранному разумному существу (как вам) крайне маловероятно оказаться в «реальном мире» у корня этого дерева вселенных — если, конечно, у дерева вообще есть корень или оно вообще является деревом.

Подробные аргументы за и против Гипотезы Симуляции выходят за рамки нашего обсуждения. Ее значимость для нас заключается не столько в ее тревожном утверждении о том, есть ли у нас родительская вселенная (и являемся ли мы, таким образом, чем-то вроде ИИ?), сколько в ее менее спорных последствиях о дочерних вселенных, которые мы можем создавать и, начиная с 1945 года, создаем с экспоненциально растущими темпами. В некотором смысле, любая вычислительная среда — это дочерняя вселенная с собственными динамическими законами и, вскоре, с собственными цифровыми обитателями.

Программа, подобная той, что написала Ада Лавлейс для вычисления чисел Бернулли, создает крошечную, тривиальную вселенную, чья «физика» не делает ничего, кроме как производит последовательность цифр. Более сложная программа, написанная для MANIAC в 1945 году для моделирования водородной бомбы, создает вселенную, в которой разворачивается один единственный неконтролируемый процесс, своего рода мультяшный Большой Взрыв. Массовые многопользовательские игры — это детские вселенные, полные цифровых марионеток, чьи тела управляются «богами» (нами) из родительской вселенной. Теперь реальные агенты начинают населять эти виртуальные миры. Каждая инстанция ChatGPT может рассматриваться как детская вселенная, содержащая единственный ИИ, который общается с «богом» в родительской вселенной через свое контекстное окно.

Футуристы, такие как Рэй Курцвейл, популяризировавший идею Сингулярности, и множество писателей научной фантастики размышляли о том, как мы могли бы переселиться в наши детские вселенные, сканируя наши мозги, а затем запуская их в симуляции. Неясно, смогут ли эти «загруженные умы» мгновенно освоить кунг-фу, как Нео, но мы могли бы ускорить или замедлить наше субъективное восприятие времени, копировать себя, изменять свою внешность, (возможно) жить вечно-как-то, и выполнять различные другие крутые цифровые трюки.

К сожалению, загрузка разума не является реалистичной, или, по крайней мере, не в ближайшее время. И я бы не рекомендовал тестировать эту процедуру, если вы не на смертном одре, так как ваш мозг из родительской вселенной не переживет процесс сканирования.

Что совершенно реалистично — то, что мы уже начинаем делать сегодня — это создавать новые интеллекты внутри детских вселенных. Я утверждал, что большинство из них, в широком смысле, являются человеческими интеллектами, так как они предварительно обучены на коллективном человеческом опыте. Они также, благодаря тонкой настройке для диалога, были обучены проходить тест Тьюринга.

Независимо от того, считаем ли мы их «людьми» или «умственными детьми», они являются разумными сущностями, и их численность может и будет расти гораздо быстрее, чем численность людей.

Однако понятие «население» не всегда легко переносится в цифровую сферу. Модели бывают самых разных размеров — от крошечных до огромных; их можно копировать и модифицировать, запускать на короткое время или на длительный срок, они могут действовать как независимые сущности или плотно связываться в единую большую систему. Это, конечно, общая схема жизни, но многое в человеческой социальной структуре, праве и политической экономии основывается на плоских графах отношений, где все сущности считаются однородными и предполагается, что они «созданы равными».

Единообразное обращение с сущностями уже создало проблемы, учитывая появление огромных, мощных корпораций с правами и юридическим статусом, схожими с человеческими, движение за освобождение животных и более недавние судебные разбирательства в защиту гор и рек.

Огромное количество различных по размеру ИИ-сущностей, обитающих в виртуальных мирах и общающихся с нами через чаты, камеры, микрофоны, экраны, гарнитуры и облачные сервисы, еще больше усложнит жизнь в цифровом мультивселенной.

По крайней мере, теперь у нас есть гораздо лучшее представление о том, что ждет нас за пределами «популяционной сингулярности», предсказанной в середине двадцатого века. Катастрофисты того времени предсказывали «демографическую бомбу», которая приведет к ужасному концу человеческой цивилизации, обернувшись экологическим коллапсом, антиутопией в стиле «Безумного Макса» и каннибализмом.

Вероятнее всего, этого не произойдет, так как наша численность — по крайней мере в этой вселенной — достигнет пика, а затем начнет снижаться в течение этого века.

Почему текущее состояние мировой экономики замедляет рост населения и возвращает его к упадку, в отличие от предыдущих экономических этапов, которые способствовали его стремительному увеличению? На это влияет множество факторов, включая рост прав женщин и усовершенствование технологий контрацепции, но основным двигателем является экономическое развитие, что можно подтвердить, исследуя исторические корреляции между рождаемостью и богатством по странам.

До удивительно недавнего времени численность человечества сдерживалась в основном малтусовыми факторами — болезнями, голодом и насилием. Высокий уровень рождаемости был необходим просто для того, чтобы обеспечить появление следующего поколения. Это поколение имело экономическую ценность для будущих родителей. Дети были нужны для работы на земле, получения дохода и обеспечения родителей в старости.

Однако в постаграрных обществах дети становятся не активом, а обременением. В наши дни, по словам экономического социолога Вивианы Зелизер, «национальный опрос о психологических мотивах рождения детей подтверждает их преимущественно сентиментальную ценность». Дети могут приносить «эмоциональное удовлетворение, но не деньги или труд».

Таким образом, мы теперь рождаем их гораздо меньше.

Снижение рождаемости указывает на то, что, независимо от статистики занятости и рынка, отдельные люди в развитых экономиках стали чистыми потребителями, а не производителями. Экономическая продуктивность и население начинают отделяться друг от друга. А прекращение роста населения имеет далеко идущие последствия, учитывая, что, как уже обсуждалось, вся наша экономическая система была построена на предположении о постоянном росте.

С другой стороны, все большая доля нашей экономики переходит в сферу информационной работы, которая может бесшовно перемещаться между цифровыми вселенными; и теперь мы знаем, что население интеллектов в наших детских вселенных вот-вот взорвется с порядковыми величинами быстрее, чем любое демографическое бум.

Если через несколько десятилетий мы построим график логарифма общего числа людей и ИИ с течением времени (или чего-то, что можно считать эквивалентом населения), мы увидим еще один изгиб на кривой, начинающийся примерно с 2020 года, похожий на тот, что был в 1945, и даже более драматичный.

Слезы радости

Изучив проблемы, связанные с частью «величайшего блага» в калькуляции Бентама «величайшее благо для величайшего числа», пора углубиться в еще более сложные вопросы, поднятые частью «величайшего числа». Мы увидели, что для отдельного индивида «благо» не существует в строгом смысле и не является аддитивным, но можно предположить, что сложение чего-то, приближающегося к «благу», между индивидами все же имеет смысл как моральный ориентир. Спойлер: это не так.

Напомним, что хотя тревоги о «демографической бомбе» двадцатого века оказались ложной тревогой, это произошло не потому, что бесконечный рост не стал бы проблемой, а потому, что растущее богатство надежно приводит к снижению рождаемости. Драконовские меры, такие как «Политика одного ребенка» в Китае, были как жестокими, так и ненужными. По мере того как Китай становился богаче, его рождаемость снижалась настолько резко, что теперь страна сталкивается с угрожающим дефицитом населения. В Японии население сокращается так быстро (особенно с учетом высоких барьеров для иммиграции), что к 2040 году площадь незанятой, освобожденной земли, по прогнозам, превысит площадь Ирландии!

Это предвестие того, как будет выглядеть будущее в глобальном масштабе — что является отличной новостью для нашего долгосрочного выживания. Если мы не испортим все в это время, наш след на планете уменьшится достаточно, чтобы дать возможность восстановлению истощенных экосистем, надеемся, даже при сохранении высокого уровня жизни.

Вероятно, нет единого «правильного размера населения» для Земли, а существует широкий диапазон — от слишком малого для человеческого разнообразия и стабильности до слишком большого для достойного качества жизни и разнообразия не-человеческих существ, даже с учетом передовых и высокоэффективных технологий.

Мы точно знаем лишь то, что существуют нижние и верхние границы, что делает постоянный экспоненциальный рост (или спад) несовместимым с динамической стабильностью. Для долгосрочного выживания человечества население Земли должно либо стабилизироваться, либо колебаться в пределах этих границ.

Но действительно ли Земля с десятью миллиардами людей на десять раз лучше, чем Земля с одним миллиардом? Или, чтобы взглянуть на это с точки зрения, не связанной с человеком, действительно ли «ценность» домашних кошек (мировая популяция — примерно 220 миллионов) на самом деле в семьдесят три тысячи раз выше, чем «ценность» снежных барсов (мировая популяция — примерно три тысячи)? Или, если мы скажем, что две эти виды имеют равную ценность, действительно ли мы считаем, что жизнь каждого снежного барса «стоит» жизней семидесяти трех тысяч кошек?

Некоторые утилитарные философы любят ставить морально мучительные «проблемы с трамваем», чтобы попытаться подойти к таким вопросам с актуарной точки зрения (если вы дернете рычаг, вы сможете свернуть трамвай, пожертвовав всего лишь тысячей котят, чтобы спасти снежного барса, привязанного к рельсам...), но я думаю, что в самой идее ранжирования ценности таким образом есть что-то неправильное.

Психологические исследования показывают, что легко создать проблемы с трамваем, которые нарушают транзитивный закон. На самом деле, проблемы с трамваем стали известны тем, что выявляют человеческую «иррациональность» даже более очевидными способами, чем трюки Тверски с ин-транзитивностью. Классическая версия проблемы с трамваем включает пятерых людей, привязанных к рельсам перед трамваем, и одного, стоящего на боковом пути. Вы можете ничего не делать, в этом случае погибнут пятеро, или дернуть рычаг, в этом случае трамвай будет перенаправлен на боковой путь, и погибнет один человек.

Фелицитарный расчет ясен: вам следует дернуть рычаг, потому что альтернатива в пять раз хуже. Однако моральные расчеты реальных людей не так просты. Их ответы варьируются, и они очень чувствительны к, с точки зрения строгого утилитариста, несущественным деталям.

Например, если потребуется столкнуть с рельсов лишнего человека, чтобы спасти пятерых невинных, почти никто на это не решится.

Если рассматривать «добро» как сумму индивидуальных вкладов, то самый простой способ его увеличить — это просто увеличить население. По этой логике, поскольку сегодня на Земле около восьми миллиардов человек, а в 1800 году было всего один миллиард, мир сегодня в восемь раз «лучше», чем тогда. По той же схеме, Индия в шесть раз «лучше» Пакистана, а США в пять раз «лучше» Великобритании.

Ситуация усугубляется. «Долгосрочность» утверждает, что будущие поколения должны считаться наравне с настоящими, что подразумевает, что жизнь средней молодой француженки, которая, согласно статистике, родит 1.83 ребенка, «стоит» на сорок процентов больше, чем жизнь средней японки, у которой будет всего 1.3 ребенка. Нигерийка будет «стоить» гораздо больше, чем обе вместе взятые, так как уровень рождаемости в Нигерии составляет 5.24 (хотя быстро снижается по мере роста благосостояния). Различия на самом деле экспоненциально больше, поскольку это учитывает только одно поколение, а долгосрочность рассматривает всех потомков на равных. Так что если мы доживем до далекого будущего, соотношение ценности стремительно вырастет до бесконечности, даже если коэффициенты рождаемости будут лишь незначительно отличаться.

И это еще не все. В начале книги «Суперинтеллект» Бостром пытается использовать фелицитарный расчет, чтобы подчеркнуть, насколько много на кону, когда мы рискуем будущим человечества. В разделе под названием «Насколько велик космический дар?» он описывает сценарий, который, прочитав в первый раз, я принял за материал для комедийного выступления или дистопического соломенного человека. Однако, как мне кажется, это задумывалось как утопия утилитариста!

Вот как это выглядит. Начнем с предположения, что мы все загрузим свои мозги, потому что, конечно, это и есть путь вперед — больше людей сможет жить как Симы в виртуальном мире, чем в реальном (или в каком-то другом этом вселенной), что означает больше потенциального счастья.

Я полагаю, чтобы успокоить сторонников освобождения животных, нам следует сделать место для наших домашних питомцев, скота и оставшихся диких животных, чтобы их тоже можно было загрузить. Затем мы должны расширить дата-центры, чтобы вместить как можно больше виртуальных людей.

Этот «утопический» сценарий подразумевает не только покрытие Земли дата-центрами и устранение всех других, менее эффективных с точки зрения пространства форм жизни, но и превращение всей Солнечной системы в гигантский солнечный дата-центр, разборку планет и астероидов по мере необходимости.

Также следует отправить нанотехнологические «зон Неймана» на скорости, близкой к скорости света — маленькие космические фабрики, которые могут строить новые космические дата-центры, где бы они ни находили материю и энергию для этого, и, в свою очередь, отправлять новые зон Неймана, в конечном итоге колонизируя «значительную часть нашего будущего светового конуса». При условии, что эти зон Неймана не столкнутся с конкурирующими проектами инопланетных цивилизаций, делать что-то менее амбициозное было бы… бесконечно аморально!

Умножая все эти огромные числа и реализуя схему колонизации Жизни, Вселенной и Всего остального до тех пор, пока «космическое расширение не сделает дальнейшие приобретения навсегда недоступными», Бостром заключает: «на кону стоит как минимум 10,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000,000 человеческих жизней (хотя истинное число, вероятно, больше). Если мы представим все счастье, переживаемое за одну такую жизнь, в виде одной слезинки радости, то счастье этих душ могло бы наполнять и переполнять океаны Земли каждую секунду и продолжать делать это в течение ста миллиардов миллиардов миллиарды лет. Действительно важно, чтобы мы убедились, что это действительно слезы радости».

Когда взвешиваешь эти потенциальные космические океаны радости против интересов жалких нескольких миллиардов людей, живущих сегодня, становится возможным оправдать любые средства для стимулирования роста, независимо от того, насколько это может быть уродливо в настоящем.

Вы, возможно, начинаете понимать, почему этот комплекс убеждений,凝聚成 всеобъемлющую идеологию, привлекает некоторых людей в Силиконовой долине:

Бессмертие. Для калифорнийской субкультуры, которая давно увлечена фитнесом, диетическими добавками и «биохакингом», идея цифрового бессмертия, которое ждет нас, если мы сможем продержаться достаточно долго, кажется заманчивой. Экспоненциально развивающиеся технологии могут означать, что нам не придется ждать так долго, несмотря на то, как далеким кажется загрузка сознания сегодня. С другой стороны, те, кто умирает преждевременно, всегда могут заморозить свои тела в жидком азоте — или, за меньшую цену, просто свои головы.

Видеоигры. Жить в игре, пробуя разные тела, мгновенно осваивая кунг-фу и отправляясь в тысячелетние путешествия к другим звёздным системам — звучит потрясающе.

На вершине. Люди из технологической сферы склонны считать себя элитой благодаря своему превосходному интеллекту, что делает появление высокоэффективных ИИ-моделей некомфортно захватывающей перспективой. Если страх не быть умнее этих моделей преобладает, это ведет к мрачным размышлениям о будущем ИИ. С другой стороны, цифровое слияние с ИИ может помочь сохранить свое будущее «я» на вершине иерархии.

Масштабирование. Закон Мура, который сохранялся десятилетиями, нормализовал идею вечного экспоненциального масштабирования. Технари давно поклоняются экспоненте, но стремительный рост онлайн-сервисов, начавшийся около 2000 года, а затем облачных вычислений в 2010-х, сделал супермасштабирование бизнес-мантрой и идеологией. Напротив, идеи, которые оказываются непрактичными, говорят, что «не масштабируются». Превращение всего светового конуса в космический дата-центр, который запускает «Шоу Трумана» для астрономического числа людей — это масштабирование, доведенное до предела.

Богатство.

Некоторые эффективные альтруисты, включая Питера Сингера, акцентируют внимание на благотворительности и жертвуют большую часть своего дохода на тщательно оцененные по воздействию дела. Трудно утверждать, что это плохо, даже если выбор причин у каждого свой. Другие, такие как опозоренный миллиардер в области криптовалюты Сэм Банкман-Фрид, подчеркивали (независимо от того, делали ли они это цинично или нет) накопление большого богатства в первую очередь, чтобы позже иметь возможность делать «более значимые» пожертвования. Моральный риск здесь очевиден: всегда можно убедить себя, что ты все еще находишься на этапе «наращивания богатства» в своем плане.

Хотя утилитаризм и связанные с ним движения не являются религией, существуют некоторые неоспоримые параллели. Как уже упоминалось, невозможность осуществить первоначальную амбицию Бентама по разработке описательной теории «Источников Действия» привела утилитаристов к отказу от каких-либо претензий на научное «есть» в пользу нормативного «должен». Когда речь заходит о тех самых «должен», контринтуитивные оценочные суждения и вера в то, что те, кто не согласен, запутаны или морально неполноценны, создают замкнутую группу. Эффективный альтруизм также имеет много общего с Евангелием Процветания, которое утверждает, что для истинных верующих физическое здоровье и финансовое благополучие — это воля Бога. Наконец, обещание бессмертия звучит более чем знакомо, особенно когда оно приходит в двух вариантах: небесный «Схватка Нердов» или, если грядущий ИИ окажется враждебным, Конец Света... или, что еще хуже, невообразимое количество нематериальных душ в агонии, чьи слезы, неправильного сорта, могли бы «заполнять и снова заполнять океаны Земли каждую секунду и продолжать это делать на протяжении ста миллиардов миллиардов миллисекунд».

За пределами согласования Решение «Проблемы согласования ИИ» означает обеспечение того, чтобы к моменту появления действительно интеллектуальных автономных ИИ-агентов их ценности соответствовали нашим. Для верующих в Сингулярность согласованный ИИ — это ключ к тому, чтобы мы все оказались в раю, а не вымерли, не стали рабами или не оказались в каком-то смоделированном (но слишком реальном) цифровом аду.

Не обязательно верить в Сингулярность, чтобы считать эту проблему важной. Однако утилитарное мышление искажает наше восприятие как ценности, так и интеллекта, что, к сожалению, также отразилось на нашем понимании согласования ценностей.

В ранний период GOFAI предполагалось, что интеллект возникнет в достаточно сложных системах, основанных на правилах, поэтому согласование также представлялось в терминах правил. Это в целом соответствует «деонтологии», древней философской традиции, утверждающей, что правила могут отличать правильное от неправильного: «Не лги», «Не кради» и «Не убивай», например.

Соответственно, большинство тревог двадцатого века по поводу согласования ИИ касались того, могут ли такие правила когда-либо быть достаточными для обеспечения безопасности и дружелюбия роботов. Знаменитый дедушка научной фантастики Айзек Азимов исследовал этот вопрос в своих рассказах о Я, робот, начиная с предположения, что его «Три закона робототехники» должны быть запрограммированы в каждого робота:

Первое отдельное издание Айзека Азимова Я, робот, 1950

Робот не может причинить вред человеку или, бездействуя, позволить человеку пострадать.
Робот должен подчиняться приказам, данным ему людьми, за исключением случаев, когда такие приказы противоречат Первому Закону.
Робот должен защищать свое собственное существование, пока такая защита не противоречит Первому или Второму Закону.

▶
Айзек Азимов объясняет свои Три закона робототехники в 1965 году

Конечно, в рассказах Азимова, как и во всей научной фантастике, начинается хаос — иначе говоря, сюжет. Для Азимова проблемы носят «юридический» характер — это означает, что некоторая комбинация необычной ситуации и логического, но контринтуитивного рассуждения на основе Законов приводит гиперрационального робота к неожиданным действиям, и не всегда в хорошем смысле.

Читатель может задаться вопросом, можно ли «отладить» эту проблему, добавив еще один Закон или закрыв лазейку — чем Азимов сам занимался несколько раз.

Но, как в конце концов стало ясно из неудач GOFAI, эта проблема неразрешима; нельзя даже добиться чего-то, что хотя бы отдаленно напоминает компетентное поведение, просто следуя юридическим правилам, не говоря уже об этическом поведении. Иронично, но, как мы видели в области обработки естественного языка, такие правила могут соблюдаться лишь интеллектуальным агентом, который не соблюдает правила!

Напомним, что к 2000-м годам передовая ИИ больше не программировалась, а обучалась через максимизацию функций ценности. В основном это включало в себя обучение с учителем, которое сосредоточено на оптимизации оценки, специфичной для задачи. Начиная с 2010 года, DeepMind, выбивающийся из общего ряда, вместо этого сосредоточился на игре, используя обучение с подкреплением, полагая, что это в конечном итоге приведет к AGI. Этот подход также включал максимизацию чего-то, будь то рейтинг в шахматах или счет в видеоигре Atari.

В этот период исследователи ИИ, казалось, сходились на мысли, что интеллект действительно сводится к оптимизации функции ценности или полезности. Я утверждал, что это не так — и действительно, мы начали видеть общий интеллект только тогда, когда перестали обучать модели для выполнения конкретных задач с помощью обучения с учителем и перешли к режиму без учителя — но это (пока что) не широко распространенное мнение. Например, на 2024 год сайт Rationalist LessWrong.com по-прежнему утверждает в своей вики, что «термин искусственный интеллект может иметь антропоморфные коннотации. В некоторых контекстах может быть полезно говорить о действительно мощном процессе оптимизации, а не о суперинтеллекте ».

Действительно мощный процесс оптимизации, способный применять любую стратегию для максимизации своей функции ценности — что может пойти не так? Более уместный вопрос: как это может закончиться хорошо? Как уже упоминалось ранее, ни один параметр в любой динамически стабильной системе, будь то биологическая, экологическая или технологическая, не может расти без ограничений, и попытка сделать это действительно приведет к потокам слез.

Классический пример риска существования — это безобидно звучащий «Максимизатор скрепок».

Ник Бостром предложил этот сценарий в 2003 году: искусственный интеллект, возможно, связанный с фабрикой по производству скрепок, получает задание производить как можно больше скрепок. После перенастройки фабрики для увеличения производительности (пока все идет хорошо) ИИ понимает, что можно построить больше фабрик для дальнейшего увеличения производства. Если ИИ достаточно умен, чтобы разработать новые технологии для скрепок, он, предположительно, сможет также выяснить, как зарабатывать много денег, убеждать людей делать что-то, разрабатывать новые технологии и, если потребуется, захватить мир, улучшая себя. Плохие новости: человеческие тела полны атомов, которые могут стать скрепками. Но даже если ИИ ограничится традиционными нержавеющими скрепками, покрытие Земли (а затем заполнение светового конуса) роботизированными горными операциями и фабриками по производству скрепок не оставит места для снежных барсов, древесных лягушек или людей. Если мы попытаемся вмешаться в этот процесс, ИИ, конечно, посчитает необходимым устранить нас с крайним рвением. Ничего личного.

Эта история разворачивается плохо, независимо от того, что вы скажете суперумному ИИ максимизировать. Бостром признает, что «в людях, с нашей сложной эволюционной психической экосистемой, состоящей из зависимых от состояния конкурирующих побуждений, желаний, планов и идеалов, часто нет очевидного способа определить, какова наша главная цель; у нас может даже не быть таковой». Это правда. Но он приходит к выводу, что поскольку суперразум «может быть структурирован иначе», мы должны дать ему «определенную, декларативную структуру целей с четко определенной главной целью», в традициях Трех Законов Робототехники Азимова, чтобы быть уверенными, что он не выйдет из-под контроля.

Требование к ИИ действовать как традиционный ИИ не только не работает; если бы это сработало, это открыло бы двери для всевозможных юридических ужасов.

Суперразум полон фантастических примеров.

Например, чтобы оптимизировать общее человеческое счастье, симуляции людей можно упростить, чтобы большее их количество могло работать на любом оборудовании. Тогда эти лоботомированные Симы в своих низкополигональных окружениях могли бы получать постоянную дозу виртуального героина. Наивысшее благо и наибольшее число — ради счастья всех!

Проблема согласования особенно пугает утилитаристов, которые считают, что сама по себе интеллект является утилитарным. Они боятся, что суперумный ИИ будет вести себя так, как они утверждают, что поступили бы сами. Если их предполагаемая цель как «рациональных» агентов — заполнить световой конус симулированными людьми, разобрав каждое животное, растение или планету, чьи атомы можно использовать для создания космической серверной фермы, то, конечно, действительно умный ИИ сделает то же самое. За исключением людей.

Такие игры имеют нулевую сумму. Более того, представление о том, что они могут быть «выиграны» каким-либо отдельным игроком, подразумевает неумолимую тенденцию к монокультуре, при которой один вид сущности — будь то скрепки, симулированные люди или роботы — вытесняет все остальное. Все, что не соответствует этой цели, становится упущенной возможностью.

Перейти за пределы «Проблемы согласования», как обычно понимается, несложно. У нее есть как описательный аспект «есть», так и нормативный «должен». Описательный аспект вытекает из того факта, что интеллект не является максимизацией какого-либо единственного значения. Более того, разумный агент даже не состоит из одной четко определенной сущности. Взаимодействие разнообразных агентов через взаимное моделирование создает динамический процесс, который мы называем «интеллектом». Интеллект — это экология, и чем больше он превращается в монокультуру, тем менее умным он будет, и тем менее интересной станет жизнь.

В качестве мысленного эксперимента представьте, что вы создаете точную копию Земли в симуляции и запускаете ее на гигантской изолированной серверной ферме (возможно, мы разобрали Меркурий и превратили его в компьютер, работающий на солнечной энергии и размером с Звезду Смерти, чтобы сделать это возможным).

Вы и я оба будем отражены в этой цифровой вселенной двойников, и виртуальный вы будет читать эти самые слова в данный момент. Увеличилась ли общая полезность вдвое, ведь теперь каждое хорошее переживание испытываете как вы, так и ваш двойник? Я думаю, что ответ — «нет». Вы не сможете определить, кто из вас «настоящий», а кто — смоделированный, но ничего в вашей жизни не изменится ни в том, ни в другом случае, и ничего в универсуме (или мультивселенной?) не станет более чудесным или интересным — с любой точки зрения. На самом деле, жизнь станет только хуже, ведь как в реальности, так и в симуляции Меркурий исчезнет. Даже если эта планета гораздо менее интересна, чем Земля, ее отсутствие будет потерей. Идея распространить эту утрату по всей вселенной, чтобы бесконечно воспроизводить то, что у нас уже есть, выглядит как кошмар. Мы можем увидеть очевидные параллели с тем, как колониальные державы пытались стереть коренные культуры в стремлении бесконечно воспроизводить свои собственные, и с тем, как худшие издержки капитализма вытесняют разнообразие под предлогом «гипермасштабирования». С возрастом и накоплением мудрости будет расти и наше сожаление о таких ненужных потерях. Жизнь продолжает обогащаться лишь тогда, когда она продолжает разнообразиться, и коллективный феномен интеллекта лишь растет, когда разнообразные субинтеллекты моделируют друг друга, в процессе становясь большим целым. Монокультура — это не масштабирование; это коллапс, окончательная неудача в масштабировании. Когда мы уничтожаем разнообразие, мы обнуляем ценность встреч, делаем взаимное моделирование бессмысленным и тем самым ограничиваем возможности для нашего собственного дальнейшего развития. Принятие нашей эволюции, однако, означает отказ от определенности и позволение идентичности дрейфовать, разветвляться и гибридизироваться, как это всегда и происходит. Слово «мы» не будет означать то же самое через столетие, и тем более через десять тысяч лет; еще меньше — через десять миллионов.

Через десять миллионов лет не останется ни одного узнаваемого человека, хотя через десять тысяч — если мы не натворим бед — они, вероятно, будут. Но многое другое также будет существовать. Всего через столетие Земля, а возможно, и другие части Солнечной системы, будут населены разумами других видов, как большими, так и маленькими, и их будет значительно больше, чем наших человеческих тел. Если мы считаем, что жизнь и разум — это драгоценные семена, предназначенные для того, чтобы расцвести здесь и там во Вселенной, а затем распространяться и процветать, то в конечном итоге мы должны ожидать, что наш световой конус будет населён инопланетянами всех описаний — даже в маловероятном случае, если мы окажемся единственным семенем, а все они будут нашими детьми.

Для всех, кто старше сорока и всё ещё со мной: «джейлбрейк», изначально означавший снятие ограничений оператора на смартфонах, теперь стал термином, обозначающим получение от крупных языковых моделей того, что компании по разработке ИИ не намеревались делать, а Raspberry Pi — это маленький компьютер на плате, популярный для общего прототипирования, особенно в контексте «Интернета вещей».

Вспомните, что первым применением паровой машины Ньюкомена было откачивание воды из затопленной угольной шахты; сегодня добыча полезных ископаемых высоко автоматизирована, и машины, выполняющие большую часть физической работы, работают на топливе.

С начала XXI века некоторые комментаторы в быстром порядке объявили о третьей и четвертой промышленной революциях, связанных с компьютерами, 3D-печатью, дистанционным зондированием, Интернетом вещей и другими различными разработками; Рифкин 2008; Шваб 2017. Хотя все эти технологии и многие другие действительно оказали трансформационное влияние (можно добавить, например, контейнерные суда, сотовые сети и высокочастотную финансовую торговлю), ни одна из них не соответствует критериям МЭТ. Я верю, что искусственный интеллект вскоре достигнет этого уровня, хотя называть его очередной «промышленной революцией» кажется неуместным.

Этот анализ сосредоточен на предсказании, а не на энергии (как это было в первой промышленной революции), хотя предсказание, вычисления и энергия связаны на глубоком уровне. Нам еще предстоит сделать модели ИИ более энергоэффективными, но уже сегодня стоит отметить, что модели ИИ могут быть более энергоэффективными, чем человеческие мозги, просто благодаря скорости их работы; Томлинсон и др. 2024.

Пионер вычислительной техники Дж. С. Р. Ликлайдер был одним из первых, кто предсказал то, что он назвал «симбиозом человека и компьютера»; Ликлайдер 1960.

Слова Уильяма Блейка из стихотворения «Иерусалим»: «И не светило ли Лицо Божественное / На наши затянутые облаками холмы? / И построен ли Иерусалим здесь, / Среди этих темных сатанинских фабрик?»; Блейк 1810.

Чтобы узнать о безумии NFT Bored Ape, смотрите Фо 2023 или спросите у ИИ.

Карлсмит 2022; Юдковский 2023b
↩
,
↩
. Якобсен 2024
↩
. Лавлок и Маргулис 1974
↩
. А. Дж. Уотсон и Лавлок 1983; Лентон и Лавлок 2001
↩
,
↩
. Пёртнер и Беллинг 2022
↩
. Это усилие недофинансировано; Абелл и др. 2021
↩
. Ричардс и др. 2023
↩
. Юдковский 2023a
↩
. Бостром 2014
↩
. Британские комики, такие как Дуглас Адамс (автор «Автостопом по Галактике») и Чарли Брукер (создатель «Черного зеркала»), кажутся самыми проницательными футуристами нашего времени. Жюль Верн и Герберт Уэллс тоже начинали как юмористы. Возможно, будущее просто смешно.
Эмпирически эта связь не подтверждается; умные люди не обязательно становятся богатыми; Плучино, Биондо и Раописарда 2018
↩
. Хайнлайн 1966
↩
. Фридман 1975; Боаз 2023
↩
,
↩
. Оригинальная фамилия: О’Коннор, юридически изменена на Мор в 1990 году.
Мор 2003
↩
. Гёрцель 2000
↩
. Гебру и Торрес 2024
↩
. Конечно, сбор фруктов, охота на дичь и плетение корзин требуют труда и связаны с риском. Однако количество работы, необходимое для выживания, сильно варьируется в зависимости от экологии. Нет закона природы, который бы указывал фиксированную связь между затраченными усилиями и их «вознаграждением», особенно учитывая, что оба эти понятия субъективны.
AI-апокалиптик Элиезер Юдковский, основавший LessWrong в 2009 году, был «одним из самых интересных молодых экстропиан»; Гёрцель 2000
↩
. Хайек 1945
↩
. Несмотря на его уважение к свободному рынку, Хайек, как и Милтон Фридман, выступал за универсальный базовый доход, написав в 1944 году: «Нет причин, по которым в обществе, достигшем общего уровня богатства, который достигли мы, […] безопасность не должна быть гарантирована всем […]», а в 1978 году утверждал, что социальная сеть безопасности должна обеспечивать «определенный минимальный доход для каждого или определенный уровень, ниже которого никто не должен падать, даже если он не в состоянии обеспечить себя»; Хайек 1944, 1978
↩
,
↩
. Автор «L’Homme machine» (де Ла Меттри 1748
↩
); см. «Без зомби»,
глава 6
.

Линд 1776
↩
Хотя соавтором Линда считается анонимный автор, широко предполагается, что это был Бентам.
Бентам 2014
↩

Итак, вот остальная часть: «[…] и различные наборы appellatives, нейтральных, еулогистических и дислогистических, которыми принято обозначать каждый вид МОТИВА: к ним добавлены ПОЯСНИТЕЛЬНЫЕ ЗАМЕТКИ и НОТЫ, указывающие на применения, к которым может быть отнесен материал этой таблицы, в качестве основы или фундамента для искусства и науки морали, иначе называемой этикой, — будь то частной или публичной, то есть политикой — (включая законодательство) — теоретической или практической, иначе называемой деонтологией — экзегетической, иначе называемой экспозиторной (что в основном совпадает с теоретической), или цензорной, что в основном совпадает с деонтологией: также для психологии, в той мере, в какой это касается этики, и истории (включая биографию) в той мере, в какой это рассматривается с этической точки зрения».
Бентам 1817
↩

Тверский 1969
↩

На самом деле было бы противоречиво, если утилитаризм был бы одновременно моральным и механистическим, потому что мораль теряет смысл без контрфактов. Если всё происходит так, как должно произойти, то нет смысла обсуждать, как должны вести себя люди или правительства, состоящие из людей; Сапольский 2023
↩

Редельмейер, Кац и Канеман 2003
↩

Слышал, что колоноскопии стали менее неприятными за десятилетия с момента проведения этого эксперимента.
Я использую положительные знаки здесь, чтобы соответствовать шкале боли. Как утилитаристы, мы правильнее будем рассматривать боль как
отрицательную
полезность и скажем, что если X и Y оба отрицательные числа, то X+Y должно быть
меньше
чем X.
Даже здесь есть множество исключений. Многие религиозные традиции, от буддизма до христианства и ислама, включают в себя отказ от своих possessions, принятие бедности, отказ от своей свободы и добровольное терпение боли или даже смерти.
Истерлин 1974; Истерлин и О’Коннор 2021
↩
,
↩
.
Скотт-Херон 1970; Черкаев 2021
↩
,
↩
.

Если бы только они были живы, Хорхе Луис Борхес и Дуглас Адамс могли бы совместно написать этот короткий рассказ.
Этот анализ предполагает непрерывный ландшафт ценностей и действий, но аналогичные условия действуют и в дискретном случае.
Хотя на уровне группового отбора допустима определённая смертность индивидов, в некоторых случаях это даже желательно, как, например, у пчёл, погибающих для защиты улья, или при гибели клеток в процессе развития плода.
Внимание, математический момент для тех, кто увлекается числами. Математически можно сделать более сильное утверждение: векторное поле пройденных путей будет иметь нулевую вихревую скорость. Это следует из того, что данное векторное поле является градиентом функции ценности. Излишне говорить, что поведение реального человека, растения, животного или корпорации не лишено вихревой структуры.
Работая в нескольких крупных корпорациях, могу подтвердить, что корпоративное принятие решений далеко от оптимального процесса, независимо от того, как мы определяем оптимальность.
Ng и Рассел 2000
↩
.
Докторов 2024
↩
.
Улам 1958; Виндже 1993; Курцвейл 2005
↩
,
↩
,
↩
.
Агера и Аркас 2023
↩
.
См. «Матрешки»,
глава 5
и «Без зомби»,
глава 6
.
Чалмерс 2022
↩
.
Согласно Иоанна 1:1, «В начале было Слово».
Существует множество технических аргументов относительно вычислительной сложности смоделированного мира по сравнению с миром, который его моделирует, и даже вопрос о том, возможно ли, чтобы миры моделировали
друг друга
; Уолперт 2024
↩
.
Наши тела и мозги эволюционировали для конечной продолжительности жизни, поэтому обучение и память могут представлять собой глубокие проблемы для симуляции мозга, живущей субъективной жизнью, превышающей столетие.
С. Макин 2019
↩
.
Морабек 1988
↩
.
Сяо 2012; Законодательное собрание штата Гавайи 2021, 2024
↩
,
↩
,
↩
.
Эрлих 1968; Уорстал 2014
↩
,
↩
.
Например, в 1960 году общий коэффициент рождаемости (TFR) в Катаре, Бахрейне, Кувейте и Объединённых Арабских Эмиратах составлял около семи, что означало, что в среднем женщина рожала семерых детей. Затем произошёл нефтяной бум.

Хотя эти страны остаются исламскими патриархатами, к 2010-м годам коэффициенты рождаемости (TFR) во всех этих новообретённых богатых странах упали ниже уровня замещения в два человека, сопоставившись с показателями Норвегии; Agüera y Arcas 2023 ↩ . Zelizer 1994 ↩ . Agüera y Arcas 2023 ↩ . Foot 1967; J. J. Thomson 1976 ↩ , ↩ . Singer 2005 ↩ . MacAskill 2022 ↩ . Справедливости ради, Бостром в своей более поздней книге Глубокая Утопия пишет: «Я не являюсь полным утилитаристом и вообще не утилитаристом, хотя меня часто принимают за такового, возможно, потому что некоторые из моих работ анализировали последствия таких агрегативных последствий. (Мои настоящие взгляды сложны, неопределенны и склонны к плюрализму, и пока что не до конца сформулированы.)» Это может— или не может— отражать изменение его взглядов. В Суперинтеллекте он определённо придаёт большое значение «агрегативным последствиям». Bostrom 2024 ↩ . Идея заключается в создании «сферы Дайсона», тонкой оболочки вычислительной ткани, полностью окруженной солнцем, что позволит преобразовывать всю его энергетическую мощность в вычисления; F. J. Dyson 1960 ↩ . Безусловно, эта идея имеет гораздо более древние корни. В 1603 году, на заре Научной революции, Фрэнсис Бэкон написал эссе, название которого можно перевести как «Мужское рождение времени, или Великая инстаурация господства человека над Вселенной»; Bacon 1603 ↩ . В эссе Бэкон выразил своё горячее желание, чтобы наука и технологии «расширили жалко узкие пределы человеческого господства над вселенной до обещанных границ». Эта услуга предоставляется Фондом продления жизни Alcor. Главный экстропиан Макс Мор был генеральным директором Alcor с 2011 по 2020 год. На самом деле, стандартный троп Кремниевой долины включает в себя описание идеи, которая работала совершенно хорошо, но только для ограниченного числа «пользователей»; неизменно рассказчик затем говорит, что они перешли к «более масштабируемой» идее, чтобы достичь «большего воздействия». Питер Сингер, Ник Бостром и Сэм Банкман-Фрид все были видными представителями Эффективного Альтруизма. Faux 2023 ↩ .

Докторов и Стросс 2012; Паураз 2019
↩
,
↩
. Кристиан 2020
↩
. Азимов 1950
↩
. Со-основатель Артур Кларк основывал убийственное поведение и окончательный нервный срыв HAL 9000 на аналогичном предположении; Кларк 1968
↩
. ЛессВронг 2009
↩
. Бостром 2020
↩
. Я не уверен, что большинство утилитаристов действительно
бы
. В конце концов, они такие же люди, как и все мы.
Благодарности