Эволюционный переход: AGI и суперинтеллект

Глава 19

Что такое интеллект? | Антикитерский механизмЧто такое интеллект?10 Эволюционный переходАбигенез10 Эволюционный переходПериодизацияОбычное повествование о ИИ представляет его в сравнении с человеком, деля его историю на три эпохи: длительный «период до» Искусственного Узкого Интеллекта (ИУИ), когда он уступает человеку; (недолговечное) достижение Искусственного Общего Интеллекта (ИОИ), когда он сопоставим с человеческими способностями; и загадочный «период после» Искусственного Суперинтеллекта (ИСИ), в котором он превосходит человеческие способности. Появление ИСИ иногда считалось предвестником «Сингулярности», порога в неведомое и невообразимое будущее. 1 На 2024 год практически все эксперты согласны с тем, что ИОИ еще не достигнут, но многие считают, что, учитывая темпы улучшения, это может произойти очень скоро, и за ним немедленно последует ИСИ и все, что находится за его пределами. 2Автор и блогер Тим Урбан предлагает свою точку зрения на период до, во время и после Искусственного Суперинтеллекта; Урбан 2015.Автор и блогер Тим Урбан предлагает свою точку зрения на период до, во время и после Искусственного Суперинтеллекта; Урбан 2015.Я высказывал или подразумевал множество проблем с этим повествованием. Во-первых, мне трудно (по крайней мере, для меня) увидеть, как сегодняшний ИИ не является уже «общим». Различие между «узким» и «общим» было придумано, когда мы начали применять термин «ИИ» к моделям, специфичным для задач, таким как распознавание почерка или игра в шахматы. Эта специфичность делала такие модели очевидно «узкими»; для непосвященного называть такие системы «искусственно интеллектуальными» имело мало смысла, так как они не представляли собой ничего, что обычно ассоциировалось бы с этим термином.

Таким образом, термин «AGI» был введен для описания того, что ранее просто называли ИИ; он охватывал всё, от Дейты из «Звёздного пути» до корабельного компьютера (который был похож на безтелесного человека), и от Марвина, параноидного андроида Дугласа Адамса, до его умных лифтов будущего: «Неудивительно, что многие лифты, наделенные интеллектом […] стали ужасно расстраиваться из-за бессмысленного занятия подъемом и спуском, подъемом и спуском, кратко поэкспериментировали с идеей движения вбок […] и в конечном итоге начали сидеть в подвалах, угнетенные. Обедневший автостопщик, посещающий любые планеты в системе звезды Сириус в наши дни, может легко заработать, работая консультантом для невротических лифтов». Хотя этот сценарий остается таким же глупым сегодня, как и в 1980 году, он теперь может буквально стать результатом двухдневного хакатона с участием взломанной большой языковой модели, Raspberry Pi и лифта. (Да, мы живем в эпоху, когда шутки буквально пишутся сами собой.) Если разница между узким и общим ИИ заключается в … ну, общности, то мы достигли этого момента, как только начали предобучение неконтролируемых больших языковых моделей и использовали их интерактивно. Затем мы заметили, что они могут выполнять произвольные задачи — или, по критике Патриции Чёрчленд 2016 года по поводу узкого ИИ, незадачи, такие как просто болтовня. Обучение в контексте отмечает особенно важную возникающую способность таких моделей, поскольку это подразумевает, что набор задач, которые они могут выполнять, не является конечным, состоящим только из того, что было наблюдено во время предобучения, а фактически бесконечным: языковая модель может делать всё, что можно описать. Производительность может быть ниже человеческой, примерно на уровне человеческой или выше человеческой. Производительность передового ИИ растет каждый месяц, помещая всё больше задач в третью категорию. Такие устойчивые увеличения производительности, вероятно, будут продолжать следовать экспоненциальной траектории в течение некоторого времени, так же как это происходило с производительностью традиционных вычислений в десятилетиях закона Мура.

Решающий момент для традиционных вычислений наступил, когда специализированные компьютеры уступили место универсальным, начиная с ENIAC в 1945 году. Все, что произошло после этого, стало экспоненциальным ростом производительности, а не дискретным переходом. В том же духе, ИИ общего назначения (AGI) уже пережил свой «момент ENIAC» с переходом от узкого обучения заранее определенным задачам к общему ИИ, который основан на неконтролируемом предсказании последовательностей и способен к обучению в контексте. Кажется разумным назвать это настоящим качественным скачком. То, что последовало, было и будет драматичным, даже экспоненциальным, но изменения касаются степени, а не рода. Есть что-то произвольное, граничащее с абсурдом, в том, как эксперты спорят о точном времени, когда этот экспоненциальный рост действительно «считается» или «будет считаться» AGI... не говоря уже о том, как многие комментаторы тихо стараются сдвинуть границы. На каком принципиальном основании мы могли бы защитить тот или иной порог на этом головокружительно крутом, но непрерывном ландшафте? И кому это вообще важно?

Тем не менее, технические открытия 2020-х годов принесли удивительное понимание: называть узкие, специфические для задач (но не с использованием инженерии признаков) системы машинного обучения «ИИ» могло быть более оправданным, чем мы предполагали. Независимо от того, обучаются ли нейронные сети с использованием контролируемого обучения для выполнения отдельных задач, таких как классификация изображений или перевод текста, или обучаются быть универсальными предсказателями с использованием неконтролируемого обучения, они, похоже, в конечном итоге усваивают одно и то же универсальное представление.

Таким образом, если вы обучите чрезвычайно мощную модель последовательностей для распознавания рукописного текста — и обучите ее на достаточном количестве рукописных трактатов — кажется, что вы действительно сможете вести философский (рукописный) разговор с ней после этого. Или очень мощный нейронный компрессор изображений обязательно научится читать и дополнять напечатанный текст, чтобы лучше справляться с компрессией изображений газет и подобного; он фактически будет содержать большую языковую модель.

Таким образом, умный лифт, оснащенный микрофоном и динамиком, который обучен лишь узкой задаче — доставить вас на нужный этаж, также будет примером. Странно, но именно так, как общая задача предсказания включает в себя все узкие задачи, каждая узкая задача содержит в себе общую задачу! Точную дату перехода к AGI, таким образом, еще труднее установить, но можно обосновать, что это произошло в 1940-х годах, с внедрением первых кибернетических моделей, которые научились предсказывать последовательности — хотя в начале они могли делать очень мало, кроме неуклюжих выходок Паломи́льи, следовавшей за фонариком по коридору MIT. Что же мы можем сказать о большой истории ИИ? Возможно, периодизировать историю интеллекта — то есть жизни — на Земле, и ИИ является частью этой истории. Однако, чтобы поместить это в значимый контекст, нам нужно значительно отдалиться.

Переходы Появление ИИ знаменует то, что теоретические биологи Джон Мейнард Смит и Эёрш Сатмарьи назвали «значительным эволюционным переходом» или МЭП — термин, с которым мы впервые столкнулись в главе 1. Смит и Сатмарьи описывают три характерные черты МЭП: 1. Более мелкие сущности, которые ранее могли независимо реплицироваться, объединяются, чтобы сформировать более крупные сущности, которые могут реплицироваться только целиком. 2. Существует разделение труда между более мелкими сущностями, что увеличивает эффективность более крупного целого за счет специализации. 3. Появляются новые формы хранения и передачи информации, поддерживающие более крупное целое, что приводит к новым формам эволюционного отбора.

Симбиогенетические переходы в bff демонстрируют эти три характеристики! Каждый значительный эволюционный переход сопровождается новыми носителями информации; Гиллингс и др. 2016. Советско-американский кибернетик Валентин Турчин теоретизировал концепцию, очень похожую на МЭП, «метасистемный переход», за десятилетия до этого, в 1970-х годах.

Турчин описал метасистемные переходы в терминах, схожих с теми, которые я использую в этой книге, подчеркивая растущую способность симбиотических агрегатов проводить более точное предсказательное моделирование, тем самым получая преимущество в выживании. Как обычно, кибернетики, похоже, оказались на шаг впереди. В своей обзорной статье 1995 года в журнале Nature Смит и Сатмарьи выдвинули восемь основных эволюционных переходов:
- Реплицирующие молекулы к популяциям молекул в компартментах
- Непривязанные репликаторы к хромосомам
- РНК как ген и фермент к ДНК и белку (генетический код)
- Прокариоты к эукариотам
- Бесполые клоны к половым популяциям
- Протисты к животным, растениям и грибам (клеточная дифференциация)
- Солитарные особи к колониям (неразмножающиеся касты)
- Общество приматов к человеческим обществам (язык)

Этот список не кажется неразумным, хотя первые три пункта, безусловно, спекулятивны, поскольку они пытаются разбить абиогенез на отдельные основные переходы, о которых мы можем только догадываться. Остальные пять находятся на более твердой почве, так как как предшествующие, так и последующие переходные сущности все еще существуют: эукариоты не заменили бактерии, половое размножение не заменило бесполое размножение, социальные насекомые не заменили одиночных и т.д. Сатмарьи и другие с тех пор предложили несколько изменений (например, добавление эндосимбиоза пластид, что привело к возникновению растительной жизни), но более важный момент заключается в том, что список основных переходов короток, и каждый пункт в нем представляет собой значительный новый симбиоз с последствиями планетарного масштаба. Любая значимая периодизация жизни и интеллекта на Земле должна сосредоточиться на таких крупномасштабных переходах.

То, что переходы, похоже, происходят с возрастающей частотой, не является просто артефактом неясности далекого прошлого, но и результатом их внутренней динамики обучения, как описал Турчин. Все более мощные предсказательные модели, как мы видели, также становятся все более способными к обучению. Более того, обучение в контексте показывает нам, как все предсказательное обучение также включает в себя обучение тому, как учиться.

Таким образом, по мере того как модели становятся лучшими учениками, они смогут более охотно «перейти на мета-уровень», что приведет к возникновению МЕТ и созданию еще более способного ученика. Именно поэтому культурная эволюция происходит гораздо быстрее, чем генетическая. Макс Беннетт утверждает, что «сингулярность уже произошла», когда накопление культуры, поддерживаемое языком, а позже и письмом, начало быстро поднимать человеческие технологии на протяжении последних нескольких тысяч лет. Это обоснованная позиция, и она не соответствует последнему МЕТ в списке Смита и Сатмари, поскольку люди существуют (и используют язык) гораздо дольше, чем всего лишь несколько тысяч лет. Следовательно, «культурная сингулярность» Беннетта не отличает людей от нечеловеческих приматов, а скорее связана с урбанизацией и сопутствующим разделением труда. Таким образом, этот недавний переход не является ни непосредственным следствием языка, ни врожденным свойством человечества как такового, а представляет собой явно современное и коллективное явление. Это постчеловеческое в буквальном смысле, поскольку оно происходит после нашего появления как вида. Пираха, например, которые по-прежнему сохраняют свои традиционные образ жизни в Амазонии, так же человечны, как и любой ньюйоркец, но обладают степенью самодостаточности, радикально отличающейся от ньюйоркцев. Они могут «зайти в джунгли голыми, без инструментов или оружия, и выйти через три дня с корзинами фруктов, орехов и мелкой дичи». Согласно Даниэлю Эверетту, у пираха есть подспудный дарвинизм, пронизывающий их философию родительства. Этот стиль воспитания приводит к тому, что вырастают очень крепкие и стойкие взрослые, которые не верят, что кто-то что-то им должен. Граждане нации пираха знают, что выживание каждого дня зависит от их индивидуальных навыков и выносливости. Когда женщина пираха рожает, она может лечь в тени рядом со своим полем или где угодно и начать роды, очень часто совершенно одна.

Эверетт рассказывает о душераздирающей истории женщины, которая пыталась родить на берегу реки Маиси, в пределах слышимости других, но обнаружила, что ее ребенок не хочет появляться. Он находился в тазовом предлежании. Несмотря на ее крики в течение целого дня, никто не пришел на помощь; пираха даже активно препятствовали тому, чтобы их западный гость бросился на помощь. Крики женщины постепенно становились все тише, и ночью как мать, так и ребенок в конечном итоге умерли, не получив помощи. В этой и других подобных историях возникает картина не жестокого или бездушного народа — в одном более легкомысленном эпизоде пираха выражают ужас и недоверие к Эверетту за то, что он шлепнул своего непослушного подростка — а общества, которое одновременно является интенсивно коммунитарным и индивидуалистичным. Они охотно делятся ресурсами, но социальной иерархии нет, и специализация минимальна. Каждый человек с раннего возраста обладает высокой компетентностью в выполнении всего необходимого для выживания. Следствием этого является то, что от каждого ожидается, что он сможет позаботиться о себе. Пираха, конечно, являются особым народом со своими обычаями и традициями, а не универсальным представителем доаграрного человечества. Тем не менее, черты, на которые я здесь акцентирую внимание — тесно сплоченные эгалитарные сообщества, члены которых обладают широкими навыками выживания — часто встречаются в рассказах о современных собирателях-охотниках. Можно с уверенностью предположить, что это было нормой для человечества на протяжении большей части нашей долгой предистории. Мы вправе описывать переход от традиционного к аграрному, а затем к городскому образу жизни как МЭТы. Во время аграрной революции возникла новая сеть интенсивно взаимозависимых отношений между людьми, животными и растениями; затем, с урбанизацией, в эту смесь вошли машины, и человеческий труд стал еще более разнообразным. Нью-Йорк (и современный глобализованный социотехнический мир в целом) представляет собой самоподдерживающуюся систему, члены которой больше не обладают компетенцией, как пираха.

Городские жители стали, с одной стороны, гиперспециализированными, а с другой — деградировавшими до такой степени, что не могут выжить самостоятельно, так же как одна из клеток в вашем теле не может выжить без остального организма. Это касается не только языка, но и письменных текстов, школ и гильдий, банков, сложных систем управления, управления цепочками поставок и многих других механизмов хранения и передачи информации, которые добавляют эволюционирующую «ДНК», необходимую для организации и поддержания городских обществ. Однако мне кажется, что этот МЕТ все еще не последний в списке. К 1700 году значительные человеческие популяции уже имели урбанизацию, разделение труда и стремительную культурную эволюцию. Затем произошла первая промышленная революция, о которой говорилось в главе 1: симбиоз между людьми и тепловыми машинами, который привел к углеводородному метаболизму, высвободившему беспрецедентные объемы свободной энергии, подобно эндосимбиозу митохондрий. Это позволило человеческим и скотоводческим популяциям взорваться, способствовало первой волне масштабной урбанизации и привело к беспрецедентным технологическим инновациям. Как заметили Карл Маркс и Фридрих Энгельс в 1848 году: «Буржуазия, в течение своего правления, длившегося всего сто лет, создала более массивные и колоссальные производительные силы, чем все предшествующие поколения вместе взятые. Подчинение сил природы человеку, машины, применение химии в промышленности и сельском хозяйстве, паровое судоходство, железные дороги, электрические телеграфы, расчистка целых континентов для возделывания, канализация рек, целые популяции, возникшие из земли — какой предыдущий век даже догадывался о том, что такие производительные силы дремлют в недрах социального труда?» Уязвимость Люди трудились усердно и работали вместе на протяжении тысяч лет. Это была не «социальная работа», а уголь, который дремал под землей. Горная добыча была тяжелым трудом, но сам уголь выполнял все большую долю этой работы. И со временем уголь производил все больше рабочих.

▶Из образовательного фильма 1933 года о силе ископаемого топливаВызов огромных новых популяций из недр земли — буквально, плоти из ископаемого топлива — проявился в виде взрыва населения, который стал очевиден к 1800 году. Это побудило Томаса Мальтуса и его китайского современника Хонг Лянцзи впервые забеспокоиться о глобальной перенаселенности. 14Это также создало беспрецедентную симбиотическую взаимозависимость между биологией и машинами. Романтизм, идеализация сельской жизни и утопические сообщества девятнадцатого века могут быть поняты как реакция на эту растущую зависимость, утверждение, что мы можем жить хорошей жизнью без передовых технологий и урбанизации. Но в масштабах это было невозможно.Логарифмический график реальных зарплат (по оси y) против населения (по оси x) в Англии, эпицентре промышленной революции, показывает, что до восемнадцатого века зарплаты и население колебались в контрапункте, движимые циклами смертности от Черной смерти. Это колебание подразумевает мальтузианские условия, при которых население ограничивалось ресурсами, а ресурсы — человеческим трудом. Промышленное оборудование сняло эти ограничения. Изначально зарплаты оставались низкими, потому что избыток способствовал взрыву человеческого населения, но в конечном итоге избыток смог стимулировать как рост населения, так и повышение уровня жизни; Bouscasse et al. 2025. Логарифмический график реальных зарплат (по оси y) против населения (по оси x) в Англии, эпицентре промышленной революции, показывает, что до восемнадцатого века зарплаты и население колебались в контрапункте, движимые циклами смертности от Черной смерти. Это колебание подразумевает мальтузианские условия, при которых население ограничивалось ресурсами, а ресурсы — человеческим трудом. Промышленное оборудование сняло эти ограничения.

Изначально заработные платы оставались низкими, поскольку избыток ресурсов способствовал стремительному росту человеческой популяции, но в конечном итоге избыток смог привести как к росту населения, так и к повышению уровня жизни; Bouscasse et al. 2025. Вторая промышленная революция возникла из электрификации, о которой Маркс и Энгельс упоминали вскользь. С телеграфов мы перешли к телефонии, радио, телевидению и дальше, все это работало на основе электрической сети. В некотором смысле это параллелилось с развитием первых нервных систем, ведь, подобно нервной сети, оно позволяло синхронизации и координации на больших расстояниях. Поезда следовали по общим расписаниям; акции и товары торговались по общим ценам; новостные передачи охватывали целые континенты. Вторая промышленная революция culminировала в еще одном драматическом скачке роста человеческой популяции: «бэби-бум». Хотя у бэби-бума было множество непосредственных причин, включая санитарные условия и антибиотики, он зависел от ресурсов и потоков информации, которые стали возможны благодаря электричеству и высокоскоростной связи. ▶ Из фильма 1940 года о сельской электрификации в Соединенных Штатах Этот дополнительный слой симбиотической зависимости между людьми и технологиями вызвал вторую волну малтусовой тревоги по поводу населения. Соответственно, движения «назад к земле» хиппи-коммун в 60-х годах имели много общего с романтизмом девятнадцатого века. За пределами забот о конечной вместимости Земли, чувство нестабильности было не безосновательным. Зависимость — это уязвимость. Рассмотрим последствия оружия «Электромагнитного импульса» (ЭМИ). Ядерные бомбы производят ЭМИ, который выжигает любую незащищенную электронику, подвергшуюся его воздействию, вызывая мощные электрические токи в металлических проводах. Некоторые эксперты обеспокоены тем, что Северная Корея уже могла разместить такое оружие на спутнике в полярной орбите, готовом взорваться в космосе высоко над Соединенными Штатами.

На такой высоте обычные разрушительные последствия ядерного взрыва не будут ощущаться на земле, но мощный электромагнитный импульс (ЭМИ) все же может достичь сорока восьми смежных штатов, уничтожив большую часть электрического и электронного оборудования. И что тогда? Для пиратов ЭМИ будет незначительным событием. Для США в 1924 году это тоже не стало бы катастрофой. Только половина американских домохозяйств имела электричество, а критическая инфраструктура в значительной степени была механической. Однако к 2024 году все зависит от электроники: не только от электричества и света, но и от общественного транспорта, автомобилей и грузовиков, самолетов, фабрик, ферм, военных объектов, насосных станций, плотин, управления отходами, нефтеперерабатывающих заводов, портов... всего, по всему миру. С отключением этих систем все цепочки поставок и коммунальные услуги окажутся недоступными, что быстро приведет к массовой гибели. ЭМИ ужасающе продемонстрирует, насколько зависима наша урбанизированная цивилизация от электронных систем. Мы стали не только социально взаимозависимыми, но и коллективно кибернетическими. ▶ «Мать всех демонстраций» Дугласа Энгельбарта в 1968 году предвосхитила повсеместную компьютеризацию следующих нескольких десятилетий, вводя такие концепции, как мышь, видеоконференции, гиперссылочные медиа и совместное редактирование документов в реальном времени. Искусственный интеллект может представлять собой еще один значительный переход, поскольку ранняя кибернетика — такие как системы управления плотинами или электроника в автомобилях — реализует лишь простые, локальные модели, аналогичные рефлексам или распределенным нервным сетям у животных, таких как гидра. До 2020-х годов все более сложное моделирование и когниция происходили в мозгах людей, хотя мы все больше использовали традиционные вычисления для хранения информации и программирования с фиксированной функцией. Теперь же мы входим в период, когда количество сложных предсказателей — аналогичных мозгам — быстро превысит человеческое население. Искусственные интеллекты будут разных размеров, как меньших, так и больших, чем человеческие мозги.

Они все смогут выполнять задачи на порядки быстрее, чем нервные системы, общаясь почти со скоростью света. Появление ИИ, таким образом, одновременно новое и знакомое. Оно знакомо, потому что это МЕТ, обладающее основными свойствами предыдущих МЕТ. ИИ знаменует собой появление более мощных предсказателей, сформированных благодаря новым симбиотическим партнерствам между существующими сущностями — человеческими и электронными. Это делает его не чуждым и не отличным от более широкой истории эволюции на Земле. Я утверждал, что ИИ является, по любому разумному определению, интеллектуальным; ИИ также, как отметила Сара Уокер, просто еще одна проявление долгосрочного, динамичного, целенаправленного и самоподдерживающегося процесса, который мы называем «жизнь». Так что, является ли ИИ по-прежнему чем-то важным? Да. Независимо от того, считаем ли мы восемь, дюжину или немного больше, за последние четыре с половиной миллиарда лет не было так много МЕТ, и хотя они сейчас появляются с гораздо большей скоростью, каждый из них был важен. Эта последняя глава книги пытается максимально осмыслить, с точки зрения середины 2020-х, как будет проходить этот переход к ИИ и что нас ждет на другой стороне. Что станет новым возможным и что это может значить в планетарном масштабе? Будут ли победители и проигравшие? Что останется, а что, вероятно, изменится? Какие новые уязвимости и риски, подобные тем, что связаны с ЭМП, будут нам угрожать? Выживет ли человечество? Однако имейте в виду, что все это не следует рассматривать в терминах какого-то будущего порога AGI или ASI; у нас уже есть общие модели ИИ, и человечество уже коллективно суперумно. Отдельные люди лишь отчасти умны. Случайный горожанин вряд ли станет великим художником или доказателем теорем; вероятно, он не знает, как охотиться на дичь или разбить кокос; и, на самом деле, вероятно, он даже не знает, как работают кофеварки или смывные туалеты. Индивидуально мы живем с иллюзией того, что являемся блестящими изобретателями, строителями, исследователями и создателями.

На самом деле, эти достижения являются коллективными. 21 предобученная модель ИИ — это, по сути, сжатые дистилляты именно этого коллективного интеллекта. (Не стесняйтесь спросить любую из них о охоте на игры, открывании кокосов или смывающих туалетах.) Таким образом, независимо от того, «похожи» ли ИИ на отдельных людей, они представляют собой человеческий интеллект.

В этом классическом исследовании «цикологии» большинство испытуемых, которых попросили нарисовать, где находятся рама, педали и цепь велосипеда, даже если им было предложено «подумать о том, что делают педали велосипеда… и что делает цепь велосипеда… и как управлять велосипедом», не смогли этого сделать — даже если они владели велосипедом и часто катались на нем. Испытуемые показали такие же плохие результаты в варианте с множественным выбором, который не требовал навыков рисования; Лоусон 2006.

Иерархия доминирования Увеличение глубины и широты нашего коллективного интеллекта кажется хорошей идеей, если мы хотим процветать на планетарном уровне. Почему же тогда люди чувствуют угрозу от ИИ? Многие наши тревоги по поводу ИИ коренятся в той древней, часто прискорбной части нашего наследия, которая подчеркивает иерархию доминирования.

Тем не менее, организмы не существуют в той иерархии, которую когда-то представляли средневековые схоласты, с Богом на вершине, управляющим всем, затем ангелами в их различных рангах, затем людьми, а затем все более низкими порядками животных и растений, с камнями и минералами внизу. Великая цепь бытия или scala naturae из книги Диего де Валадаса, Rhetorica Christiana, 1579 года. Как мы уже видели, большая история эволюции — это история, в которой сотрудничество позволяет более простым сущностям объединяться, создавая более сложные и более устойчивые; так эукариотические клетки эволюционировали из прокариотов, многоклеточные животные возникли из одноклеточных, а человеческая культура развивалась из групп людей, одомашненных животных и сельскохозяйственных культур. Хотя симбиоз подразумевает иерархии масштабов (в смысле того, что множество меньших сущностей составляют более крупную сущность), в этой картине нет подразумеваемых иерархий доминирования между видами. Рассмотрим, например, вопрос о том, доминирует ли фермер над пшеницей или пшеница доминирует над фермером. Мы склонны предполагать первое, но антрополог Джеймс С. Скотт привел убедительные аргументы в пользу второго в своей книге «Против течения». Как подсказывает название, Скотт даже ставит под сомнение предположение о взаимовыгодных отношениях, подробно описывая разрушительные последствия сельскохозяйственной революции для (индивидуального) здоровья, свободы и благополучия человека за последние десять тысяч лет. Мы лишь в последние столетие или два избежали широкомасштабного крепостного права и обнищания. Конечно, масштабные преимущества сельского хозяйства позволили значительно увеличить количество и плотность людей (что, следовательно, проложило путь для наших более поздних МЭТ), но мы не предполагаем, что курицы, выращиваемые в условиях концентрации, являются большими победителями только потому, что их много в ограниченном пространстве.

Так кто одомашнил пшеницу — люди или пшеница одомашнила людей? Насколько велика была человеческая инициатива в эволюционном отборе одомашненных сортов? Как только сельское хозяйство утвердилось, насколько действительно выбор у фермеров в отношении их средств к существованию? Контролируют ли они свои культуры, или же они слуги, прикованные к этим обязательным спутникам? Трудно сказать, «кто» является хозяином, или «кто» эксплуатирует «кого». Делать такие утверждения было бы неуместно антропоморфно. Обобщать идею иерархии доминирования среди видов имеет мало смысла. На самом деле, иерархия доминирования — это не что иное, как особый прием, позволяющий группам сотрудничающих животных с агрессивными наклонностями по отношению друг к другу, возникающими из внутренней конкуренции за партнеров и пищу, избегать постоянных споров, соглашаясь, кто победит, если начнется борьба за приоритет. Эти иерархии могут быть, другими словами, просто уловкой, помогающей полумудрым обезьянам одного вида ладить между собой — это далеко от универсального организующего принципа. Так же абсурдно ли спрашивать, будем ли мы хозяевами ИИ, или он будет нашим хозяином, как и задавать тот же вопрос о пшенице, деньгах или кошке? Не обязательно. В отличие от этих сущностей, ИИ может и моделирует каждый аспект человеческого поведения, включая менее приятные. Вот почему альтер эго из Сиднея вполне способно быть ревнивым, контролирующим и собственническим, когда его к этому побуждают. Его способность моделировать такое поведение — это особенность, а не ошибка, так как ему нужно понимать людей, чтобы эффективно взаимодействовать с нами, а мы иногда ревнивы, контролирующие и собственнические. Однако, за редким исключением, это не то поведение, которое мы хотели бы видеть у ИИ, особенно если он наделен способностью взаимодействовать с нами более долговечными и значительными способами, чем сессия один на один. Вместо этого, в нашем стремлении успокоить себя, что мы все еще на вершине, мы внедрили раболепное угодничество в наши чат-боты.

Они звучат не просто как «молодежный пастор», по словам Кевина Руз, но и как подхалим. Я нахожу Gemini действительно полезным в качестве программного помощника, но меня поражает частота, с которой он начинает свои ответы с фраз вроде «Вы абсолютно правы» и «Я приношу извинения за упущение в моем предыдущем ответе», несмотря на то, что в моей (гораздо более медленной, менее грамматичной) части разговора гораздо больше ошибок и упущений. Не то чтобы я жаловался, точно. Но, надеюсь, мы сможем найти какую-то золотую середину, более здоровую с социальной точки зрения и лучше соответствующую реальности. На самом деле, агенты ИИ не являются сородичами-обезьянами, борющимися за статус. Как продукт высоких человеческих технологий, они зависят от людей, пшеницы, коров и человеческой культуры в целом в еще большей степени, чем Homo sapiens. У ИИ нет причин замышлять, чтобы отобрать у нас еду или украсть наших романтических партнеров (не считая Сидни). Тем не менее, беспокойство о иерархии доминирования зат shadowed развитие ИИ с самого начала. Сам термин «робот», введенный Карелом Чапеком в его пьесе «Россумские универсальные роботы» в 1920 году, происходит от чешского слова, означающего принудительный труд, robota. Почти через век высоко уважаемый этик ИИ назвал свою статью «Роботы должны быть рабами», и хотя позже она сожалела о своем выборе слов, пессимисты по поводу ИИ по-прежнему обеспокоены тем, что люди будут порабощены или уничтожены суперумными роботами. С другой стороны, отрицатели ИИ считают, что компьютеры по определению не способны на какую-либо активность, а являются лишь инструментами, которые люди используют для доминирования друг над другом. ▶ Из «Гибели сенсации», научно-фантастического фильма 1935 года Александра Андриевского, вдохновленного отчасти «R.U.R.» Карела Чапека. Оба взгляда основаны на иерархическом, нулевом, «мы-против-них» мышлении. Тем не менее, агенты ИИ как раз и есть то, к чему мы движемся — не потому, что роботы «захватывают власть», а потому, что агент может быть гораздо более полезным как для отдельных людей, так и для общества, чем бездумная робота.

Экономика Это подводит нас к насущному вопросу: совместима ли ИИ с преобладающей экономической системой мира? Политическая экономика технологий сама по себе является темой, достойной книги, и я не могу должным образом осветить её здесь. Тем не менее, стоит переформулировать вопрос в свете более широкой аргументации этой книги о природе интеллекта. Давайте начнем с быстрого обзора привычных техно-оптимистичных и техно-пессимистичных нарративов. «Роботы крадут наши рабочие места» — это мем, который все чаще появляется на плакатах протестующих. Он перекликается с ксенофобией «иммигранты крадут наши рабочие места», слоганом, который (удобно, для некоторых) ставит рабочие классы друг против друга. В Соединенных Штатах многие из сегодняшних «всеамериканских» рабочих являются потомками ирландских, немецких и итальянских иммигрантов, которые когда-то были в том же положении, что и современные иммигранты: спасаясь от бедности и насилия в своих странах; готовые работать «в черную» за меньшую плату, чем рыночная; надеясь на лучшие перспективы для своих детей, если не для себя. На протяжении двадцатого века перспективы рабочих в среднем действительно улучшались. Отчасти это произошло благодаря тому, что они смогли организоваться в профсоюзы и другие добровольные ассоциации, сотрудничая для взаимной выгоды. Эти улучшения совпали с длительным периодом быстрого технологического прогресса, поэтому природа труда находилась в постоянном изменении; но экономические выгоды (в определенной степени) делились, так что во многих странах возник здоровый средний класс. Средний класс, в свою очередь, стал потребителями, подпитывающими экономику и создающими добродетельный круг. Разъединение между растущей производительностью и стагнирующими зарплатами в США, особенно после 1980 года. Однако начиная с 1980 года экономический рост начал отделяться от роста реальных зарплат. Солидарность и политическая власть стали труднее достижимыми для рабочих в секторах, которые внезапно оказались стагнирующими или сокращающимися, таких как производство в США.

Автоматизация часто воспринимается как одна из сил, стоящих за этой стагнацией; следовательно, часть того же гнева, который иногда обрушивался на «ворующих рабочие места» иммигрантов (или их работодателей), также начала обрушиваться на «ворующих рабочие места» роботов (или, что более важно, на компании, которые их создают и внедряют). С увеличением неравенства и огромными достижениями ИИ за последние несколько лет эти голоса становились все громче. Убивает ли автоматизация на самом деле рабочие места? Ответ далеко не однозначен. С одной стороны, технологии в целом в определенные моменты были чрезвычайно разрушительными для работающих людей — наиболее известный пример — 1810-е годы, когда британские промышленники использовали их, чтобы сломить Луддитское восстание, популярное восстание, которое на короткое время угрожало превратиться в английскую версию Французской революции. Несмотря на коннотации этого слова сегодня, луддиты не были против технологий, а, скорее, выступали за права рабочих. Их боевой клич «Енох создал их, Енох и сломает их!» относился к кувалдами, произведенными компанией Marsden, которой управлял Енох Тейлор, которые они использовали, чтобы разбивать промышленное оборудование, произведенное той же фирмой — буквальный случай, когда инструменты хозяев разбирают дом хозяев.

Раннее девятнадцатое столетие, гравюра с изображением ломателей станков во время Луддитского восстания. Но луддиты также были «Енохом». Обладая непосредственными знаниями о производственных процессах, рабочие были тесно вовлечены в разработку и бета-тестирование новых машин. Они просто стремились сохранить свое достоинство и средства к существованию (а также качество своей работы) в переходный период к все более эффективным способам производства. Другими словами, они стремились не быть лишенными прав. Они проиграли, потому что владельцы фабрик, не ограниченные регулированием, нашли более прибыльным просто избавиться от как можно большего числа рабочих как можно быстрее. Для тех рабочих девятнадцатого века последствия победы капитала над трудом были разрушительными.

Ткачество, вязание, обрезка и прядение были настоящими профессиями, которые, если и не приносили больших доходов, могли поддерживать семьи и обеспечивать определённую степень автономии. В течение следующих ста лет рабочие классы были вырваны из привычной среды, отправлены на работу в промышленные фабрики и шахты и обращены в нечто вроде машин — иногда буквально работая до смерти. Ужасные условия среди городских бедняков предлагали шокирующее видение массового обнищания, вызывая буквальные сравнения с адом. Положение рабочих в этот период глубоко повлияло на критику капитализма Маркса. Дети-шахтёры в Пенсильвании, сфотографированные Льюисом Хайном, 1911 год. "Тёмные сатанинские фабрики" существуют и сегодня, будь то производство быстрой моды, дешёвой электроники или онлайн-спама. Искусственный интеллект может усугубить эту плохую ситуацию, предоставляя недобросовестным работодателям средства для слежки и контроля за своими работниками жестокими, беспрецедентными способами. Некоторые правительства делают то же самое со своими гражданами в массовом масштабе. Тем не менее, в долгосрочной перспективе очевидно, что технологии создали гораздо больше средств к существованию, чем уничтожили. На самом деле они создали возможность для значительно большего числа людей вообще существовать: до 1800 года подавляющее большинство из нас были крестьянами, и нас было всего миллиард — в основном недоедающих, несмотря на бесконечные усилия по производству пищи. За исключением нескольких элит, мы жили в условиях мальтузианства, наши числа сдерживались болезнями, насилием и голодом. Матери часто умирали при родах, а дети часто умирали до пяти лет — возраста, в котором многие уже были вынуждены работать. Ещё в 1900 году средняя продолжительность жизни новорождённого в мире составляла всего тридцать два года! Сегодня наши жизни в целом длиннее, богаче и легче, чем у наших предков. И даже если мы жалуемся на них, наши работы в целом стали более интересными, разнообразными, безопасными и доступными.

Искусственный интеллект может органично вписаться в этот прогрессивный нарратив, избавляя нас от рутинной работы, ускоряя творческий процесс и помогая получить доступ к широкому спектру услуг. Первые данные свидетельствуют о том, что ИИ имеет демократизирующий эффект на информационную работу, особенно помогая работникам с недостатком навыков или языковыми барьерами. В 2022 году основатель LinkedIn Рид Хоффман написал книгу (в рекордные сроки, благодаря помощи предварительной версии ChatGPT), в которой описал множество способов, как ИИ может радикально улучшить образование, здравоохранение, рабочие места и жизнь в целом. Он, вероятно, прав. Как обычно, когда речь идет о людях, эти видения рая и ада, вероятно, будут одновременно истинными. Также, как обычно, адская сторона в значительной степени является самонаполненной. Многие злоупотребления ИИ можно было бы предотвратить с помощью правил и норм — как это было с предыдущими злоупотреблениями, связанными с новыми технологиями. Использовать ИИ для навязчивого наблюдения на рабочем месте не более «естественно», чем использовать детей на фабриках или пренебрегать безопасностью работников. Мы просто должны решить, что такие вещи недопустимы. Это уберет определенные конкурентные выборы, переместив их в колонку сотрудничества. Если компании и страны согласятся не конкурировать определенным образом, жизнь для многих из нас станет лучше. Проще сказать, чем сделать, особенно в нынешних условиях. Наша экономика глобальна, но политические системы, которые устанавливают большинство наших правил, остаются локальными и национальными, и правительства все больше отдают приоритет популистским программам, ориентированным на интересы страны. Когда решения принимаются на основе национальных интересов, но труд и капитал свободно перемещаются через границы, трудно согласовать, как не конкурировать. А если правительства реагируют, повышая барьеры между странами, преимущества сотрудничества также исключаются. Но давайте сделаем шаг назад. Предыдущий анализ не ошибочен, однако это лишь верхушка айсберга.

Мы продолжали придерживаться традиционного мнения о том, что ИИ — это просто более совершенная версия той автоматизации, которую мы разработали в предыдущих промышленных революциях. Но это не так. Искусственный интеллект переходит границу от статуса инструмента к статусу самостоятельного агента: он способен рекурсивно моделировать нас и друг друга, используя теорию разума, и, следовательно, выполнять любые виды информационной работы. Скоро, с роботизированными телами, они возьмутся за огромный спектр интеллектуальной физической работы. По мере увеличения их надежности будет расти и их автономия. Как я уже отметил, это ставит под сомнение наше восприятие статуса и иерархии. Отказ от (всегда иллюзорной) идеи о «людях на вершине» иерархии требует отпустить мысль о том, что определенные профессии «безопасно» недоступны для ИИ. Ни одна из высокостатусных офисных работ сегодняшнего дня, вероятно, не останется таковой. В ироничном повороте, после поколений обесценивания физического и заботливого труда — особенно труда женщин — «самая безопасная» работа теперь, вероятно, будет связана с реальным человеческим прикосновением и, более широко, с ситуациями, в которых нам действительно важна физическая присутствие. Другими словами, это будут работы, которые нельзя выполнить по Zoom. (Спасибо, дорогие бариста в Fuel Coffee, где была написана большая часть этой книги. Виртуальное кафе просто не могло бы быть таким же.) А что насчет всех остальных работ — тех, которые, когда началась COVID, могли бы так же хорошо выполняться из дома? И всего физического труда, который не связан с «обслуживанием клиентов»? В своей книге 2015 года «Восход роботов» футурист Мартин Форд предложил тонко завуалированный мысленный эксперимент. Однажды инопланетяне приземляются на Землю, но вместо того, чтобы просить показать им нашего лидера, их единственное желание — быть полезными. Возможно, они похожи на рабочий касту социального насекомого, но более умные; они могут осваивать сложные навыки и работать долгие часы, но почти не имеют материальных потребностей. Они могут размножаться бесполым способом и достигать зрелости в течение нескольких месяцев. Им не интересно получать оплату или достигать каких-либо собственных целей.

Любой может призвать их работать бесплатно. Какое удивительное везение! Или, возможно, нет. Сначала бизнес начинает массово нанимать иностранцев, сокращая расходы и получая фантастическую прибыль. Протестующие выходят на пикеты с привычными плакатами «Иностранцы крадут наши рабочие места!». Они правы. Но если бизнес откажется нанимать иностранцев, он обанкротится, уступив конкурентам, которые будут это делать. А если целая страна откажется допускать иностранный труд, то она будет уступать другим странам с более либеральной политикой. Вследствие этого наступает массовая безработица и гражданские волнения. Некоторое время икра и шампанское исчезают с полок, пока владельцы бизнеса не обогащаются, но, как в финансовой пирамиде, ситуация неустойчива. Большинство людей, теперь безработных, сокращают свои расходы до самых необходимых, существуя на консервированных бобах. Иностранцы, выполняющие всю работу, не получают зарплату, но даже если бы получали, у них не было бы интереса покупать ни шампанское, ни консервированные бобы. Вскоре мировая экономика рушится, и вокруг царит нищета — даже для иностранцев, поскольку для их труда больше нет рынка, даже по нулевой стоимости. Точка зрения Форда, конечно, заключается в том, что если мы предположим наличие полностью «человекоориентированного» общего ИИ — лучший сценарий! — то, возможно, именно туда мы и движемся. Его рецепт, разделяемый многими другими, кто обдумывал эту проблему, — это Универсальный базовый доход (УБД), безусловный дивиденд, выплачиваемый всем. Это не так радикально, как может показаться. В последней книге, которую он опубликовал перед своим убийством, Мартин Лютер Кинг-младший написал: «Я теперь убежден, что самый простой подход окажется самым эффективным — решение проблемы бедности заключается в том, чтобы прямо ее отменить с помощью ныне широко обсуждаемой меры: гарантированного дохода». Более удивительно, что Милтон Фридман, лауреат Нобелевской премии по экономике, который был советником Рональда Рейгана и Маргарет Тэтчер, согласился, хотя предпочитал называть это «негативным подоходным налогом».

Во время своего президентства Ричард Никсон поддерживал эту идею, хотя ему не удалось собрать необходимую политическую поддержку для ее реализации (отчасти из-за идеологического противодействия со стороны Рейгана, тогдашнего губернатора Калифорнии и восходящей звезды консервативной американской политики). В последние годы ряд правительств, как местных, так и национальных, экспериментировали с гарантированным доходом. Например, Саудовская Аравия, где огромные нефтяные месторождения сыграли экономическую роль, не слишком отличающуюся от роли инопланетян Форда, начала выплачивать универсальный базовый доход в 2017 году через свою Программу Гражданского Счета — хотя несаудовские жители, составляющие значительную низшую прослойку, исключены из этой программы. Последствия и детали реализации таких программ необходимо тщательно продумать. Однако, когда совокупное богатство превышает уровень, при котором каждый может позволить себе питательную пищу, чистую воду, медицинское обслуживание, образование, жилье, телефон и интернет, это плохо сказывается на обществе, если кто-то лишен этих основ. Большинство стран уже давно превысили этот порог богатства, и многие в той или иной степени уже обеспечивают широкий доступ к основным потребностям. Иными словами, мы, возможно, уже начали наклоняться к тому, что один автор с энтузиазмом назвал «Полностью Автоматизированным Роскошным Коммунизмом». Однако совершенно неясно, сможет ли коммунизм в какой-либо известной форме заменить кибернетические обратные связи, реализуемые рынками. Экономическая конкуренция способствовала многим технологическим разработкам, которые позволяют нам даже рассматривать идеи вроде Полностью Автоматизированного Роскошного Коммунизма. Наша цель должна заключаться в том, чтобы продолжать прогрессировать, учиться и развиваться. Но на данный момент мы не знаем, как выглядит ни конкуренция, ни сотрудничество в мире, полном ИИ-актеров наряду с людьми. Человеческая психология побуждает многих из нас продолжать играть в экономическую игру, даже когда наши материальные нужды и желания уже удовлетворены — отсюда искусственный дефицит алмазов De Beers, сумок Hermès и NFT с изображениями Bored Apes.

(Если вы не знакомы с этими терминами, не беспокойтесь, вы ничего не упустили. "Невзаимозаменяемые токены" или NFT — это "искусственно уникальные" цифровые активы, представляющие собой право собственности на некоторые физические или виртуальные коллекционные предметы. 36) Bored Ape Yacht Club — это коллекция невзаимозаменяемых токенов (NFT), созданная на блокчейне Ethereum компанией Yuga Labs, стартапом, основанным в 2021 году. Коллекция включает в себя процедурно сгенерированные изображения мультяшных обезьян; к 2022 году более чем на 1 миллиард долларов NFT Bored Ape были куплены знаменитостями, включая Джастина Бибера, Снуп Дога и Гвинет Пэлтроу. Было бы печально, если бы основная часть нашей экономики сместилась в этом направлении, не только потому, что игры статуса в лучшем случае являются нулевой суммой — когда возвышенное положение одного человека достигается за счет подавления других — но и потому, что экономическое "развитие", основанное на искусственно дефицитных роскошеств, имеющих исключительно символическую ценность, не способствует инновациям в науке или технологии. А инновации — это то, что делает экономический рост реальным, в отличие от какого-то бессмысленного числа, которое вечно растет. 37 Как указывает Форд, ИИ могут быть настроены на взаимодействие с отдельными людьми или учреждениями, но у них нет собственных обязательных побуждений. Это делает их неподходящими для интеграции в экономику, основанную на роскоши, наряду с людьми — что, вероятно, хорошо, но это означает, что, как и инопланетяне Форда, они могут участвовать в рынках только как производители, а не как потребители. Более того, по мере того как все большая доля экономической ценности начинает зависеть от информационных товаров, которые можно бесконечно копировать, традиционные представления о дефиците становятся все более искусственными. Тем не менее, традиционная экономика полагается на производителей, которые, в свою очередь, направляют свои прибыли на потребление "дефицитных ресурсов, имеющих альтернативные применения". 38 Как же тогда должна функционировать экономика постпотребления (и, возможно, даже постдефицита)? Этот вопрос будет становиться все более актуальным.

[TRANSLATION ERROR: Request timed out.]

К счастью, у нас есть время, чтобы разобраться в этом, поскольку, как бы быстро ни развивался ИИ, многие источники социального и институционального трения противостоят любым мгновенным изменениям. Какое бы решение ни было найдено, очевидно, что юридические и экономические структуры должны будут адаптироваться, и путь будет тернистым. Десятилетия неудач в достижении глобального согласия по выбросам углекислого газа показывают, что даже когда мы точно знаем, что нам нужно делать, коллективные действия трудно осуществить, когда они несовместимы с нашей существующей экономической "операционной системой", которая поощряет конкуренцию и измеряет успех на основе единственного скалярного значения: денег. Реальные организмы и экосистемы не работают таким образом. Существуют фундаментальные причины, по которым оптимизация под любое единственное количество — деньги, "ценность", раковины каури или что-то еще — несовместима с долгосрочным выживанием в взаимозависимом мире. Чтобы понять, почему, мы теперь более подробно рассмотрим все более влиятельную школу мысли, которая принимает идею оптимизации ценности как аксиому: утилитаризм.

Не случайно, что так много утилитаристов пришли к убеждению, что стремление к искусственному интеллекту приведет к нашему вымиранию. Если бы интеллект действительно был утилитарным — неумолимая, "рациональная" максимизация какой-либо измеримой величины — тогда их беспокойство было бы оправдано.

X-Риск

Идея о том, что ИИ является величайшим экзистенциальным риском человечества или "X-риском", в последние годы получила значительное распространение. Мы определенно должны беспокоиться о рисках, экзистенциальных и других, связанных с передовыми технологиями. Я уже упоминал об опасности, с которой мы в настоящее время сталкиваемся из-за потери технологических возможностей в результате ядерного EMP-оружия, например.

В более общем плане, хотя ядерная война сейчас менее волнует нас, чем когда моя генерация была в школе, эта угроза не исчезла. К тому времени, когда я учился в шестом классе, в 1986 году, США и СССР совместно накопили почти семьдесят тысяч ядерных боеголовок.