Вам может показаться, что банк поступил с вами несправедливо. \"Разве это разумно - отказывать мне в кредите, - скажете вы, - только потому, что у меня разрядилась батарея телефона?\" Однако это было бы недоразумением. \"Батарея была не единственной причиной\", - объяснят в банке. \"Это был лишь один из тысячи факторов, которые учитывал наш алгоритм\".

— В целях справедливости. А что замом, это разумно. Главный врач — номенклатура, много согласований. Беготни по начальству. Считай, что операция по внедрению тебя в заместители главного врача уже началась. А про тебя знаешь, что я вспомнил? Ты ведь та самая, с Каширки, я тогда поразился: какая высокая и рыжая!

Ларисино лицо осталось непроницаемым. Кажется, пациент Шнек опять начал заговариваться.

\"Но разве ваш алгоритм не видел, что только дважды за последние десять лет мой банковский счет был переполнен?\"

— Крашеная, наверное?

\"Очевидно, он это заметил\", - могут ответить в банке. \"Посмотрите на страницу 453. За это вы получили 300 баллов. Но все остальные причины снизили ваш суммарный балл до -378\".

— Нет, крашеной была подруга. Полненькая такая брюнеточка, с сиськами. На нее еще Пашка глаз положил. А у той… — Кирилл тоже сел на кровать, рядом с Ларисой. Взгляд у него сделался отсутствующим. — А у той родинка была. На левой груди, звездочкой, возле самого соска.

— Нет у меня родинки. Показать?

Хотя такой способ принятия решений может показаться нам чуждым, у него, безусловно, есть потенциальные преимущества. При принятии решения, как правило, целесообразно учитывать все значимые данные, а не только один или два существенных факта. Конечно, есть много поводов для споров о том, кто определяет значимость информации. Кто решает, следует ли считать релевантными такие вещи, как модель смартфона или цвет кожи, при оформлении кредита? Но как бы мы ни определяли релевантность, способность учитывать больше данных, скорее всего, будет преимуществом. Ведь проблема многих человеческих предрассудков заключается в том, что они фокусируются только на одной или двух точках данных - цвете кожи, инвалидности или половой принадлежности - и игнорируют другую информацию. Банки и другие учреждения все чаще полагаются на алгоритмы при принятии решений именно потому, что алгоритмы могут учитывать гораздо больше данных, чем человек.

И Лариса начала медленно расстегивать халат.

— Не надо. — Кирилл остановил ее руки. — А то меня постигнет разочарование.

Но когда дело доходит до объяснений, это создает потенциально непреодолимое препятствие. Как человеческий разум может проанализировать и оценить решение, принятое на основе такого количества точек данных? Мы можем считать, что Верховный суд штата Висконсин должен был заставить компанию Northpointe раскрыть информацию о том, как алгоритм КОМПАС решил, что Эрик Лумис относится к группе повышенного риска. Но если бы все данные были раскрыты, смог бы Лумис или суд разобраться в них?

Лариса улыбнулась.

— Все очаровываются, а почему ты должен разочароваться? Смотри.

Дело не только в том, что нам нужно учитывать множество точек данных. Возможно, самое главное - мы не можем понять, как алгоритмы находят закономерности в данных и принимают решения о распределении баллов. Даже если мы знаем, что банковский алгоритм снимает определенное количество баллов с людей, которые допускают, чтобы заряд батареи их смартфонов опускался ниже 25 процентов, как мы можем оценить, справедливо ли это? Алгоритм не получал это правило от человека; он пришел к такому выводу, обнаружив закономерность в миллионах предыдущих кредитных заявок. Может ли отдельный клиент-человек просмотреть все эти данные и оценить, действительно ли эта закономерность надежна и беспристрастна?

Кирилл покачал головой, сам застегнул верхние пуговицы Ларисиного халата.

— Пока не надо. Подожди, а вдруг я что-нибудь еще вспомню…

Однако в этом облаке цифр есть и положительная сторона. В то время как неспециалисты могут быть не в состоянии проверить сложные алгоритмы, команда экспертов с помощью собственных инструментов искусственного интеллекта потенциально может оценить справедливость алгоритмических решений даже более надежно, чем кто-либо может оценить справедливость человеческих решений. В конце концов, хотя может показаться, что человеческие решения основываются только на тех нескольких точках данных, которые мы осознаем, на самом деле на наши решения подсознательно влияют тысячи дополнительных точек данных. Не зная об этих подсознательных процессах, когда мы обдумываем свои решения или объясняем их, мы часто используем одномоментные рационализации post hoc того, что происходит на самом деле, когда миллиарды нейронов взаимодействуют внутри нашего мозга. Соответственно, если человеческий судья приговаривает нас к шести годам тюрьмы, как можем мы - или судья - быть уверены, что решение было сформировано только из справедливых соображений, а не из-за подсознательных расовых предубеждений или того, что судья был голоден?

— А может, та твоя рыжая никого не убивала?

— Тогда не убивала. Потом. Нескольких девчонок подозревали, а рыжую особенно, но она исчезла.

В случае с судьями из плоти и крови эта проблема не может быть решена, по крайней мере, с нашими нынешними знаниями о биологии. В отличие от этого, когда решение принимает алгоритм, мы в принципе можем знать каждый из многочисленных соображений алгоритма и точный вес, придаваемый каждому из них. Так, несколько групп экспертов - от Министерства юстиции США до некоммерческого новостного агентства ProPublica - разбирали алгоритм КОМПАС, чтобы оценить его потенциальную предвзятость.46 Такие группы могут использовать не только коллективные усилия многих людей, но и мощь компьютеров. Подобно тому, как часто лучше подставить вора, чтобы поймать вора, так и мы можем использовать один алгоритм для проверки другого.

— Может, ее тоже убили?

— Нет. Она исчезла. А потом в городе случайно кого-то из девчонок встретил. Сказали, что рыжая замуж вышла. Это радует.

В связи с этим возникает вопрос, как мы можем быть уверены в надежности самого алгоритма проверки. В конечном итоге чисто технологического решения этой рекурсивной проблемы не существует. Независимо от того, какую технологию мы разработаем, нам придется поддерживать бюрократические институты, которые будут проверять алгоритмы и давать или отказывать им в одобрении. Такие институты будут объединять возможности людей и компьютеров, чтобы убедиться, что новые алгоритмические инструменты безопасны и справедливы. Без таких институтов, даже если мы примем законы, предоставляющие людям право на объяснение, и даже если мы введем правила против компьютерной предвзятости, кто сможет обеспечить соблюдение этих законов и правил?

— Ну, видишь, как все хорошо закончилось. — Лариса почти по-матерински погладила Кирилла по голове. — Завтра тебя повезут на томограф. А сегодня не мотался бы ты со своими глупостями в поселок. Местных не переделаешь. Как все должно случиться, так и будет. Это я уже поняла.

 

— Пессимизм твой, рыжая, мне непонятен. У тебя-то все классно, как я понимаю. Вон, капитан, говорят, приехал к тебе.

— Приехал, — как-то неопределенно подтвердила Лариса.

— А я, может, и не совсем в форме, но в поселок поеду. Искусство требует жертв.

NOSEDIVE



По случаю визита московского олигарха Серафима затребовала новый халат. Правда, поверх халата накинула своего «любовничка», потому что мерзла и в самые жаркие дни лета.

Чтобы проверить алгоритмы, регулирующие органы должны будут не только анализировать их, но и переводить свои открытия в понятные человеку истории. В противном случае мы никогда не будем доверять регулирующим институтам, а вместо этого будем верить в теории заговора и харизматичных лидеров. Как отмечалось в главе 3, людям всегда было трудно понять бюрократию, потому что бюрократии отклонялись от сценария биологических драм, а у большинства художников не хватало желания или способности изображать бюрократические драмы. Например, в романах, фильмах и сериалах о политике XXI века основное внимание уделяется вражде и любовным связям нескольких влиятельных семей, как будто современные государства управляются так же, как древние племена и королевства. Эта художественная зацикленность на биологических драмах династий заслоняет вполне реальные изменения, происходившие на протяжении веков в динамике власти.

Люба, нарядно одетая, порозовевшая от волнения, накрывала на стол. С самого утра обе жили в режиме напряженного ожидания. Каждые пять минут Люба подбегала к окошку посмотреть, не едет ли Тимур.

Поскольку компьютеры будут все чаще заменять людей-бюрократов и людей-мифотворцев, это снова изменит глубинную структуру власти. Чтобы выжить, демократии нужны не только специальные бюрократические институты, способные тщательно изучить эти новые структуры, но и художники, способные объяснить эти новые структуры в доступной и увлекательной форме. Например, это успешно сделал эпизод \"Nosedive\" в научно-фантастическом сериале \"Черное зеркало\".

— А ну как сегодня не приедет? — Серафима поправила загнувшийся край туго накрахмаленной скатерти.

Выпущенный в 2016 году, в то время, когда мало кто слышал о системах социального кредитования, \"Nosedive\" блестяще объясняет, как работают такие системы и какие угрозы они представляют. Эпизод рассказывает историю женщины по имени Лейси, которая живет со своим братом Райаном, но хочет переехать в собственную квартиру. Чтобы получить скидку на новую квартиру, ей нужно повысить свой социальный кредитный рейтинг с 4,2 до 4,5 (из 5). Дружба с людьми с высоким баллом повышает ваш собственный балл, поэтому Лейси пытается возобновить общение с Наоми, подругой детства, у которой сейчас рейтинг 4,8. Лейси приглашают на свадьбу Наоми, но по дороге туда она проливает кофе на человека с высоким рейтингом, из-за чего ее собственный балл немного падает, что, в свою очередь, заставляет авиакомпанию отказать ей в месте. С этого момента все, что может пойти не так, идет не так, рейтинг Лейси падает, и она оказывается в тюрьме с оценкой меньше 1.

— Приедет, сегодня его день. Этот не пропустит, — Люба посмотрела на свет и протерла очередную рюмку. — Лишь бы не сдрейфил и не убежал.

Наконец послышался гул автомобильного мотора. Люба опять подскочила к окошку. Теперь это был Тимур. На улице он исправно выполнил свой ритуальный номер с развязавшимся шнурком. Потом хлопнула калитка, потом входная дверь.

Эта история опирается на некоторые элементы традиционных биологических драм - \"парень встречает девушку\" (свадьба), соперничество братьев и сестер (напряжение между Лейси и Райаном) и, самое главное, статусное соперничество (главная проблема эпизода). Но настоящим героем и движущей силой сюжета является не Лейси или Наоми, а невоплощенный алгоритм, управляющий системой социальных кредитов. Алгоритм полностью меняет динамику старых биологических драм - особенно динамику статусной конкуренции. Если раньше люди иногда вступали в статусную конкуренцию, но часто имели желанные перерывы в этой крайне стрессовой ситуации, то вездесущий алгоритм социальных кредитов устраняет эти перерывы. \"Nosedive\" - это не избитая история о биологическом соревновании за статус, а скорее прозорливое исследование того, что происходит, когда компьютерные технологии меняют правила статусных соревнований.

— Здравствуйте, девочки! Опа-на! По какому случаю такой королевский прием? Ждем кого-то?

Если бюрократы и художники научатся сотрудничать и если те и другие будут полагаться на помощь компьютеров, возможно, удастся предотвратить превращение компьютерной сети в непостижимую. Пока демократические общества понимают, что такое компьютерная сеть, их механизмы самокоррекции являются нашей лучшей гарантией от злоупотреблений ИИ. Так, в законе ЕС об ИИ, предложенном в 2021 году, системы социального кредитования, подобные той, что используется в фильме \"Nosedive\", названы одним из немногих видов ИИ, которые полностью запрещены, поскольку они могут \"привести к дискриминационным результатам и исключению определенных групп\" и \"нарушить право на достоинство и недискриминацию, а также ценности равенства и справедливости\". Как и в случае режимов тотальной слежки, так и в случае систем социального кредитования тот факт, что они могут быть созданы, не означает, что мы должны их создать.

Серафима молчала, глядя в телевизор, а Люба быстро ответила:

 

— Так тебя и ждем.

ЦИФРОВАЯ АНАРХИЯ

— Вот и правильно. — Тимур подмигнул Любе, потер руки. — Сейчас бабульку отнесем на свежий воздух!

Люба быстро встала между ним и Серафимой.

Новая компьютерная сеть представляет собой последнюю угрозу для демократий. Вместо цифрового тоталитаризма она может привести к цифровой анархии. Децентрализованная природа демократий и их сильные самокорректирующиеся механизмы служат защитой от тоталитаризма, но они также усложняют обеспечение порядка. Чтобы функционировать, демократия должна отвечать двум условиям: она должна обеспечивать свободный общественный диалог по ключевым вопросам и поддерживать минимальный уровень социального порядка и институционального доверия. Свободный разговор не должен скатываться в анархию. Особенно когда речь идет о срочных и важных проблемах, общественные дебаты должны вестись в соответствии с принятыми правилами, и должен существовать легитимный механизм для принятия какого-то окончательного решения, даже если оно не всем нравится.

— Подожди. Разговор есть.

Серафима из-за Любиной спины показала Тимуру тощий кукиш.

До появления газет, радио и других современных информационных технологий ни одному крупному обществу не удавалось сочетать свободные дискуссии с институциональным доверием, поэтому масштабная демократия была невозможна. Теперь, с появлением новых компьютерных сетей, может ли масштабная демократия снова стать невозможной? Одна из трудностей заключается в том, что компьютерная сеть облегчает участие в дебатах. В прошлом такие организации, как газеты, радиостанции и устоявшиеся политические партии, выступали в роли привратников, определяя, кто будет услышан в публичной сфере. Социальные медиа подорвали власть этих привратников, что привело к более открытому, но и более анархичному общественному разговору.

— При свидетелях? — в голосе жениха послышались раздраженные нотки.

Люба еще сильнее заволновалась. Принялась быстро, скороговоркой объяснять:

Когда к обсуждению присоединяются новые группы, они приносят с собой новые точки зрения и интересы и часто ставят под сомнение старый консенсус о том, как вести дискуссию и принимать решения. Правила дискуссии должны быть согласованы заново. Это потенциально позитивное развитие событий, которое может привести к созданию более инклюзивной демократической системы. В конце концов, исправление прежних предубеждений и предоставление возможности ранее лишенным прав людям присоединиться к общественной дискуссии - это жизненно важная часть демократии. Однако в краткосрочной перспективе это создает беспорядки и дисгармонию. Если не будет достигнуто соглашение о том, как вести общественные дебаты и как принимать решения, результатом станет анархия, а не демократия.

— Не мой разговор, а к тебе разговор одного важного человека. Он сейчас отдыхает в нашем санатории. Даже не разговор, а предложение по бизнесу. Он помощник советника Президента РФ.

— А мне ничего от президента РФ не надо, — Тимур развалился на стуле.

Анархический потенциал ИИ вызывает особую тревогу, поскольку он позволяет не только новым человеческим группам вступать в общественные дискуссии. Впервые в истории демократия вынуждена бороться с какофонией нечеловеческих голосов. На многих платформах социальных сетей боты составляют значительное меньшинство участников. Согласно одному из аналитических исследований, из 20 миллионов твитов, созданных во время избирательной кампании в США в 2016 году, 3,8 миллиона твитов (почти 20 процентов) были созданы ботами.

— Может, этот человек поможет тебе с кредитом на новую машину. Сейчас он зайдет к нам. Но я тебя должна предупредить. Он побывал в аварии, и у него появились «сцепленные признаки». Он что думает, то и говорит. Он не может отделить, что прилично говорить, а что неприлично.

К началу 2020-х годов ситуация ухудшилась. Исследование 2020 года показало, что боты создают 43,2 % твитов. Более полное исследование 2022 года, проведенное агентством цифровой разведки Similarweb, показало, что 5 % пользователей Twitter, вероятно, являются ботами, но они создают \"от 20,8 до 29,2 % контента, публикуемого в Twitter\". Когда люди пытаются обсудить такой важный вопрос, как кого выбрать президентом США, что произойдет, если многие из голосов, которые они услышат, будут созданы компьютерами?

— Это как?

— Он увидел Веру и говорит: «Какая замечательная грудь! Хочу потрогать!»

Еще одна тревожная тенденция касается контента. Изначально боты использовались для влияния на общественное мнение за счет огромного объема распространяемых ими сообщений. Они ретвитили или рекомендовали определенный контент, созданный человеком, но сами не могли создавать новые идеи и устанавливать близкие отношения с людьми. Однако новые инструменты генеративного ИИ, такие как ChatGPT, способны именно на это. В исследовании 2023 года, опубликованном в журнале Science Advances, ученые попросили людей и ChatGPT создать как точные, так и намеренно вводящие в заблуждение короткие тексты по таким вопросам, как вакцины, технология 5G, изменение климата и эволюция. Затем эти тексты были представлены семистам людям, которых попросили оценить их достоверность. Люди хорошо распознавали ложь дезинформации, созданной человеком, но склонны были считать дезинформацию, созданную ИИ, достоверной.

— А что Вера?

— Говорит: «Потрогай!» Он же больной! Так что ты не обижайся, если он скажет, чего говорить не положено.

Что же произойдет с демократическими дебатами, когда миллионы, а со временем и миллиарды высокоинтеллектуальных ботов будут не только составлять чрезвычайно убедительные политические манифесты и создавать глубоко фейковые изображения и видео, но и смогут завоевать наше доверие и дружбу? Если я вступаю в политические дебаты с ИИ в режиме онлайн, то пытаться изменить его мнение - пустая трата времени: будучи бессознательной сущностью, он не интересуется политикой и не может голосовать на выборах. Но чем больше я общаюсь с ИИ, тем лучше он меня узнает, а значит, сможет завоевать мое доверие, отточить свои аргументы и постепенно изменить мои взгляды. В борьбе за сердца и умы близость - чрезвычайно мощное оружие. Раньше политические партии могли завладеть нашим вниманием, но им было сложно создать массовую близость. Радиоприемники могли транслировать речь лидера на миллионы, но они не могли подружиться со слушателями. Теперь же политическая партия или даже иностранное правительство могут развернуть целую армию ботов, которые установят дружеские отношения с миллионами граждан и затем используют эту близость, чтобы повлиять на их мировоззрение.

— Это тот самый, который в Москву тебя сманивал?

Люба ответить не успела. В дверях стоял Кирилл.

Наконец, алгоритмы не только присоединяются к дискуссии, но и все чаще ее организуют. Социальные сети позволяют новым группам людей оспаривать старые правила ведения дискуссий. Но переговоры о новых правилах ведутся не людьми. Скорее, как мы уже объясняли в нашем предыдущем анализе алгоритмов социальных сетей, зачастую именно алгоритмы устанавливают правила. В XIX и XX веках, когда медиамагнаты подвергали цензуре одни взгляды и продвигали другие, это могло подорвать демократию, но, по крайней мере, магнаты были людьми, и их решения могли быть подвергнуты демократической проверке. Гораздо опаснее, если мы позволим непостижимым алгоритмам решать, какие взгляды следует распространять.

— Вероятно, тот самый. — Кирилл прошел в комнату. Бросил кожаную папку для документов на диван. Снял пиджак безупречного кроя, повесил его на спинку стула. Поправил узел фирменного галстука. Представился: — Шнек Кирилл Иванович.

Тимур медленно встал. И тут же сел. Кириллу Тимур едва доставал до плеча. Да и замасленная его маечка рядом с белоснежной рубашкой Кирилла выглядела совсем скверно.

Если манипулятивные боты и непостижимые алгоритмы станут доминировать в общественных дискуссиях, это может привести к краху демократических дебатов именно тогда, когда мы больше всего в них нуждаемся. Именно тогда, когда мы должны принимать судьбоносные решения о быстро развивающихся новых технологиях, общественная сфера будет наводнена сгенерированными компьютером фальшивыми новостями, граждане не смогут определить, с кем они ведут дискуссию - с другом-человеком или с манипулятивной машиной, и не смогут прийти к консенсусу относительно самых основных правил обсуждения или самых основных фактов. Такая анархическая информационная сеть не может породить ни истину, ни порядок и не может существовать долго. Если в итоге мы получим анархию, следующим шагом, вероятно, станет установление диктатуры, поскольку люди согласятся обменять свою свободу на некоторую определенность.

— Рахматулин Тимур.

Серафима срочно нацепила на нос очки. Ей хотелось получше рассмотреть знатного московского гостя. Кирилл подошел к Серафиме, поздоровался с ней за руку. Потом оглянулся по сторонам. Взгляд его сделался отрешенным.

 

— Чего она в нем нашла? — ровным счетом ни к кому не обращаясь, поинтересовался Кирилл. — Ни кожи ни рожи. И криволапенький к тому же. А она красавица, умница, спортсменка! Каким видом спорта занимается, я не знаю, надо спросить, когда останемся наедине.

ЗАПРЕТИТЬ БОТОВ

Люба испуганно посмотрела на побагровевшего Тимура, быстро сказала:

— Прошу всех к столу!

Перед лицом угрозы, которую алгоритмы представляют для демократического общения, демократические государства не беспомощны. Они могут и должны принять меры по регулированию ИИ и предотвращению загрязнения нашей инфосферы фальшивыми людьми, распространяющими фальшивые новости. Философ Дэниел Деннетт считает, что мы можем черпать вдохновение из традиционных правил регулирования денежного рынка. С тех пор как были изобретены монеты, а затем и банкноты, всегда существовала техническая возможность их подделки. Подделка представляла собой экзистенциальную опасность для финансовой системы, поскольку подрывала доверие людей к деньгам. Если бы плохие игроки наводнили рынок фальшивыми деньгами, финансовая система рухнула бы. Однако на протяжении тысячелетий финансовой системе удавалось защищать себя, принимая законы, запрещающие подделку денег. В результате лишь относительно небольшой процент денег в обращении был подделан, и доверие людей к ним сохранилось.

Кинулась к холодильнику, достала водку, закуски. Из кухни бегом принесла кастрюлю с дымящейся картошкой.

То, что верно в отношении подделки денег, должно быть верно и в отношении подделки людей. Если правительства принимают решительные меры для защиты доверия к деньгам, то имеет смысл принять столь же решительные меры для защиты доверия к людям. До появления искусственного интеллекта один человек мог выдавать себя за другого, и общество наказывало таких мошенников. Но общество не потрудилось объявить вне закона создание поддельных людей, поскольку технологии для этого не существовало. Теперь, когда ИИ может выдавать себя за человека, это грозит разрушить доверие между людьми и расшатать ткань общества. Поэтому Деннетт предлагает правительствам объявить фальшивых людей вне закона так же решительно, как ранее они объявили вне закона фальшивые деньги.

Кирилл ловко, по-хозяйски, откупорил бутылку. Разлил водку по рюмкам.

Закон должен запрещать не только глубокое подделывание реальных людей - например, создание фальшивого видео с президентом США, - но и любые попытки нечеловеческого агента выдать себя за человека. Если кто-то жалуется, что такие строгие меры нарушают свободу слова, ему следует напомнить, что у ботов нет свободы слова. Запрет людей на публичных площадках - деликатный шаг, и демократические страны должны быть очень осторожны с такой цензурой. Однако запрет ботов - это простой вопрос: он не нарушает ничьих прав, потому что у ботов нет прав.

— За дам! — поднял он первый тост и быстро выпил. Люба, испуганно переводя глаза с Кирилла на Тимура и обратно, только пригубила. Серафима тоже только пригубила. На Тимура она и вовсе не смотрела. А смотрела исключительно на завораживающего своей столичной элегантностью гостя.

Тимур к рюмке даже не притронулся. Мотивировал просто:

Все это не означает, что демократические страны должны запретить всем ботам, алгоритмам и искусственным интеллектам участвовать в любых дискуссиях. Цифровые инструменты могут участвовать во многих дискуссиях, если они не выдают себя за людей. Например, врачи с искусственным интеллектом могут быть очень полезны. Они могут следить за нашим здоровьем двадцать четыре часа в сутки, давать медицинские советы с учетом индивидуальных особенностей здоровья и характера пациента, а также отвечать на наши вопросы с бесконечным терпением. Но ИИ-врач никогда не должен пытаться выдать себя за человека.

— Я за рулем.

Кирилл понимающе кивнул и озвучил второй тост:

Еще одна важная мера, которую могут принять демократические страны, - запретить алгоритмам, не поддающимся контролю, курировать ключевые общественные дискуссии. Мы, конечно, можем продолжать использовать алгоритмы для управления платформами социальных сетей; очевидно, что ни один человек не может этого сделать. Но принципы, по которым алгоритмы решают, какие голоса следует заглушить, а какие усилить, должны проверяться человеческим институтом. Хотя мы должны быть осторожны с цензурой подлинных человеческих взглядов, мы можем запретить алгоритмам намеренно распространять возмущение. По крайней мере, корпорации должны быть прозрачны в отношении принципов курирования, которым следуют их алгоритмы. Если они используют возмущение, чтобы привлечь наше внимание, пусть они четко объяснят свою бизнес-модель и любые политические связи, которые у них могут быть. Если алгоритм систематически удаляет видео, которое не соответствует политической повестке дня компании, пользователи должны знать об этом.

— За родителей! — снова выпил.

Это лишь некоторые из многочисленных предложений, выдвинутых в последние годы, о том, как демократические страны могли бы регулировать участие ботов и алгоритмов в общественных дискуссиях. Естественно, у каждого из них есть свои преимущества и недостатки, и ни одно из них не будет легко реализовать. Кроме того, поскольку технология развивается так быстро, правила, скорее всего, быстро устареют. Я хотел бы подчеркнуть, что демократические страны могут регулировать информационный рынок и что от этого зависит их выживание. Наивный взгляд на информацию выступает против регулирования и считает, что полностью свободный информационный рынок будет спонтанно генерировать истину и порядок. Это совершенно не соответствует реальной истории демократии. Сохранение демократического диалога никогда не было легким делом, и все места, где он происходил - от парламентов и мэрий до газет и радиостанций, - требовали регулирования. Это вдвойне верно в эпоху, когда чужеродная форма интеллекта угрожает доминировать в разговоре.

Люба с Серафимой пригубили. Тимур к рюмке опять не притронулся.

Люба стала поспешно накладывать на тарелку Кирилла картошку, маринованные грибочки, салат. Но, кажется, закуска в планы Кирилла сегодня не входила. Он провозгласил следующий тост:

 

— За присутствующих!

БУДУЩЕЕ ДЕМОКРАТИИ

А спустя минуту:

— За тех, кто в море!

На протяжении большей части истории масштабная демократия была невозможна, потому что информационные технологии не были достаточно развиты для проведения масштабных политических дискуссий. Миллионы людей, разбросанных на десятках тысяч квадратных километров, не имели инструментов для обсуждения общественных дел в режиме реального времени. Теперь, по иронии судьбы, демократия может оказаться невозможной из-за того, что информационные технологии становятся слишком сложными. Если непостижимые алгоритмы возьмут на себя управление беседой, и особенно если они будут подавлять аргументированные споры и разжигать ненависть и смятение, общественное обсуждение невозможно будет поддерживать. Однако если демократия и рухнет, то, скорее всего, не из-за технологической неизбежности, а из-за неспособности людей разумно регулировать новые технологии.

Люба не выдержала:

— Может, пока хватит?

Мы не можем предсказать, как будут развиваться события. Однако уже сейчас очевидно, что информационная сеть многих демократических стран разрушается. Демократы и республиканцы в США больше не могут договориться даже об основных фактах - например, о том, кто победит на президентских выборах 2020 года, - и вряд ли смогут вести вежливую беседу. Двухпартийное сотрудничество в Конгрессе, некогда бывшее основополагающей чертой американской политики, практически исчезло.56 Такие же процессы радикализации происходят во многих других демократических странах, от Филиппин до Бразилии. Когда граждане не могут разговаривать друг с другом, когда они воспринимают друг друга как врагов, а не как политических соперников, демократия становится несостоятельной.

Кирилл послушно кивнул:

— Пока хватит… Перехожу к сути дела. В округе говорят, что у вас, господин Рахматулин Тимур, близкие отношения с Любой.

Никто точно не знает, что является причиной разрушения демократических информационных сетей. Некоторые говорят, что это происходит из-за идеологических разногласий, но на самом деле во многих неблагополучных демократиях идеологические разрывы, похоже, не больше, чем в предыдущих поколениях. В 1960-е годы Соединенные Штаты раздирали глубокие идеологические конфликты, связанные с движением за гражданские права, сексуальной революцией, войной во Вьетнаме и холодной войной. Эти противоречия вызвали всплеск политического насилия и убийств, но республиканцы и демократы все же смогли договориться о результатах выборов, они сохранили общую веру в демократические институты, такие как суд, и смогли работать вместе в Конгрессе, по крайней мере, по некоторым вопросам. Например, Закон о гражданских правах 1964 года был принят в Сенате при поддержке сорока шести демократов и двадцати семи республиканцев. Неужели идеологический разрыв в 2020-х годах настолько больше, чем в 1960-х? И если это не идеология, то что разделяет людей?

— В округе и не такое говорят…

Кирилл на недовольство Любиного жениха внимания не обратил, а продолжал гнуть свою линию:

Многие указывают на алгоритмы социальных сетей. В предыдущих главах мы исследовали разжигающее рознь влияние социальных сетей, но, несмотря на убедительные доказательства, кажется, что здесь должны действовать дополнительные факторы. Правда в том, что, хотя мы можем легко заметить, что демократическая информационная сеть разрушается, мы не знаем, почему. Это само по себе характерно для времени. Информационная сеть стала настолько сложной, настолько опирается на непрозрачные алгоритмические решения и межкомпьютерные сущности, что людям стало очень трудно ответить даже на самые простые политические вопросы: Почему мы воюем друг с другом?

— Дыма без огня не бывает. Значит, она вам нравится. Как порядочный человек и государственный служащий я обязан вас проинформировать, что Люба мне тоже нравится. Она молода, красива, медицинский работник, поэтому не надо будет по каждому пустяку бегать в поликлинику. А какие у нее формы! Даже этот идиот Рахматулин должен понять, что с такими бедрами она выносит хоть дюжину детей, а такой грудью дюжину выкормит. Насчет дюжины я хватил, конечно, но троих детей от нее я бы хотел.

Если мы не сможем понять, что именно сломалось, и исправить это, крупномасштабные демократии могут не пережить рост компьютерных технологий. Если это действительно произойдет, что может заменить демократию в качестве доминирующей политической системы? Принадлежит ли будущее тоталитарным режимам, или компьютеры могут сделать тоталитаризм тоже несостоятельным? Как мы увидим, у человеческих диктаторов есть свои причины бояться искусственного интеллекта.

Тимур пошел пятнами, но смолчал. А Люба, видя, что Кирилл опять наполнил свою рюмку, тихонько попросила:

— Вы, пожалуйста, закусывайте…

 

Но Кирилл Любу уже не слышал. Он поймал кураж, лицо его светилось подлинным вдохновением. Серафима смотрела на него, не скрывая обожания.

ГЛАВА 10.

— Перехожу к конкретным предложениям. Если в ближайшее время в ваши планы не входит женитьба на Любе, то, с вашего разрешения, это сделал бы я. — В этом месте Серафима тихо ахнула и закивала согласно. — Я вас об этом честно предупреждаю, чтобы вы потом на меня не жаловались как на государственного служащего. Я слышал, что вы не хотите, чтобы Люба училась дальше. А я рад, что она хочет учиться, потому что самое выгодное помещение денег — это помещение денег в образование детей, а еще лучше в образование молодых жен. — Тут Кирилл снова обратился к кому-то в пространстве: — Этот придурок явно не понимает, о чем я говорю.



— Этот придурок понимает, — мрачно заметил Тимур.

Тоталитаризм: Вся власть алгоритмам?

— Тогда пусть отвечает.

— И не подумаю.

 

— Почему? — искренне удивился Кирилл.

Российские дискуссии об этике и политике новой компьютерной сети часто фокусируются на судьбе демократических государств. Если и упоминаются авторитарные и тоталитарные режимы, то в основном как антиутопия, к которой \"мы\" можем прийти, если не сумеем разумно управлять компьютерной сетью. Однако по состоянию на 2024 год более половины \"нас\" уже живут в авторитарных или тоталитарных режимах, многие из которых были установлены задолго до появления компьютерной сети. Чтобы понять влияние алгоритмов и ИИ на человечество, мы должны спросить себя, каким будет их воздействие не только на такие демократические страны, как США и Бразилия, но и на Коммунистическую партию Китая и королевский дом Сауда.

— По кочану, — Тимур был немногословен.

Поскольку ответ Кириллу не понравился, он встал для дальнейших уточнений. Люба и Серафима испуганно зажмурились: слишком уж разные весовые категории были у Кирилла и Тимура. Но тут Кирилл пошатнулся. Люба едва успела подставить ему свое хрупкое плечо.

Как уже говорилось в предыдущих главах, информационные технологии, доступные в досовременные эпохи, делали невозможными как масштабную демократию, так и масштабный тоталитаризм. Такие крупные государства, как китайская империя Хань и саудовский эмират Дирия XVIII века, обычно были ограниченными автократиями. В двадцатом веке новые информационные технологии позволили подняться как крупномасштабной демократии, так и крупномасштабному тоталитаризму, но тоталитаризм страдал от серьезного недостатка. Тоталитаризм стремится направить всю информацию в один центр и обрабатывать ее там. Такие технологии, как телеграф, телефон, пишущая машинка и радио, способствовали централизации информации, но они не могли сами обрабатывать ее и принимать решения. Это по-прежнему могли делать только люди.

— Ну зачем же вы столько пьете с ушибленной головой-то? — Люба чуть не плакала.

Кирилл собрался с мыслями и взял направление на диван.

Чем больше информации поступало в центр, тем сложнее было ее обрабатывать. Тоталитарные правители и партии часто совершали дорогостоящие ошибки, а система не имела механизмов для их выявления и исправления. Демократический способ распределения информации и полномочий на принятие решений между многими институтами и людьми работал лучше. Он гораздо эффективнее справлялся с потоком данных, а если один институт принимал неверное решение, его могли исправить другие.

— Извините. Я немного перебрал. Можно я полежу?

Однако развитие алгоритмов машинного обучения может оказаться именно тем, чего ждали Сталины всего мира. ИИ может склонить технологический баланс сил в пользу тоталитаризма. Ведь если наводнение людей данными приводит к их перегрузке и, как следствие, к ошибкам, то наводнение ИИ данными, как правило, делает его более эффективным. Следовательно, ИИ, похоже, будет способствовать концентрации информации и принятию решений в одном месте.

Серафима жалостливо запричитала из своего кресла:

Даже в демократических странах несколько корпораций, таких как Google, Facebook и Amazon, стали монополистами в своих областях, отчасти потому, что искусственный интеллект перевесил баланс в пользу гигантов. В традиционных отраслях, таких как рестораны, размер не является подавляющим преимуществом. McDonald\'s - это всемирная сеть, которая кормит более пятидесяти миллионов человек в день, и ее размер дает ей множество преимуществ с точки зрения затрат, брендинга и так далее. Тем не менее, вы можете открыть районный ресторан, который сможет достойно противостоять местному McDonald\'s. Даже если ваш ресторан будет обслуживать всего двести клиентов в день, у вас все равно есть шанс приготовить лучшую еду, чем в McDonald\'s, и завоевать лояльность более счастливых клиентов.

— Полежи, полежи, миленький!

Тимур нахмурился, с шумом отодвинул стул.

На информационном рынке все происходит иначе. Поисковой системой Google ежедневно пользуются от двух до трех миллиардов человек, совершая 8,5 миллиарда поисковых запросов. Предположим, что местная начинающая поисковая система пытается конкурировать с Google. У него нет ни единого шанса. Поскольку Google уже пользуются миллиарды людей, в его распоряжении гораздо больше данных, и он может обучить гораздо более совершенные алгоритмы, которые привлекут еще больше трафика, который будет использован для обучения следующего поколения алгоритмов, и так далее. Таким образом, в 2023 году Google будет контролировать 91,5 % мирового поискового рынка.

— Не надо ему лежать. Я его отвезу.

Или возьмем генетику. Предположим, несколько компаний в разных странах пытаются разработать алгоритм, который выявляет связь между генами и медицинскими заболеваниями. Население Новой Зеландии составляет 5 миллионов человек, и правила конфиденциальности ограничивают доступ к их генетическим и медицинским записям. В Китае проживает около 1,4 миллиарда человек, а правила конфиденциальности более мягкие. Как вы думаете, у кого больше шансов разработать генетический алгоритм? Если Бразилия затем захочет приобрести генетический алгоритм для своей системы здравоохранения, у нее будет сильный стимул выбрать гораздо более точный китайский алгоритм, чем новозеландский. А если китайский алгоритм будет оттачиваться на более чем 200 миллионах бразильцев, он станет еще лучше. Это побудит еще больше стран выбрать китайский алгоритм. Вскоре большая часть мировой медицинской информации будет стекаться в Китай, что сделает его генетический алгоритм непревзойденным.

Он сунул в руки Кириллу папочку и пиджак и почти на себе выволок его на улицу. Там он с трудом усадил Кирилла в кабину грузовика, завел двигатель, прислушался к его работе. Наконец машина тронулась.



Попытка сосредоточить всю информацию и власть в одном месте, которая была ахиллесовой пятой тоталитарных режимов XX века, может стать решающим преимуществом в эпоху ИИ. В то же время, как отмечалось в предыдущей главе, ИИ может также сделать возможным для тоталитарных режимов создание систем тотальной слежки, которые сделают сопротивление практически невозможным.

С минуту ехали молча. Можно было подумать, что Кирилл задремал. Вдруг совершенно отчетливо он произнес:

— Третий цилиндр. Свечи надо менять. И сцепление на соплях.

Некоторые считают, что блокчейн может стать технологической защитой от подобных тоталитарных тенденций, поскольку блокчейн по своей сути дружелюбен к демократии и враждебен к тоталитаризму. В системе блокчейн решения требуют одобрения 51 процента пользователей. Звучит демократично, но у технологии блокчейн есть фатальный недостаток. Проблема заключается в слове \"пользователи\". Если у одного человека есть десять аккаунтов, он считается десятью пользователями. Если правительство контролирует 51 процент аккаунтов, то оно составляет 51 процент пользователей. Уже есть примеры блокчейн-сетей, в которых правительство составляет 51 процент пользователей.

Тимур уже вырулил за село и теперь мчал на большой скорости по довольно ухабистой дороге. Кирилла сильно мотало из стороны в сторону.

— Ты и в этом понимаешь вроде?

А когда правительство имеет 51 процент пользователей в блокчейне, это дает ему контроль не только над настоящим, но даже над прошлым цепочки. Автократы всегда хотели иметь возможность изменять прошлое. Римские императоры, например, часто занимались практикой damnatio memoriae - изгнанием памяти соперников и врагов. После того как император Каракалла убил своего брата и конкурента за трон, Гету, он попытался стереть память о последнем. Надписи с именем Геты выбивались, монеты с его изображением переплавлялись, а само упоминание имени Геты каралось смертью. Одна из сохранившихся картин того времени, Severan Tondo, была сделана во время правления их отца - Септимия Северуса, и первоначально на ней были изображены оба брата вместе с Септимием и их матерью, Юлией Домной. Но позже кто-то не только стер лицо Геты, но и размазал по нему экскременты. Экспертиза выявила крошечные кусочки сухого дерьма на месте, где должно было быть лицо Геты.

Кирилла очередной раз подбросило. Чертыхнувшись, он ухватился руками за дверцу.

— Я понимающий. Ты давно в наших краях?

Современные тоталитарные режимы так же любят изменять прошлое. После прихода к власти Сталин приложил максимум усилий, чтобы вычеркнуть Троцкого - архитектора большевистской революции и основателя Красной армии - из всех исторических записей. Во время сталинского Большого террора 1937-39 годов, когда такие выдающиеся люди, как Николай Бухарин и маршал Михаил Тухачевский, подвергались чистке и казни, свидетельства их существования стирались из книг, научных работ, фотографий и картин. Такая степень стирания требовала огромных ручных усилий. С блокчейном изменить прошлое будет гораздо проще. Правительство, контролирующее 51 процент пользователей, может исчезнуть из истории одним нажатием кнопки.

Тимур усмехнулся.

— Эти края такие же наши, как и ваши.

 

Кирилл замотал головой отрицательно. Отпустил руку, и его опять здорово подбросило.

ТЮРЬМА БОТ

— Ничего подобного. Татары до Пскова не дошли.

Тимур присвистнул и поехал еще быстрее.

Хотя существует множество способов, с помощью которых ИИ может укрепить центральную власть, у авторитарных и тоталитарных режимов есть свои проблемы с этим. Прежде всего, диктаторским режимам не хватает опыта в контроле над неорганическими агентами. Основа любой деспотической информационной сети - террор. Но компьютеры не боятся ни тюрьмы, ни смерти. Если чатбот в российском интернете упоминает о военных преступлениях российских войск в Украине, рассказывает непочтительную шутку о Владимире Путине или критикует коррупцию в путинской партии \"Единая Россия\", что может сделать с ним путинский режим? Сотрудники ФСБ не могут посадить его в тюрьму, пытать или угрожать его семье. Конечно, правительство может заблокировать или удалить его, а также попытаться найти и наказать его создателей-людей, но это гораздо более сложная задача, чем наказывать пользователей-людей.

— Вы были под нашим игом триста лет, и мы за триста лет не дошли до Пскова? Смешно!

Кирилл протестующе махнул свободной рукой. Ответил на удивление членораздельно:

В те времена, когда компьютеры не могли самостоятельно генерировать контент и вести интеллектуальную беседу, выразить свое особое мнение на российских каналах социальных сетей, таких как \"ВКонтакте\" и \"Одноклассники\", мог только человек. Если этот человек физически находился в России, он рисковал навлечь на себя гнев российских властей. Если он физически находился за пределами России, власти могли попытаться заблокировать его доступ. Но что произойдет, если российское киберпространство заполнят миллионы ботов, которые смогут генерировать контент и вести диалоги, самостоятельно обучаясь и развиваясь? Эти боты могут быть запрограммированы российскими диссидентами или иностранными игроками на намеренное распространение неортодоксальных взглядов, и власти не смогут этому помешать. Хуже того, с точки зрения путинского режима, что произойдет, если авторизованные боты будут постепенно сами развивать инакомыслие, просто собирая информацию о происходящем в России и подмечая в ней закономерности?

— Современная история ига не подтверждает. Да, мы, чтобы не содержать огромную армию, сам знаешь, какие у нас обширные территории, — и Кирилл для наглядности все той же свободной рукой обвел бескрайние поля, холмы и леса, через которые они ехали, — …так вот, мы нанимали татар для охраны.

— Для охраны? А кто ясак нам платил?

Это проблема выравнивания в российском стиле. Российские инженеры могут сделать все возможное, чтобы создать ИИ, полностью соответствующий режиму, но, учитывая способность ИИ самостоятельно обучаться и изменяться, как инженеры могут гарантировать, что ИИ никогда не отклонится на незаконную территорию? Особенно интересно отметить, что, как объяснял Джордж Оруэлл в романе \"Девятнадцать восемьдесят четыре\", тоталитарные информационные сети часто опираются на двусмысленную речь. Россия - авторитарное государство, претендующее на демократию. Российское вторжение на Украину стало крупнейшей войной в Европе с 1945 года, однако официально оно определяется как \"специальная военная операция\", а упоминание о нем как о \"войне\" стало уголовным преступлением и карается тюремным сроком до трех лет или штрафом в размере до пятидесяти тысяч рублей.

Похоже, быстрая езда по ухабам здорово обострила у обоих историческую память.

— За армию всегда приходится платить. И сейчас нам родная армия дорого обходится. — На лице Кирилла была написана крайняя степень недоумения: как это можно таких очевидных вещей не понимать?

Конституция России дает грандиозные обещания о том, что \"каждому гарантируется свобода мысли и слова\" (статья 29.1), что \"каждый имеет право свободно искать, получать, передавать, производить и распространять информацию\" (29.4) и что \"свобода массовой информации гарантируется. Цензура запрещается\" (29.5). Вряд ли кто-то из российских граждан настолько наивен, чтобы принять эти обещания за чистую монету. Но компьютеры плохо понимают двусмысленную речь. Чатбот, которому предписано придерживаться российских законов и ценностей, может прочитать эту конституцию и сделать вывод, что свобода слова - одна из основных российских ценностей. Затем, проведя несколько дней в российском киберпространстве и наблюдая за тем, что происходит в российской информационной сфере, чатбот может начать критиковать режим Путина за нарушение основной российской ценности - свободы слова. Люди тоже замечают подобные противоречия, но избегают указывать на них из-за страха. Но что может помешать чатботу выявить проклятые закономерности? И как российские инженеры могут объяснить чатботу, что, хотя Конституция РФ гарантирует всем гражданам свободу слова и запрещает цензуру, чатбот не должен верить в Конституцию и никогда не должен упоминать о разрыве между теорией и реальностью? Как сказал мне украинский гид в Чернобыле, люди в тоталитарных странах растут с мыслью, что вопросы приводят к беде. Но если вы обучите алгоритм по принципу \"вопросы приводят к беде\", как он будет учиться и развиваться?

— Да вы без нас, татар, ни одной битвы не выиграли! Если бы не татарская конница, ты думаешь, Александр Невский осилил бы немцев на Чудском озере? У вас же в основном пехота была. А сколько раз мы Москву поджигали, когда вы дань задерживали!

И наконец, если правительство принимает какую-то катастрофическую политику, а потом передумывает, оно обычно прикрывается тем, что сваливает вину за катастрофу на кого-то другого. Люди с трудом учатся забывать факты, которые могут доставить им неприятности. Но как научить чатбота забывать о том, что политика, которую сегодня очерняют, была официальной всего год назад? Это серьезный технологический вызов, с которым диктаторским режимам будет трудно справиться, особенно по мере того, как чатботы будут становиться все более мощными и непрозрачными.

— Да. Вы несколько раз Москву поджигали. А мы Казань один раз взяли и уже несколько столетий…

— …не знаете, что с ней делать. — Тимур резко затормозил в километре от арки с надписью «Санаторий „Удельное“». — Всё. Приехали. — И выскочил из машины.

Конечно, демократические страны сталкиваются с аналогичными проблемами, когда чат-боты говорят нежелательные вещи или поднимают опасные вопросы. Что произойдет, если, несмотря на все усилия инженеров Microsoft или Facebook, их чат-бот начнет изрыгать расистские оскорбления? Преимущество демократических стран в том, что у них гораздо больше свободы действий в борьбе с такими недобросовестными алгоритмами. Поскольку демократические страны серьезно относятся к свободе слова, у них гораздо меньше скелетов в шкафу, и они выработали относительно высокий уровень терпимости даже к антидемократическим высказываниям. Боты-диссиденты станут гораздо более серьезным вызовом для тоталитарных режимов, у которых в шкафах целые кладбища и нулевая терпимость к критике.

Дверца открылась, и Кирилл буквально вывалился из кабины прямо в не слишком приветливые объятия Тимура. Они стояли посреди дороги, слегка покачиваясь: Кирилл под собственной тяжестью, Тимур — под тяжестью Кирилла. Потом Тимуру это вынужденное братание надоело, и он Кирилла легонько от себя оттолкнул. Тот мягко осел своими дорогими брюками прямо в пыль. Укоризненно покачал головой:

 

— Нехорошо так поступать с пьяным, а следовательно, беспомощным человеком.

АЛГОРИТМИЧЕСКОЕ ПОГЛОЩЕНИЕ

Тимур равнодушно наблюдал, как Кирилл пытается подняться.

— А не надо пить на войне.

В долгосрочной перспективе тоталитарные режимы могут столкнуться с еще большей опасностью: вместо того чтобы критиковать их, алгоритм может получить над ними контроль. На протяжении всей истории человечества наибольшую угрозу для автократов обычно представляли их собственные подчиненные. Как отмечалось в главе 4, ни один римский император или советский премьер не был свергнут в результате демократической революции, но им всегда угрожала опасность быть свергнутыми или превращенными в марионеток своими собственными подчиненными. Если автократ XXI века отдаст компьютерам слишком много власти, тот может стать его марионеткой. Последнее, чего хочет диктатор, - это создать нечто более могущественное, чем он сам, или силу, которую он не знает, как контролировать.

— Мы разве уже в состоянии войны?

— А как ты думал? Ты хочешь увести мою женщину. Значит, вступил со мной в войну.

Чтобы проиллюстрировать эту мысль, позвольте мне использовать, по общему признанию, необычный мысленный эксперимент, тоталитарный эквивалент апокалипсиса Бострома с бумажными скрепками. Представьте себе, что на дворе 2050 год, и Великого Лидера в четыре утра будит срочный звонок от Алгоритма наблюдения и безопасности. \"Великий лидер, у нас чрезвычайная ситуация. Я проанализировал триллионы точек данных, и картина безошибочна: министр обороны планирует убить вас утром и захватить власть. Отряд киллеров уже готов и ждет его команды. Отдайте мне приказ, и я ликвидирую его точным ударом\".

Кирилл наконец-то встал на ноги. Поднял с земли пиджак и кожаную папку. Подивился их жалкому виду. Уставил на Тимура смеющиеся и почему-то совершенно трезвые глаза.

\"Но министр обороны - мой самый верный сторонник\", - говорит Великий Вождь. \"Только вчера он сказал мне...\"

— Воевать так воевать! Десант не отступает.

Оказавшись в позиции, когда смотреть на Кирилла опять приходилось снизу вверх, Тимур чувствовал себя менее уверенно.

\"Великий вождь, я знаю, что он тебе сказал. Я все слышал. Но я также знаю, что он сказал после этого отряду убийц. И вот уже несколько месяцев я улавливаю в этих данных тревожные закономерности\".

— Ты в десанте служил?

\"Вы уверены, что вас не обманули с помощью фальшивок?\"

— Старший лейтенант. Командир взвода.

\"Боюсь, что данные, на которые я опирался, на сто процентов подлинные\", - говорит алгоритм. \"Я проверил их с помощью своего специального алгоритма, выявляющего глубокие подделки. Я могу объяснить, как именно мы узнали, что это не глубокая подделка, но это займет у нас пару недель. Я не хотел предупреждать вас прежде, чем буду уверен, но все данные сходятся к неизбежному выводу: готовится переворот. Если мы не примем меры сейчас, убийцы будут здесь через час. Но отдайте мне приказ, и я ликвидирую предателя\".

Тимур ухмыльнулся тонким ртом. Все же его взяла.

— А я капитан. Командир танковый роты.

Наделив алгоритм наблюдения и безопасности столь широкими полномочиями, Великий Лидер поставил себя в безвыходную ситуацию. Если он не доверяет алгоритму, то может быть убит министром обороны, но если он доверяет алгоритму и убирает министра обороны, то становится марионеткой алгоритма. Если кто-то попытается сделать шаг против алгоритма, алгоритм точно знает, как манипулировать Великим Лидером. Обратите внимание, что алгоритм не обязательно должен быть сознательной сущностью, чтобы участвовать в таких маневрах. Как показывает мысленный эксперимент Бострома со скрепкой и как продемонстрировал в небольшом масштабе GPT-4, солгавший работнику TaskRabbit, бессознательный алгоритм может стремиться к накоплению власти и манипулированию людьми, даже не имея никаких человеческих побуждений, таких как жадность или эгоизм.

Кирилл рассмеялся и шутливо взял под козырек:

— Встретимся на поле боя! — И, перекинув пиджак через плечо, двинулся в сторону санатория.

Если алгоритмы когда-нибудь разовьют способности, подобные тем, что описаны в мысленном эксперименте, диктатуры будут гораздо более уязвимы для алгоритмического захвата власти, чем демократии. Даже супермакиавеллистскому ИИ будет сложно захватить власть в распределенной демократической системе, такой как Соединенные Штаты. Даже если ИИ научится манипулировать президентом США, он может столкнуться с противодействием со стороны Конгресса, Верховного суда, губернаторов штатов, СМИ, крупных корпораций и различных неправительственных организаций. Как, например, алгоритм справится с филигранным голосованием в Сенате?



Захватить власть в высокоцентрализованной системе гораздо проще. Когда вся власть сосредоточена в руках одного человека, тот, кто контролирует доступ к автократу, может управлять им и всем государством. Чтобы взломать систему, нужно научиться манипулировать только одним человеком. Архетипичный пример - как римский император Тиберий стал марионеткой Луция Аэлия Сеянуса, командира преторианской гвардии.

Охранник Степан только руками развел, пробормотал удивленно: «Совсем в лоскуты пьяные!» От московского начальства он такого явно не ожидал. Тем более среди белого дня.

Под недоумевающими, сочувствующими и удивленными взглядами отдыхающих и персонала Кирилл шел к своей палате и при этом не забывал учтиво раскланиваться направо и налево.

Изначально преторианцы были созданы Августом как небольшая императорская телохранительница. Август назначил двух префектов командовать телохранителями, чтобы ни один из них не мог получить слишком большую власть над ним. Тиберий, однако, был не столь мудр. Его паранойя была его самой большой слабостью. Сеянус, один из двух преторианских префектов, искусно играл на страхах Тиберия. Он постоянно раскрывал предполагаемые заговоры с целью убийства Тиберия, многие из которых были чистейшей фантазией. Подозрительный император все больше не доверял всем, кроме Сеянуса. Он сделал Сеянуса единственным префектом преторианской гвардии, расширил ее до двенадцатитысячной армии и дал людям Сеянуса дополнительные функции по охране порядка и управлению городом Римом. Наконец, Сеянус убедил Тиберия переехать из столицы на Капри, аргументируя это тем, что на маленьком острове защищать императора будет гораздо проще, чем в переполненном людьми мегаполисе, где полно предателей и шпионов. На самом деле, объяснял римский историк Тацит, целью Сеянуса был контроль над всей информацией, поступающей к императору: \"Доступ к императору должен был находиться под его контролем, и письма, по большей части передаваемые солдатами, должны были проходить через его руки\".

В палате Кирилл сбросил дорогие и совершенно потерявшие вид брюки и пиджак. Долго стоял под контрастным душем, приходил в себя. Вышел, обернутый вокруг бедер в махровое полотенце. Поинтересовался у своего отражения в зеркале: «И какого же черта?» Достал из чемодана тюбик с лекарством. Растворил воде какую-то шипучую таблетку. Выпил. Потом улегся на кровать поверх одеяла. Надо прийти в форму: на повестке дня стояло еще одно мероприятие. Теперь по устройству личной жизни еще одной ночной сестры, кареглазой красавицы Маруси.

Когда преторианцы контролировали Рим, Тиберий был изолирован на Капри, а Сеянус контролировал всю информацию, поступавшую к Тиберию, преторианский полководец стал настоящим правителем империи. Сеянус очищал всех, кто мог ему противостоять, включая членов императорской семьи, ложно обвиняя их в измене. Поскольку никто не мог связаться с императором без разрешения Сеянуса, Тиберий превратился в марионетку.

В голове значительно просветлело. Кирилл лежал и мысленно прокручивал события полуторачасовой давности. Конечно, с этим Батыем, или Мамаем, — или на кого там больше смахивал воинственный Тимур Рахматулин — получилось все и не слишком складно, но, может, он теперь одумается? Такую девушку у него из-под носа уводят! Должна же быть на это нормальная мужская реакция: не отдам!

В конце концов кто-то - возможно, невестка Тиберия Антония - обнаружил брешь в информационном кордоне Сеянуса. Императору было тайно доставлено письмо, в котором он объяснил, что происходит. Но к тому времени, когда Тиберий осознал опасность и решил избавиться от Сеянуса, он был почти беспомощен. Как он мог свергнуть человека, который контролировал не только телохранителей, но и все коммуникации с внешним миром? Если бы он попытался что-то предпринять, Сеянус мог бы заточить его на Капри на неопределенный срок и сообщить сенату и армии, что император слишком болен, чтобы куда-то ехать.

Ответ на свой вопрос Кирилл получил ровно через час, когда раздался осторожный стук в дверь и в палату вошел Мишка. Вот кого Кирилл совсем не ожидал видеть: только завтра к вечеру машина должна быть готова.

Тем не менее Тиберию удалось переломить ход событий. По мере того как Сеянус рос в могуществе и был поглощен управлением империей, он потерял связь с повседневными мелочами, связанными с аппаратом безопасности Рима. Тиберию удалось тайно заручиться поддержкой Невия Сутория Макро, командира римской пожарной команды и ночной стражи. Макро организовал переворот против Сеяна, и в награду Тиберий сделал Макро новым командиром преторианской гвардии. Через несколько лет Макро убил Тиберия.

Мишка топтался у дверей, теребил в руках засаленную кепочку. Маленькие его бесцветные глаза упорно избегали взгляда Кирилла.



— Тут такое дело…

Власть находится в узле, где сливаются информационные каналы. Поскольку Тиберий позволил информационным каналам слиться в лице Сеянуса, тот стал истинным центром власти, а Тиберий превратился в марионетку.

— Да ты проходи, Мишаня! — Кирилл приглашающе махнул рукой. Он поднялся с кровати, достал из шкафа джинсы, темно-синюю рубашку. Начал одеваться. Голова уже совсем не кружилась.

Судьба Тиберия указывает на хрупкое равновесие, к которому должны стремиться все диктаторы. Они пытаются сосредоточить всю информацию в одном месте, но при этом должны следить за тем, чтобы различные информационные каналы сливались только в их собственной персоне. Если же информационные каналы сливаются в другом месте, то именно оно становится истинным узлом власти. Когда режим опирается на таких людей, как Седжанус и Макро, умелый диктатор может играть ими друг против друга, чтобы оставаться на вершине. Сталинские чистки были именно этим. Когда же режим опирается на мощный, но непостижимый ИИ, который собирает и анализирует всю информацию, диктатор-человек рискует потерять всю власть. Он может оставаться в столице, но при этом быть изолированным на цифровом острове, контролируемым и манипулируемым ИИ.

 

Мишка уселся, повесив на спинку стула авоську, из которой торчала двухлитровая пластиковая бутылка пива и завернутый в газету лещ. В глаза Кириллу он по-прежнему не смотрел. Повторил:

ДИЛЕММА ДИКТАТОРА

— Тут такое дело… Можешь вечером трогаться. Машина будет готова. А я тебе тут поправиться принес.

В ближайшие несколько лет диктаторы нашего мира столкнутся с более насущными проблемами, чем алгоритмический захват власти. Ни одна из существующих систем ИИ не способна манипулировать режимами в таких масштабах. Однако тоталитарные системы уже находятся в опасности, поскольку слишком доверяют алгоритмам. В то время как демократические государства предполагают, что все люди ошибаются, в тоталитарных режимах основополагающим является предположение, что правящая партия или верховный лидер всегда правы. Режимы, основанные на этом предположении, вынуждены верить в существование непогрешимого интеллекта и не желают создавать мощные самокорректирующиеся механизмы, которые могли бы контролировать и регулировать гения на самом верху.

Он мотнул головой на авоську.

До сих пор такие режимы возлагали свою веру на человеческие партии и лидеров и были рассадниками культов личности. Но в XXI веке эта тоталитарная традиция готовит их к ожиданию непогрешимости ИИ. Системы, способные поверить в безупречный гений Муссолини, Чаушеску или Хомейни, готовы поверить и в безупречный гений сверхразумного компьютера. Это может привести к катастрофическим последствиям для их граждан, а в перспективе и для всего остального мира. Что произойдет, если алгоритм, отвечающий за экологическую политику, допустит большую ошибку, а механизмов самокоррекции, способных выявить и исправить ее, не существует? Что произойдет, если алгоритм, управляющий государственной системой социального кредитования, начнет терроризировать не только население, но даже членов правящей партии и одновременно навешивать ярлык \"враг народа\" на всех, кто подвергает сомнению его политику?

Кирилл подсел к столу.

Диктаторы всегда страдали от слабости механизмов самокоррекции и всегда подвергались угрозе со стороны могущественных подчиненных. Возникновение искусственного интеллекта может значительно усугубить эти проблемы. Таким образом, компьютерная сеть ставит диктаторов перед мучительной дилеммой. Они могут решить вырваться из лап своих подчиненных, доверившись якобы непогрешимой технологии, и в этом случае они могут стать ее марионеткой. Или же они могут создать человеческий институт для надзора за ИИ, но этот институт может ограничить и их собственную власть.

— Мне спешить некуда, У меня еще день есть. И поправляться мне сейчас ни к чему. Я сегодня еще с Марусиным стоматологом в ресторане буду поправляться. Причем в самом скором времени. Не тяни. Чего случилось-то?

Если хотя бы несколько мировых диктаторов решат довериться ИИ, это может иметь далеко идущие последствия для всего человечества. Научная фантастика полна сценариев, в которых ИИ выходит из-под контроля и порабощает или уничтожает человечество. В большинстве научно-фантастических сюжетов эти сценарии рассматриваются в контексте демократического капиталистического общества. Это вполне объяснимо. Авторов, живущих в демократических странах, очевидно, интересует их собственное общество, в то время как авторы, живущие в диктаторских государствах, обычно не склонны критиковать своих правителей. Но самое слабое место в защите человечества от ИИ - это, пожалуй, диктаторы. ИИ легче всего захватить власть не путем побега из лаборатории доктора Франкенштейна, а путем сближения с каким-нибудь параноиком Тиберием.

Мишка тоскливо посмотрел в окно. Ему совсем не хотелось так вот за здорово живешь рушить наметившуюся было дружбу с московским олигархом, хорошим, в общем-то, парнем.

Это не пророчество, а всего лишь возможность. После 1945 года диктаторы и их подчиненные сотрудничали с демократическими правительствами и их гражданами в деле сдерживания ядерного оружия. 9 июля 1955 года Альберт Эйнштейн, Бертран Рассел и ряд других выдающихся ученых и мыслителей опубликовали Манифест Рассела-Эйнштейна, в котором призвали лидеров как демократических, так и диктаторских государств к сотрудничеству в деле предотвращения ядерной войны. \"Мы обращаемся, - говорится в манифесте, - как человеческие существа, к человеческим существам: помните о своей человечности и забудьте обо всем остальном. Если вы сможете это сделать, перед вами откроется путь в новый рай; если не сможете, перед вами встанет риск всеобщей гибели\". Это справедливо и для ИИ. Было бы глупо со стороны диктаторов полагать, что ИИ обязательно изменит баланс сил в их пользу. Если они не будут осторожны, ИИ просто захватит власть в свои руки.

— Тимур настаивает, чтобы ты уезжал немедленно. Очень он на тебя за Любку рассердился. Бегает по поселку как бешеный.

 

Кирилл удовлетворенно кивнул. Кажется, его метод оказался действенным.

ГЛАВА 11.



— Передай этому татарскому воину что я готов с ним встретиться на любой территории.

Силиконовый занавес: Глобальная империя или глобальный раскол?

— Не надо с ним встречаться. — Мишка даже руками замахал… — У нас ребята крутые. Или стрельнут, или взорвут.

 

— А что, у них есть оружие?

В предыдущих двух главах мы рассмотрели, как различные человеческие общества могут отреагировать на появление новой компьютерной сети. Но мы живем во взаимосвязанном мире, где решения одной страны могут оказать глубокое влияние на другие. Некоторые из самых серьезных опасностей, создаваемых ИИ, не являются результатом внутренней динамики отдельно взятого человеческого общества. Скорее, они возникают в результате динамики, охватывающей многие общества, что может привести к новым гонкам вооружений, новым войнам и новым имперским экспансиям.

— Навалом. В наших местах в войну сильные бои были. По сей день черные копатели оружие находят. И что удивительно: немецкое с трудом восстанавливают, а у нашего ржавчину снимают, и уже готово к употреблению. Не связывайся ты с ними. Уезжай.

Компьютеры еще не настолько мощны, чтобы полностью выйти из-под нашего контроля или самостоятельно уничтожить человеческую цивилизацию. Пока человечество сплочено, мы можем создать институты, которые будут контролировать ИИ, выявлять и исправлять ошибки алгоритмов. К сожалению, человечество никогда не было единым. Мы всегда страдали от плохих игроков, а также от разногласий между хорошими игроками. Таким образом, развитие ИИ представляет собой экзистенциальную опасность для человечества не из-за злобы компьютеров, а из-за наших собственных недостатков.

Так, параноидальный диктатор может передать неограниченную власть слабому ИИ, включая даже право наносить ядерные удары. Если диктатор доверяет своему ИИ больше, чем министру обороны, разве не имеет смысла поручить ему контроль над самым мощным оружием страны? Если ИИ допустит ошибку или начнет преследовать чужие цели, результат может быть катастрофическим, и не только для этой страны.

— Не могу. У меня тут остался еще ряд нерешенных вопросов. — Кирилл встал, хлопнул Мишку по плечу. Лицо у бывшего Вериного хахаля стало совсем расстроенным… — Все нормально, Мишань! Подбрось меня по старой дружбе до поселка.

Точно так же террористы, сосредоточенные на событиях в одном уголке мира, могут использовать ИИ для провоцирования глобальной пандемии. Террористы могут быть более сведущи в мифологии апокалипсиса, чем в науке эпидемиологии, но им нужно только поставить цель, а все остальное сделает их ИИ. ИИ может синтезировать новый патоген, заказать его в коммерческих лабораториях или напечатать на биологических 3-D принтерах и разработать оптимальную стратегию его распространения по всему миру через аэропорты или цепочки поставок продовольствия. А что, если ИИ синтезирует вирус, который будет таким же смертоносным, как Эбола, таким же заразным, как COVID-19, и таким же медленно действующим, как СПИД? К тому времени, когда первые жертвы начнут умирать, а мир будет предупрежден об опасности, большинство людей на Земле уже будут заражены.



Как мы уже видели в предыдущих главах, человеческой цивилизации угрожает не только физическое и биологическое оружие массового поражения, такое как атомные бомбы и вирусы. Человеческую цивилизацию также может уничтожить оружие социального массового поражения, например истории, подрывающие наши социальные связи. ИИ, разработанный в одной стране, может быть использован для распространения фальшивых новостей, фальшивых денег и фальшивых людей, чтобы люди во множестве других стран потеряли способность доверять чему-либо или кому-либо.

Мишка высадил Кирилла возле Марининого дома и быстренько рванул с места, от греха подальше. Ему совсем не хотелось, чтобы Тимур или кто-то из его дружков видел его вместе с Кириллом.

Многие общества - как демократические, так и диктаторские - могут ответственно подходить к регулированию такого использования ИИ, пресекать действия плохих игроков и сдерживать опасные амбиции своих правителей и фанатиков. Но если даже горстка обществ не справится с этой задачей, этого может оказаться достаточно, чтобы поставить под угрозу все человечество. Изменение климата может опустошить даже те страны, где приняты отличные экологические нормы, потому что это глобальная, а не национальная проблема. ИИ тоже является глобальной проблемой. Странам было бы наивно полагать, что если они будут разумно регулировать ИИ в пределах своих границ, то эти правила защитят их от худших последствий революции ИИ. Соответственно, чтобы понять новую компьютерную политику, недостаточно изучить, как отдельные общества могут отреагировать на ИИ. Нам также необходимо рассмотреть, как ИИ может изменить отношения между обществами на глобальном уровне.

Пока Марина одевалась, Егор, стоя с олигархом на крыльце, успел высказать несколько своих соображений касательно внутренней и внешней политики государства. А что? Должны же и наверху знать, что думает народ.

В настоящее время мир разделен на около двухсот национальных государств, большинство из которых получили независимость только после 1945 года. Не все они равноправны. В списке есть две сверхдержавы, несколько крупных держав, несколько блоков и альянсов, а также множество мелкой рыбы. Тем не менее, даже самые маленькие государства обладают некоторыми рычагами влияния, о чем свидетельствует их способность играть со сверхдержавами друг против друга. Например, в начале 2020-х годов Китай и США боролись за влияние в стратегически важном Южно-Тихоокеанском регионе. Обе сверхдержавы обхаживали такие островные государства, как Тонга, Тувалу, Кирибати и Соломоновы острова. Правительства этих небольших государств с населением от 740 000 (Соломоновы острова) до 11 000 (Тувалу) имели значительную свободу действий при выборе пути и смогли добиться значительных уступок и помощи.

Уважительно поглядывая на Кирилла, Егор собрался уже перейти к актуальной теме цен на нефть, но тут Марина вывернула из-под навеса на старенькой «фелиции» и притормозила возле крыльца.

Другие малые государства, такие как Катар, зарекомендовали себя как важные игроки на геополитической арене. Имея всего 300 000 граждан, Катар, тем не менее, преследует амбициозные внешнеполитические цели на Ближнем Востоке, играет огромную роль в мировой экономике и является домом для Аль-Джазиры, самой влиятельной телевизионной сети арабского мира. Кто-то может возразить, что Катар способен значительно превосходить свои размеры, потому что он является третьим по величине экспортером природного газа в мире. Однако в другой международной обстановке это сделало бы Катар не независимым игроком, а первым блюдом в меню любого имперского завоевателя. Показательно, что в 2024 году гораздо более крупные соседи Катара и мировые державы-гегемоны позволят крошечному государству Персидского залива удержать свои сказочные богатства. Многие называют международную систему джунглями. Если это так, то это джунгли, в которых тигры позволяют жирным цыплятам жить в относительной безопасности.

Вообще-то, на встречу упертого стоматолога со столичным олигархом Егор никаких особых надежд не возлагал. Но лишний шанс на урегулирование финансовых вопросов с будущим зятем упускать было бы неправильно. Егор смотрел вслед удаляющейся машине и даже мысленно перекрестил ее. На всякий случай.

Катар, Тонга, Тувалу, Кирибати и Соломоновы острова - все они свидетельствуют о том, что мы живем в постимперскую эпоху. Они получили независимость от Британской империи в 1970-х годах, что стало частью окончательного распада европейского имперского порядка. То влияние, которое они имеют на международной арене, свидетельствует о том, что в первой четверти XXI века власть распределяется между относительно большим числом игроков, а не монополизируется несколькими империями.



Как подъем новой компьютерной сети может изменить форму международной политики? Помимо апокалиптических сценариев, таких как диктаторский ИИ, развязывающий ядерную войну, или террористический ИИ, провоцирующий смертоносную пандемию, компьютеры представляют собой два основных вызова для нынешней международной системы. Во-первых, поскольку компьютеры позволяют сконцентрировать информацию и власть в одном центральном узле, человечество может вступить в новую имперскую эру. Несколько империй (или, возможно, одна империя) могут взять весь мир под гораздо более жесткий контроль, чем Британская или Советская империя. Тонга, Тувалу и Катар превратятся из независимых государств в колониальные владения - точно так же, как это было пятьдесят лет назад.

Во-вторых, человечество может разделиться вдоль нового \"кремниевого занавеса\", который будет проходить между соперничающими цифровыми империями. Поскольку каждый режим выбирает свой собственный ответ на проблему выравнивания ИИ, на дилемму диктатора и на другие технологические проблемы, каждый может создать отдельную и очень непохожую компьютерную сеть. Этим сетям будет все сложнее взаимодействовать, как и людям, которых они контролируют. Катарцы, живущие в иранской или российской сети, тонганцы, живущие в китайской сети, и тувалуанцы, живущие в американской сети, могут иметь настолько разный жизненный опыт и мировоззрение, что вряд ли смогут общаться или прийти к единому мнению.

Движение на загородной трассе было довольно оживленным. Марина вела машину осторожно, никого не обгоняя. Кирилл нетерпеливо ерзал на сиденье, посматривал по сторонам, мученически вздыхал. Всячески давал понять, что такой метод передвижения ему совсем не по нутру. Что там Вера вспоминала про Гоголя? «Куда же несешься ты, птица-тройка?» Бесполезный вопрос, безответный. Вопрос должен быть риторическим, чтоб не терзаться потом столетиями в поисках ответа. «Какой русский не любит быстрой езды!» — вот это вопрос.

Если эти события действительно материализуются, они легко могут привести к собственному апокалиптическому исходу. Возможно, каждая империя сможет держать свое ядерное оружие под контролем людей, а своих сумасшедших - подальше от биооружия. Но у человечества, разделенного на враждебные лагеря, которые не могут понять друг друга, мало шансов избежать разрушительных войн или предотвратить катастрофическое изменение климата. Мир соперничающих империй, разделенных непрозрачным кремниевым занавесом, также не сможет регулировать взрывную мощь ИИ.

 

Наконец Кирилл не выдержал:

ВОЗНИКНОВЕНИЕ ЦИФРОВЫХ ИМПЕРИЙ

— Пересядем. Я поведу.

В главе 9 мы вкратце коснулись связи между промышленной революцией и современным империализмом. Поначалу было неочевидно, что промышленные технологии окажут большое влияние на строительство империи. Когда в XVIII веке первые паровые машины были использованы для откачки воды в британских угольных шахтах, никто не предполагал, что в итоге они станут источником энергии для самых амбициозных имперских проектов в истории человечества. Когда в начале XIX века промышленная революция набрала обороты, ее двигателем стал частный бизнес, поскольку правительства и армии сравнительно медленно оценивали ее потенциальное геополитическое влияние. Например, первая в мире коммерческая железная дорога, открывшаяся в 1830 году между Ливерпулем и Манчестером, была построена и эксплуатировалась частной компанией Liverpool and Manchester Railway Company. То же самое можно сказать и о большинстве других ранних железнодорожных линий в Великобритании, США, Франции, Германии и других странах. В то время было совершенно непонятно, зачем правительствам или армиям участвовать в таких коммерческих предприятиях.

Марина самолюбиво дернула плечиком.

Однако к середине XIX века правительства и вооруженные силы ведущих индустриальных держав полностью осознали огромный геополитический потенциал современных промышленных технологий. Потребность в сырье и рынках оправдывала империализм, а промышленные технологии облегчали имперские завоевания. Пароходы, например, сыграли решающую роль в победе Великобритании над китайцами в Опиумных войнах, а железные дороги - в американской экспансии на запад и российской экспансии на восток и юг. Действительно, целые имперские проекты формировались вокруг строительства железных дорог, таких как Транссибирская и Транскаспийская российские линии, немецкая мечта о железной дороге Берлин-Багдад и британская мечта о строительстве железной дороги от Каира до Капской провинции.

— Свою машину я вожу всегда сама.

Тем не менее, большинство государств не успели вовремя включиться в разгорающуюся гонку промышленных вооружений. У одних не хватило для этого возможностей, как у меланезийских вождеств Соломоновых островов и племени Аль Тани в Катаре. У других, таких как Бирманская империя, империя Ашанти и Китайская империя, возможно, и были возможности, но не хватало воли и дальновидности. Их правители и жители либо не следили за развитием событий в таких местах, как британский Мидлендс, либо считали, что не имеют к ним никакого отношения. Почему рисоводов бассейна Иравади в Бирме или бассейна Янцзы в Китае должна волновать железная дорога Ливерпуль - Манчестер? Однако к концу XIX века эти рисоводы оказались либо завоеванными, либо косвенно эксплуатируемыми Британской империей. Большинство других отстающих в индустриальной гонке также оказались под господством той или иной промышленной державы. Может ли нечто подобное произойти с ИИ?

— Тогда я выйду и доберусь на попутной. Я не могу, когда меня все обгоняют.