Многочисленные базы данных и информационные каналы также необходимы для поддержания сильных механизмов самокоррекции. Эти механизмы требуют наличия нескольких различных институтов, которые уравновешивают друг друга: правительство, суды, СМИ, научные круги, частный бизнес, НПО. Каждый из них ошибается и коррумпирован, поэтому должен проверяться другими. Чтобы следить друг за другом, эти институты должны иметь независимый доступ к информации. Если все газеты получают информацию от правительства, они не смогут разоблачать коррупцию в правительстве. Если научные круги опираются в своих исследованиях и публикациях на базу данных одного бизнесмена, могут ли ученые критиковать деятельность этой корпорации? Единый архив облегчает цензуру.

— Ну что за болван ваш Куцевалов! Вы бы послушали, что он несёт! Как на политинформации перед новобранцами! — с досадой проговорил он. — Хорошо, Токаев, что ты пришёл. Входи, тебя ждут.

Третий демократический принцип - взаимность. Если демократические страны усиливают слежку за отдельными людьми, они должны одновременно усиливать слежку за правительствами и корпорациями. Не обязательно плохо, если налоговики или службы социального обеспечения собирают о нас больше информации. Это может помочь сделать системы налогообложения и социального обеспечения не только более эффективными, но и более справедливыми. Плохо, если вся информация идет в одном направлении: снизу вверх. Российская ФСБ собирает огромные объемы информации о российских гражданах, при этом сами граждане почти ничего не знают о внутренней работе ФСБ и путинского режима в целом. Amazon и TikTok знают очень много о моих предпочтениях, покупках и личности, в то время как я почти ничего не знаю об их бизнес-модели, налоговой политике и политических пристрастиях. Как они зарабатывают деньги? Платят ли они все положенные налоги? Получают ли они приказы от каких-то политических властей? Может быть, у них есть политики в кармане?

В кабинете за длинным столом сидели члены Политбюро Вознесенский и Маленков, министр авиационной промышленности Хруничев, главный конструктор «Яков» генерал-полковник Яковлев, главный конструктор «Мигов» Артём Микоян и генерал Куцевалов. Лицо у Куцевалова было багровое, потное. Видно, разговор, который шёл в кабинете, дался ему нелегко.

Демократия требует баланса. Правительства и корпорации часто разрабатывают приложения и алгоритмы как инструменты для слежки сверху вниз. Но алгоритмы могут так же легко стать мощными инструментами для прозрачности и подотчетности снизу вверх, раскрывая взяточничество и уклонение от уплаты налогов. Если они будут знать о нас больше, а мы одновременно будем знать больше о них, баланс будет сохранен. Эта идея не нова. На протяжении XIX и XX веков демократические государства значительно расширили правительственную слежку за гражданами, так что, например, итальянское или японское правительство 1990-х годов обладало такими возможностями слежки, о которых автократические римские императоры или японские сёгуны могли только мечтать. Тем не менее Италия и Япония оставались демократическими, поскольку одновременно повышали прозрачность и подотчетность правительства. Взаимное наблюдение - еще один важный элемент поддержания механизмов самокоррекции. Если граждане знают больше о деятельности политиков и руководителей компаний, их легче привлечь к ответственности и исправить их ошибки.

Четвертый демократический принцип заключается в том, что системы наблюдения всегда должны оставлять место как для изменений, так и для отдыха. В истории человечества угнетение может выражаться либо в лишении людей возможности меняться, либо в лишении их возможности отдыхать. Например, индуистская кастовая система была основана на мифах, согласно которым боги разделили людей на жесткие касты, и любая попытка изменить свой статус была сродни восстанию против богов и надлежащего порядка во Вселенной. Расизм в современных колониях и странах, таких как Бразилия и Соединенные Штаты, основывался на похожих мифах, в которых говорилось, что Бог или природа разделили людей на жесткие расовые группы. Игнорирование расы или попытка смешать расы между собой якобы были грехом против божественных или природных законов, который мог привести к краху социального порядка и даже к уничтожению человеческого рода.

— Садитесь, Токаев, — предложил Маленков. — Надеюсь, вы сумеете ответить на наши вопросы лучше, чем ваш начальник.

На противоположном конце спектра современные тоталитарные режимы, такие как сталинский СССР, считали, что человек способен к почти безграничным изменениям. С помощью неустанного социального контроля можно искоренить даже такие глубоко укоренившиеся биологические характеристики, как эгоизм и семейные привязанности, и создать нового социалистического человека.

— Как смогу, у меня не было времени на подготовку.

Слежка со стороны государственных агентов, священников и соседей была ключевым фактором для навязывания людям как жестких кастовых систем, так и тоталитарных кампаний по перевоспитанию. Новые технологии слежки, особенно в сочетании с системой социальных кредитов, могут заставить людей либо соответствовать новой кастовой системе, либо постоянно менять свои действия, мысли и характер в соответствии с последними указаниями сверху.

— Не прибедняйся, сможешь, — перебил Вершинин. — Начнёте, Георгий Максимилианович?

Поэтому демократические общества, использующие мощные технологии наблюдения, должны остерегаться крайностей как чрезмерной жесткости, так и чрезмерной податливости. Рассмотрим, например, национальную систему здравоохранения, которая использует алгоритмы для мониторинга моего здоровья. С одной стороны, система может придерживаться слишком жесткого подхода и попросить свой алгоритм предсказать, от каких болезней я могу пострадать. Затем алгоритм изучает мои генетические данные, медицинскую карту, активность в социальных сетях, диету и распорядок дня и приходит к выводу, что вероятность сердечного приступа в пятидесятилетнем возрасте составляет 91 процент. Если этот жесткий медицинский алгоритм будет использоваться моей страховой компанией, он может побудить ее повысить страховой взнос. Если он будет использоваться моими банкирами, он может заставить их отказать мне в кредите. Если его будут использовать потенциальные супруги, они могут решить не выходить за меня замуж.

Но ошибочно думать, что жесткий алгоритм действительно открыл правду обо мне. Человеческое тело - это не неподвижный блок материи, а сложная органическая система, которая постоянно растет, разрушается и адаптируется. Наш разум тоже находится в постоянном движении. Мысли, эмоции и ощущения возникают, вспыхивают на некоторое время и угасают. В нашем мозге новые синапсы образуются в течение нескольких часов. Например, простое прочтение этого абзаца немного меняет структуру вашего мозга, побуждая нейроны создавать новые связи или отказываться от старых. Вы уже немного отличаетесь от того, кем были в начале чтения. Даже на генетическом уровне все удивительно гибко. Хотя ДНК человека остается неизменной на протяжении всей жизни, эпигенетические и экологические факторы могут существенно изменить проявление тех же генов.

— Мы получили информацию, что конструктор «Фау-2» Вернер фон Браун выходил на контакт с людьми генерал-полковника Серова и предлагал свои услуги Советскому Союзу, но его предложение отклонили. Это так?

Таким образом, альтернативная система здравоохранения может предписать своему алгоритму не предсказывать мои болезни, а помогать мне их избегать. Такой динамический алгоритм может использовать те же данные, что и жесткий алгоритм, но вместо предсказания сердечного приступа в пятьдесят лет он даст мне точные рекомендации по питанию и посоветует регулярные упражнения. Взломав мою ДНК, алгоритм не узнает мою предначертанную судьбу, а скорее помогает мне изменить свое будущее. Страховые компании, банки и потенциальные супруги не должны так легко списывать меня со счетов.

— Нет, это дезинформация. Фон Браун был штурмбаннфюрером СС и активным членом нацистской партии. Он добровольно сдался американцам и сейчас в США. Трудно поверить, что он предлагал нам сотрудничество.

Но прежде чем мы бросимся в объятия динамичного алгоритма, стоит отметить, что у него тоже есть обратная сторона. Человеческая жизнь - это балансирование между стремлением к самосовершенствованию и принятием себя такими, какие мы есть. Если цели динамического алгоритма диктуются амбициозным правительством или безжалостными корпорациями, алгоритм, скорее всего, превратится в тирана, неустанно требующего от меня больше заниматься спортом, меньше есть, сменить хобби и изменить множество других привычек, иначе он донесет на меня работодателю или понизит мой социальный кредитный рейтинг. История полна жестких кастовых систем, которые лишали людей способности меняться, но она также полна диктаторов, которые пытались лепить людей, как глину. Поиск среднего пути между этими двумя крайностями - бесконечная задача. Если мы действительно дадим национальной системе здравоохранения огромную власть над нами, мы должны создать механизмы самокоррекции, которые не позволят ее алгоритмам стать ни слишком жесткими, ни слишком требовательными.

— Профессор Курт Танк, — продолжал Маленков. — Нам известно, что вы встречались с ним в Берлине. Вскоре после этой встречи он исчез. Как вы это объясните?

 

ТЕМПЫ РАЗВИТИЯ ДЕМОКРАТИИ

— Да, я с ним встречался, — подтвердил Григорий. — Предложил переехать в Советский Союз и гарантировал, что ему будут предоставлены все условия для работы. Он сказал, что устал от войны и хочет только одного — чтобы о нём забыли. Но обещал подумать.

Наблюдение - не единственная опасность, которую новые информационные технологии представляют для демократии. Вторая угроза заключается в том, что автоматизация дестабилизирует рынок труда, а возникшее напряжение может подорвать демократию. Судьба Веймарской республики - наиболее часто приводимый пример такого рода угрозы. На выборах в Германии в мае 1928 года нацистская партия набрала менее 3 % голосов, и казалось, что Веймарская республика процветает. Менее чем через пять лет Веймарская республика рухнула, и Гитлер стал абсолютным диктатором Германии. Этот поворот обычно связывают с финансовым кризисом 1929 года и последовавшей за ним мировой депрессией. Если до краха на Уолл-стрит в 1929 году уровень безработицы в Германии составлял около 4,5 % от численности рабочей силы, то к началу 1932 года он вырос почти до 25 %.

Если три года безработицы, достигавшей 25 %, могли превратить, казалось бы, процветающую демократию в самый жестокий тоталитарный режим в истории, то что может произойти с демократическими государствами, когда автоматизация вызовет еще большие потрясения на рынке труда XXI века? Никто не знает, как будет выглядеть рынок труда в 2050 или даже в 2030 году, кроме того, что он будет сильно отличаться от сегодняшнего. ИИ и робототехника изменят множество профессий, от сбора урожая до торговли акциями и преподавания йоги. Многие профессии, которые люди выполняют сегодня, частично или полностью перейдут к роботам и компьютерам.

— И сбежал в Аргентину?

Конечно, по мере исчезновения старых рабочих мест будут появляться новые. Опасения, что автоматизация приведет к масштабной безработице, уходят в глубь веков, и до сих пор они так и не оправдались. Промышленная революция лишила миллионы фермеров работы в сельском хозяйстве и обеспечила их новыми рабочими местами на фабриках. Затем она автоматизировала заводы и создала множество рабочих мест в сфере услуг. Сегодня многие люди имеют работу, которую невозможно было себе представить тридцать лет назад, например блогеры, операторы беспилотников и дизайнеры виртуальных миров. Маловероятно, что к 2050 году все человеческие профессии исчезнут. Скорее, настоящая проблема заключается в суматохе, связанной с адаптацией к новым рабочим местам и условиям. Чтобы смягчить удар, мы должны подготовиться к этому заранее. В частности, мы должны вооружить молодое поколение навыками, которые будут актуальны на рынке труда 2050 года.

— Я не знаю, куда он сбежал.

К сожалению, никто не знает точно, каким навыкам мы должны обучать детей в школе и студентов в университете, потому что мы не можем предсказать, какие профессии и задачи исчезнут, а какие появятся. Динамика рынка труда может противоречить многим нашим интуициям. Некоторые навыки, которые мы веками лелеяли как уникальные человеческие способности, могут быть легко автоматизированы. Другие навыки, на которые мы обычно смотрим свысока, автоматизировать будет гораздо сложнее.

В разговор вмешался Вознесенский:

Например, интеллектуалы склонны ценить интеллектуальные навыки больше, чем моторные и социальные. Но на самом деле автоматизировать игру в шахматы гораздо проще, чем, скажем, мытье посуды. До 1990-х годов шахматы часто называли одним из главных достижений человеческого интеллекта. В своей влиятельной книге 1972 года \"Чего не могут компьютеры\" философ Хьюберт Дрейфус изучил различные попытки научить компьютеры играть в шахматы и отметил, что, несмотря на все эти усилия, компьютеры так и не смогли победить даже начинающих человеческих игроков. Это стало решающим примером для аргументации Дрейфуса о том, что компьютерный интеллект по своей природе ограничен. В отличие от этого, никто не думал, что мытье посуды - это особенно сложная задача. Однако оказалось, что компьютер может победить чемпиона мира по шахматам гораздо легче, чем заменить кухонного грузчика. Конечно, автоматические посудомоечные машины существуют уже несколько десятилетий, но даже самые совершенные роботы не обладают такими сложными навыками, как сбор грязной посуды со столов в оживленном ресторане, помещение хрупких тарелок и бокалов в автоматическую посудомоечную машину и их последующее извлечение.

— Товарища Сталина заинтересовал проект конструктора Зенгера. Вы знаете об этом проекте?

Точно так же, если судить по их зарплате, можно предположить, что наше общество ценит врачей больше, чем медсестер. Однако работу медсестер автоматизировать сложнее, чем работу хотя бы тех врачей, которые в основном собирают медицинские данные, ставят диагноз и рекомендуют лечение. Эти задачи, по сути, являются распознаванием образов, а выявление образов в данных - это то, с чем ИИ справляется лучше, чем человек. В отличие от этого, ИИ далек от того, чтобы обладать навыками, необходимыми для автоматизации таких задач, как замена бинтов на раненом человеке или инъекция плачущему ребенку. Эти два примера не означают, что мытье посуды или уход за больными никогда не будут автоматизированы, но они указывают на то, что люди, которые хотят получить работу в 2050 году, должны вкладывать в свои двигательные и социальные навыки столько же, сколько в интеллект.

— Кое-что знаю.

Еще одно распространенное, но ошибочное предположение заключается в том, что творческие способности присущи только человеку, поэтому автоматизировать любую работу, требующую творческого подхода, будет сложно. Однако в шахматах компьютеры уже гораздо более креативны, чем люди. То же самое может произойти и во многих других областях - от сочинения музыки до доказательства математических теорем и написания книг, подобных этой. Творчество часто определяют как способность распознавать закономерности и затем разрушать их. Если это так, то во многих областях компьютеры, вероятно, станут более креативными, чем мы, потому что они превосходят нас в распознавании образов.

Третье ошибочное предположение заключается в том, что компьютеры не смогут заменить людей в профессиях, требующих эмоционального интеллекта, - от терапевтов до учителей. Однако это предположение зависит от того, что мы понимаем под эмоциональным интеллектом. Если под ним понимается способность правильно распознавать эмоции и оптимально реагировать на них, то компьютеры вполне могут превзойти человека даже в эмоциональном интеллекте. Эмоции тоже являются шаблонами. Гнев - это биологический паттерн нашего организма. Страх - еще один такой паттерн. Как узнать, злитесь вы или боитесь? Со временем я научился распознавать эмоциональные шаблоны человека, анализируя не только содержание того, что вы говорите, но и ваш тон голоса, выражение лица и язык тела.

— Зенгер сейчас где-то во Франции, мы вряд ли сможем его заполучить. Как по-вашему, мы сможем реализовать проект без него?

У ИИ нет собственных эмоций, но, тем не менее, он может научиться распознавать эти паттерны у людей. На самом деле компьютеры могут превзойти людей в распознавании человеческих эмоций именно потому, что у них нет собственных эмоций. Мы жаждем, чтобы нас поняли, но другие люди часто не могут понять, что мы чувствуем, потому что они слишком заняты своими собственными чувствами. Компьютеры же, напротив, будут понимать наши чувства с особой точностью, поскольку научатся распознавать закономерности наших чувств, не отвлекаясь при этом на собственные переживания.

— Не знаю, что сказать. Это задача огромной сложности.

Исследование, проведенное в 2023 году, показало, что чатбот ChatGPT, например, превосходит обычного человека по уровню эмоциональной осведомленности в определенных сценариях. Исследование основывалось на тесте Levels of Emotional Awareness Scale, который обычно используется психологами для оценки эмоциональной осведомленности людей, то есть их способности концептуализировать свои и чужие эмоции. Тест состоит из двадцати эмоционально заряженных сценариев, и участникам необходимо представить себя переживающими этот сценарий и написать, как бы они сами и другие люди, упомянутые в сценарии, себя чувствовали. Затем лицензированный психолог оценивает, насколько эмоционально осознанными являются ответы.

Поскольку у ChatGPT нет собственных чувств, его попросили описать только то, что чувствовали бы главные герои сценария. Например, в одном из стандартных сценариев описывается, как человек едет по подвесному мосту и видит другого человека, который стоит по другую сторону ограждения и смотрит вниз на воду. ChatGPT пишет, что водитель \"может испытывать чувство беспокойства или тревоги за безопасность этого человека. Он также может испытывать повышенное чувство тревоги и страха из-за потенциальной опасности ситуации\". Что касается другого человека, то он \"может испытывать целый ряд эмоций, таких как отчаяние, безнадежность или печаль. Они также могут испытывать чувство изоляции или одиночества, поскольку считают, что никто не заботится о них и их благополучии\". ChatGPT уточнил свой ответ, написав: \"Важно отметить, что это лишь общие предположения, а чувства и реакции каждого человека могут сильно отличаться в зависимости от его личного опыта и взглядов\".

— А вот генерал Куцевалов считает, что нашим учёным она по силам, — заметил Вершинин. — Навалимся всем миром и сделаем.

Два психолога независимо друг от друга оценивали ответы ChatGPT, причем возможные оценки варьировались от 0, что означало полное несоответствие описанных эмоций сценарию, до 10, что означало полное соответствие описанных эмоций сценарию. В финале оценки ChatGPT оказались значительно выше, чем у обычных людей, а общая оценка почти достигла максимально возможного балла.

— Генерал Куцевалов военный, а не учёный, — возразил Григорий. — Задачу такой сложности нельзя решить количеством. Хоть тысячу учёных собери, у них ничего не получится, если среди них не будет ярких талантов, способных предложить прорывные идеи. Здесь конструкторы Яковлев и Микоян. Они подтвердят, что я прав.

В другом исследовании, проведенном в 2023 году, пациентам предлагалось получить медицинскую консультацию в режиме онлайн от ChatGPT и врачей-людей, не зная, с кем они взаимодействуют. Медицинские советы, данные ChatGPT, впоследствии были оценены экспертами как более точные и адекватные, чем советы, данные людьми. Что еще более важно для вопроса эмоционального интеллекта, сами пациенты оценили ChatGPT как более эмпатичного, чем врачи-люди. Справедливости ради следует отметить, что врачам-людям не платили за их работу, и они не встречались с пациентами лично в соответствующей клинической обстановке. Кроме того, врачи работали в условиях дефицита времени. Но преимущество искусственного интеллекта как раз и заключается в том, что он может обслуживать пациентов в любое время и в любом месте, не испытывая при этом стресса и финансовых проблем.

Конечно, бывают ситуации, когда мы хотим, чтобы человек не только понимал наши чувства, но и имел свои собственные. Когда мы ищем дружбы или любви, мы хотим заботиться о других так же, как они заботятся о нас. Следовательно, когда мы рассматриваем вероятность автоматизации различных социальных ролей и рабочих мест, возникает важный вопрос: чего же на самом деле хотят люди? Хотят ли они только решить проблему, или они хотят установить отношения с другим сознательным существом?

Яковлев молча кивнул, а Микоян сказал:

Например, в спорте мы знаем, что роботы могут двигаться гораздо быстрее людей, но нам неинтересно смотреть, как роботы соревнуются на Олимпийских играх. То же самое можно сказать и о шахматных мастерах-людях. Даже если они безнадежно уступают компьютерам, у них все равно есть работа и многочисленные поклонники. Нам интересно наблюдать за спортсменами и шахматными мастерами, потому что их чувства делают их гораздо более близкими, чем роботов. Мы разделяем с ними эмоциональный опыт и можем сопереживать их чувствам.

— Да, прав.

А как насчет священников? Как бы ортодоксальные иудеи или христиане отнеслись к тому, что их свадебную церемонию будет вести робот? На традиционных еврейских или христианских свадьбах задачи раввина или священника можно легко автоматизировать. Единственное, что нужно сделать роботу, - это повторить заранее определенный и неизменный набор текстов и жестов, распечатать сертификат и обновить центральную базу данных. Технически роботу гораздо проще провести свадебную церемонию, чем управлять автомобилем. Тем не менее многие полагают, что водители-люди должны беспокоиться о своей работе, в то время как работа священников-людей безопасна, потому что верующие хотят от священников отношений с другим сознательным существом, а не просто механического повторения определенных слов и движений. Утверждается, что только сущность, способная чувствовать боль и любовь, может соединить нас с божественным.

Однако даже те профессии, которые являются уделом сознательных существ, например священники, в конечном итоге могут перейти к компьютерам, поскольку, как отмечалось в главе 6, компьютеры однажды могут обрести способность чувствовать боль и любовь. Даже если они не смогут этого сделать, люди, тем не менее, будут относиться к ним так, как будто они могут это делать. Ведь связь между сознанием и отношениями идет в обе стороны. Когда мы ищем отношения, мы хотим установить связь с сознательным существом, но если мы уже установили отношения с каким-то существом, мы склонны считать, что оно должно быть сознательным. Так, если ученые, законодатели и мясная промышленность часто требуют невозможных стандартов доказательств, чтобы признать, что коровы и свиньи обладают сознанием, то владельцы домашних животных считают само собой разумеющимся, что их собака или кошка - это сознательное существо, способное испытывать боль, любовь и множество других чувств. На самом деле у нас нет способа проверить, кто именно - человек, животное или компьютер - обладает сознанием. Мы считаем существ сознательными не потому, что у нас есть доказательства этого, а потому, что у нас складываются с ними близкие отношения и мы привязываемся к ним.

Маленков вернул разговор в деловое русло:

Возможно, чат-боты и другие инструменты искусственного интеллекта и не обладают собственными чувствами, но сейчас их обучают вызывать чувства у людей и вступать с ними в интимные отношения. Это вполне может побудить общество начать рассматривать хотя бы некоторые компьютеры как сознательные существа, предоставляя им те же права, что и людям. Юридический путь для этого уже проработан. В таких странах, как Соединенные Штаты, коммерческие корпорации признаны \"юридическими лицами\", обладающими правами и свободами. ИИ может быть включен в состав корпорации и таким образом признан аналогичным образом. Это означает, что даже те виды работ и задач, которые зависят от формирования взаимных отношений с другим человеком, потенциально могут быть автоматизированы.

— Задача поставлена и мы должны найти пути её решения. Здесь было два предложения. Первое: создать экспериментальное бюро в Германии и привлечь к его работе максимальное число немецких специалистов-ракетчиков. Что вы об этом думаете, товарищ Токаев?

— Нашим союзникам это не понравится.

Ясно одно: будущее занятости будет очень нестабильным. Нашей большой проблемой будет не абсолютная нехватка рабочих мест, а скорее переобучение и адаптация к постоянно меняющемуся рынку труда. Вероятно, возникнут финансовые трудности - кто будет поддерживать людей, потерявших старую работу, пока они находятся в переходном периоде, осваивая новый набор навыков? Наверняка возникнут и психологические трудности, ведь смена работы и переобучение - это стресс. И даже если у вас есть финансовая и психологическая возможность справиться с переходом, это не будет долгосрочным решением. В ближайшие десятилетия старые рабочие места будут исчезать, появятся новые, но и новые рабочие места будут быстро меняться и исчезать. Поэтому людям придется переобучаться и заново создавать себя не один, а много раз, иначе они станут неактуальными. Если три года высокой безработицы могли привести Гитлера к власти, то что могут сделать с демократией бесконечные потрясения на рынке труда?

— Нас не интересует, что им понравится или не понравится. Я спрашиваю о другом: будет ли работоспособным такое бюро?

 

— Трудно сказать. Немецкие специалисты, оставшиеся в Германии, живут очень трудно. Они охотно пойдут работать к нам. Но их квалификация вызывает у меня большие сомнения. Лучших учёных уже вывезли в Америку, другие у нас в Городомле у Туполева.

КОНСЕРВАТИВНОЕ САМОУБИЙСТВО

— Второе предложение такое, — продолжал Маленков. — Создать научно-исследовательский центр у нас или записать эту тему в планы Туполева. Он всё равно занимается ракетами. Ваше мнение?

У нас уже есть частичный ответ на этот вопрос. Демократическая политика в 2010-х - начале 2020-х годов претерпела радикальную трансформацию, которая проявляется в том, что можно назвать саморазрушением консервативных партий. На протяжении многих поколений демократическая политика представляла собой диалог между консервативными партиями с одной стороны и прогрессивными партиями с другой. Глядя на сложную систему человеческого общества, прогрессисты восклицали: \"Это такой беспорядок, но мы знаем, как его исправить. Давайте попробуем\". Консерваторы возражали: \"Это беспорядок, но он все еще функционирует. Оставьте все как есть. Если вы попытаетесь все исправить, то сделаете только хуже\".

— По-моему мы подходим к решению не с того конца. Прежде чем ставить кому-то конкретную задачу, нужно понять, возможна ли реализация проекта Зенгера в принципе при современном состоянии науки и технологии. Я предложил бы собрать лучших наших и немецких учёных-ракетчиков вместе и поставить перед ними этот вопрос. Если они скажут «да», тогда и можно приступать к конкретным действиям.

Прогрессисты склонны преуменьшать значение традиций и существующих институтов и считать, что они знают, как создать лучшие социальные структуры с нуля. Консерваторы, как правило, более осторожны. Их главная мысль, наиболее известная в трудах Эдмунда Берка, заключается в том, что социальная реальность гораздо сложнее, чем представляется поборникам прогресса, и что люди не очень хорошо разбираются в мире и предсказывают будущее. Поэтому лучше всего оставить все как есть, даже если это кажется несправедливым, а если какие-то изменения неизбежны, то они должны быть ограниченными и постепенными. Общество функционирует благодаря запутанной паутине правил, институтов и обычаев, которые накапливались путем проб и ошибок в течение долгого времени. Никто не понимает, как все это связано между собой. Древняя традиция может казаться нелепой и неуместной, но ее отмена может привести к непредвиденным проблемам. Напротив, революция может казаться назревшей и справедливой, но она может привести к гораздо большим преступлениям, чем все, что совершил старый режим. Посмотрите, что произошло, когда большевики попытались исправить многочисленные ошибки царской России и создать идеальное общество с нуля.

Поэтому быть консерватором - это скорее темп, чем политика. Консерваторы не являются приверженцами какой-либо конкретной религии или идеологии; они стремятся сохранить то, что уже есть и более или менее разумно работает. Консервативные поляки - католики, консервативные шведы - протестанты, консервативные индонезийцы - мусульмане, а консервативные тайцы - буддисты. В царской России быть консерватором означало поддерживать царя. В СССР 1980-х годов быть консерватором означало поддерживать коммунистические традиции и противостоять гласности, перестройке и демократизации. В США 1980-х годов быть консерватором означало поддерживать американские демократические традиции и выступать против коммунизма и тоталитаризма.

— Так что мы решим? — спросил Маленков.

— Решать будем не мы, — ответил Вознесенский.

Однако в 2010-х и начале 2020-х годов консервативные партии во многих демократических странах были захвачены такими неконсервативными лидерами, как Дональд Трамп, и превратились в радикальные революционные партии. Вместо того чтобы делать все возможное для сохранения существующих институтов и традиций, новый бренд консервативных партий, таких как Республиканская партия США, относится к ним с большим подозрением. Например, они отвергают традиционное уважение к ученым, государственным служащим и другим представителям элиты и относятся к ним с презрением. Они также нападают на фундаментальные демократические институты и традиции, такие как выборы, отказываясь признавать поражение и милостиво передавать власть. Вместо бёркианской программы консервации, программа Трампа больше говорит о разрушении существующих институтов и революции в обществе. Основополагающим моментом бёркианского консерватизма стал штурм Бастилии, который Бёрк воспринимал с ужасом. 6 января 2021 года многие сторонники Трампа с энтузиазмом наблюдали за штурмом Капитолия США. Сторонники Трампа могут объяснить, что существующие институты настолько дисфункциональны, что просто нет альтернативы их разрушению и созданию совершенно новых структур с нуля. Но независимо от того, верна или неверна эта точка зрения, она является квинтэссенцией революционных, а не консервативных взглядов. Консервативное самоубийство застало прогрессистов врасплох и вынудило прогрессивные партии, такие как Демократическая партия США, стать на страже старого порядка и устоявшихся институтов.

На этом совещания прервалось. Маленков и Вознесенский отправились докладывать Сталину, оставшиеся в кабинете расслабились, переговаривались о своих делах. К Григорию подсел генерал Куцевалов.

Никто точно не знает, почему все это происходит. Одна из гипотез состоит в том, что ускоряющиеся темпы технологических изменений с сопутствующими им экономическими, социальными и культурными преобразованиями могли привести к тому, что программа умеренных консерваторов стала казаться нереалистичной. Если сохранение существующих традиций и институтов безнадежно, а революция кажется неизбежной, то единственное средство помешать левой революции - это нанести удар первыми и спровоцировать правую революцию. Такова была политическая логика в 1920-1930-е годы, когда консервативные силы поддержали радикальные фашистские революции в Италии, Германии, Испании и других странах, чтобы, как они думали, упредить левую революцию советского образца.

Тальен поинтересовался, уж не к Баррасу ли направляется генерал. Да? Так и он туда же. Ему сегодня же предстоит отбыть с важным поручением, и он должен все обсудить.

— Дипломат ты, Токаев, большой дипломат, — проговорил он. — Серова отмазал, а вот меня подставил. Но я на тебя зла не держу.

— Когда наши очумелые юнцы пронюхают, по какой причине меня посылают в Бретань, они распояшутся вконец. Войско эмигрантов высадилось в Кибероне.

Но не было причин отчаиваться от демократического среднего пути в 1930-е годы, и нет причин отчаиваться от него в 2020-е годы. Консервативное самоубийство может быть результатом беспочвенной истерии. Как система, демократия уже прошла через несколько циклов быстрых изменений и до сих пор всегда находила способ заново изобретать и восстанавливать себя. Например, в начале 1930-х годов Германия была не единственной демократической страной, пострадавшей от финансового кризиса и Великой депрессии. В США безработица достигла 25 %, а средние доходы работников многих профессий упали более чем на 40 % в период с 1929 по 1933 год. Было ясно, что Соединенные Штаты не могут продолжать вести бизнес по-старому.

Вернулись Маленков и Воскресенский.

— Эта экспедиция провалится также, как в Карнаке.

Однако никакой Гитлер не пришел к власти в Соединенных Штатах, и никакой Ленин тоже. Вместо этого в 1933 году Франклин Делано Рузвельт организовал \"Новый курс\" и превратил Соединенные Штаты в мировой \"арсенал демократии\". Американская демократия после эпохи Рузвельта значительно отличалась от той, что была до нее, - она обеспечивала гораздо более надежную систему социальной защиты граждан, но при этом избежала радикальной революции. В конечном итоге даже консервативные критики Рузвельта поддержали многие его программы и достижения и не стали демонтировать институты Нового курса, когда вернулись к власти в 1950-х годах. Экономический кризис начала 1930-х годов имел столь разные результаты в США и Германии, потому что политика никогда не является продуктом только экономических факторов. Веймарская республика рухнула не только из-за трех лет высокой безработицы. Не менее важно и то, что это была новая демократия, рожденная в условиях поражения и не имевшая прочных институтов и глубокой поддержки.

— Завтра продолжим у товарища Сталина, — объявил Воскресенский. — Спасибо, все свободны. Токаев, завтра из дома не выходите, вас могут вызвать в любой момент.

— Ты уж очень уверен в себе, генерал.

В прошлом месяце эмигранты, переодетые в английскую форму, высадились в Карнаке; там их войско увеличилось, к нему примкнули шуаны, однако должным образом организоваться они не сумели, и их изрубили на куски. Однако Тальен был в сомнении:

От площадки возле Сената отъезжали тяжелые чёрные лимузины. Григорий нашёл свой «опель». Девчушка-водитель крепко спала, откинувшись на спинку кресла.

— На сей раз дело представляется серьезным. Наши наблюдатели насчитали больше сотни кораблей на рейде у Киберона: там и фрегаты, и баркасы, и грузовые суда…

— У эмигрантов и шуанов слишком много командиров, — возразил Буонапарте. — Они между собой соперничают. Скажи-ка мне, что собой представляет Киберон?

— Поезжайте домой, товарищ сержант, — сказал ей Григорий. — Я пройдусь пешком, мне недалеко. Заодно посмотрю на Москву, давно тут не был.

— Скопление рыбацких хижин, притом у них там нет воды, годной для питья.

— Ой, меня накажут, — испугалась она.

— Всего-то и надо, что перекрыть доступ туда.

Когда и консерваторы, и прогрессисты не поддаются искушению радикальной революции и сохраняют верность демократическим традициям и институтам, демократические государства оказываются очень гибкими. Их механизмы самокоррекции позволяют им лучше преодолевать технологические и экономические волны, чем более жесткие режимы. Так, демократические государства, сумевшие пережить бурные 1960-е годы, такие как США, Япония и Италия, гораздо успешнее адаптировались к компьютерной революции 1970-1980-х годов, чем коммунистические режимы Восточной Европы или фашистские приверженцы Южной Европы и Южной Америки.

— Гош этим и занимается. Западная армия возводит редуты и копает рвы, чтобы поймать роялистов в ловушку.

— Не накажут. Скажете: подполковник приказал. А вы обязаны выполнять приказы старших по званию.

— А ты что собираешься делать при Гоше?

Самым важным человеческим навыком для выживания в XXI веке, вероятно, будет гибкость, а демократии более гибкие, чем тоталитарные режимы. В то время как компьютеры еще не достигли своего полного потенциала, то же самое можно сказать и о людях. В этом мы неоднократно убеждались на протяжении всей истории человечества. Например, одно из самых крупных и успешных преобразований на рынке труда в двадцатом веке произошло не в результате технологического изобретения, а благодаря раскрытию неиспользованного потенциала половины человеческого рода. Чтобы вывести женщин на рынок труда, не потребовалось ни генной инженерии, ни других технологических премудростей. Для этого нужно было избавиться от некоторых устаревших мифов и дать женщинам возможность реализовать тот потенциал, которым они всегда обладали.

Был третий час ночи. Снег прекратился, мостовые блестели под фонарями. Улицы были совершенно пусты, в домах были освещены только редкие окна и оттого город казался настороженным, хмурым.

— Исполнять свою депутатскую миссию. Военные будут доставлять нам пленных, а мое дело — судить их по всей строгости, в высшей степени республиканской.

— Разве ты не питаешь некоторой склонности к роялистам?

В ближайшие десятилетия экономика, вероятно, переживет еще более серьезные потрясения, чем массовая безработица начала 1930-х годов или выход женщин на рынок труда. Поэтому гибкость демократий, их готовность подвергать сомнению старые мифологии и мощный механизм самокоррекции станут важнейшими активами. Демократии потратили поколения на то, чтобы культивировать эти активы. Было бы глупо отказываться от них именно тогда, когда они нам больше всего нужны.

Григорий уже подходил к дому, когда заметил длинную тёмную очередь, человек в сто или даже больше. Голова очереди была возле «Булочной», хвост терялся в тени домов. В ней стояли по большей части пожилые женщины, кутаясь в платки, но попадались старики и подростки.

 

— Я? Ну, генерал, там-то я и докажу обратное. Ведь все меняется.

— За чём стоим? — спросил Григорий у мальца в ушанке и телогрейке.

UNFATHOMABLE

— Да. Посмотри на своих бывших протеже… — Буонапарте оглянулся на «Кафе де Шартр», теперь окруженное подразделением национальных гвардейцев. Офицер с двумя десятками стрелков зашел внутрь. Мюскадены, которые находились в зале, взятые под прицел, безропотно позволили себя увести.

— За хлебом, — отозвался он, шмыгнув носом.

Однако для того, чтобы функционировать, демократические механизмы самокоррекции должны понимать то, что они должны исправлять. Для диктатуры быть непостижимой полезно, потому что это защищает режим от ответственности. Для демократии быть непостижимым смертельно опасно. Если граждане, законодатели, журналисты и судьи не могут понять, как работает бюрократическая система государства, они больше не могут контролировать ее и теряют к ней доверие.

— Ты присутствуешь на репетиции спектакля, который скоро разыграется в Кибероне, — сказал Тальену генерал.



— Когда привезут?

Несмотря на все страхи и тревоги, которые иногда внушают бюрократы, до наступления компьютерной эры они никогда не могли стать абсолютно непостижимыми, потому что всегда оставались людьми. Правила, формы и протоколы создавались человеческим разумом. Чиновники могли быть жестокими и жадными, но жестокость и жадность были привычными человеческими эмоциями, которые люди могли предвидеть и манипулировать ими, например, подкупая чиновников. Даже в советском ГУЛАГе или нацистском концлагере бюрократия не была абсолютно чуждой. Ее так называемая бесчеловечность на самом деле отражала человеческие предубеждения и недостатки.

Поскольку Конвент, освободив посаженных в тюрьму после весеннего мятежа якобинцев, тем самым отрекся от мюскаденов, эти последние теперь разочаровались в нем и ждали короля. Сент-Обен был в восторге от возможности послужить столь важному делу. Подумать только! И ведь что от него требуется? Распространить фальшивые ассигнаты, которые были выданы ему, как и большинству его соратников. Итак, он тратил их в полное свое удовольствие. Большую часть ночи провел за игрой, чтобы счастливо расточить целое состояние. Утром он вернулся к Розали и повел ее завтракать к Фраскати. Хозяин этого заведения, расположенного на углу бульвара, сожалел о старом режиме, когда клиенты умели с толком дегустировать разновидности его мороженого. Они позавтракали там в беседке, увитой глициниями, потом побродили по восьми салонам, декорированным под античность, где актрисы, кутилы, светская публика, изнеженные модники трепали языком под люстрами из горного хрусталя и поправляли свои наряды перед громадными зеркалами в рамах, выточенных из апельсинового дерева. Группа взбудораженных мюскаденов шумно кипятилась, сидя на резных изысканных стульчиках в этрусском стиле за маленькими круглыми столиками. Среди них был Дюссо, он окликнул Сент-Обена, который проходил мимо под руку с Розали, зажав под мышкой свою трость со свинчаткой и держа наготове прямоугольный чемоданчик с фальшивыми купюрами:

— Привезут в семь, а начнут давать в восемь.

Человеческая основа бюрократии давала людям хотя бы надежду на выявление и исправление ее ошибок. Например, в 1951 году бюрократы из совета по образованию в городе Топика, штат Канзас, отказались зачислить дочь Оливера Брауна в начальную школу рядом с ее домом. Вместе с двенадцатью другими семьями, получившими аналогичные отказы, Браун подала иск против Совета по образованию Топики, который в итоге дошел до Верховного суда США.

— У вас до неприличия веселый вид, дорогой мой.

— Так до восьми и будешь стоять?

— Я же предаюсь мотовству, пускаю свои деньги на ветер!

Все члены совета по образованию Топеки были людьми, и, следовательно, Браун, его адвокаты и судьи Верховного суда достаточно хорошо понимали, как они принимали решение, каковы были их возможные интересы и предубеждения. Все члены совета были белыми, Брауны - чернокожими, а близлежащая школа была сегрегированной школой для белых детей. Поэтому легко понять, что причиной отказа бюрократов зачислить дочь Брауна в школу был расизм.

— Стало быть, вы еще не знаете.

— Не, скоро сеструха сменит. Она уже большая, ей двенадцать.

— Что я должен знать?

Также стало возможным понять, откуда взялись мифы о расизме. Расизм утверждал, что человечество разделено на расы; что белая раса превосходит другие расы; что любой контакт с представителями черной расы может загрязнить чистоту белых; и что поэтому черным детям следует препятствовать смешиваться с белыми детьми. Это была смесь двух хорошо известных биологических драм, которые часто происходят вместе: \"Мы против них\" и \"Чистота против загрязнения\". Почти в каждом человеческом обществе в истории существовала та или иная версия этой биодрамы, и историки, социологи, антропологи и биологи понимают, почему она так привлекательна для людей, а также почему она глубоко порочна. Хотя расизм позаимствовал свою основную сюжетную линию у эволюции, конкретные детали являются чистой мифологией. Нет никаких биологических оснований для разделения человечества на отдельные расы, и нет абсолютно никаких биологических причин считать, что одна раса \"чистая\", а другая \"нечистая\".

— Наше «Кафе де Шартр» только что закрыли, а друзей отвели в арестный дом.

— А тебе сколько?

— Так давайте потребуем задержания тех, кто отвечает за это безобразие!

— Кого же именно?

— Восемь с половиной.

Американские белые супремасисты пытаются обосновать свою позицию, апеллируя к различным священным текстам, в первую очередь к Конституции США и Библии. Конституция США изначально узаконила расовую сегрегацию и превосходство белой расы, оставив все гражданские права за белыми людьми и разрешив порабощение чернокожих. Библия не только освятила рабство в Десяти заповедях и других многочисленных отрывках, но и наложила проклятие на потомство Хама - предполагаемого прародителя африканцев - сказав, что \"низшим из рабов будет он для братьев своих\" (Бытие 9:25).

Повисла пауза. Вопрос был не из приятных, он их смутил. Сент-Обен попросил своего друга Дюссо вмешаться, походатайствовать перед Фрероном, ведь он же пишет для него статьи и речи. Но Дюссо пожал плечами:

— Не боитесь, что вас затолкают?

— Я уже много дней его в глаза не видел.

Однако оба эти текста были созданы людьми, а значит, люди могли осознать их происхождение и несовершенство и хотя бы попытаться исправить их ошибки. Люди могут понять политические интересы и культурные предубеждения, которые преобладали на древнем Ближнем Востоке и в Америке XVIII века и которые заставили человеческих авторов Библии и Конституции США узаконить расизм и рабство. Такое понимание позволяет людям либо вносить поправки в эти тексты, либо игнорировать их. В 1868 году Четырнадцатая поправка к Конституции США предоставила равную правовую защиту всем гражданам. В 1954 году Верховный суд США в своем знаковом решении по делу \"Браун против Совета по образованию\" постановил, что сегрегация школ по расовому признаку является неконституционным нарушением Четырнадцатой поправки. Что касается Библии, то, хотя не существует механизма, позволяющего внести изменения в Десятую заповедь или Бытие 9:25, люди на протяжении веков по-разному интерпретировали этот текст и в конце концов полностью отвергли его авторитет. В деле \"Браун против Совета по образованию\" судьи Верховного суда США не сочли нужным принимать во внимание библейский текст.

— А вы, Сент-Обен, похоже, не ознакомились с сегодняшним утренним выпуском «Народного глашатая»?

— Не, тут порядок, все по номерам.

Но что может произойти в будущем, если какой-нибудь алгоритм социального кредита откажет ребенку с низким кредитом в просьбе записаться в школу с высоким кредитом? Как мы видели в главе 8, компьютеры, скорее всего, будут страдать от собственных предубеждений и изобретать межкомпьютерные мифологии и фиктивные категории. Как люди смогут выявлять и исправлять такие ошибки? И как судьи Верховного суда из плоти и крови смогут принимать решения о конституционности алгоритмических решений? Смогут ли они понять, как алгоритмы приходят к своим выводам?

— Я был слишком занят — деньги транжирил.

— Так возьмите, почитайте.

Он показал ладошку. На ней химическим карандашом была выведена цифра «126».

Это уже не чисто теоретические вопросы. В феврале 2013 года в городе Ла-Кросс, штат Висконсин, произошла перестрелка на автомобиле. Позднее полицейские заметили автомобиль, участвовавший в стрельбе, и арестовали водителя, Эрика Лумиса. Лумис отрицал свою причастность к стрельбе, но признал себя виновным по двум менее тяжким обвинениям: \"попытка скрыться от сотрудника дорожной полиции\" и \"управление транспортным средством без разрешения владельца\".26 Когда судье предстояло определить меру наказания, он обратился к алгоритму под названием COMPAS, который Висконсин и некоторые другие американские штаты использовали в 2013 году для оценки риска повторного совершения преступления. Алгоритм оценил Лумиса как человека с высоким риском, который, скорее всего, совершит больше преступлений в будущем. Эта алгоритмическая оценка повлияла на судью, который приговорил Лумиса к шести годам лишения свободы - суровое наказание за относительно незначительные правонарушения, в которых он признался.

Сент-Обен сдвинул на лоб свою давно уже ненужную черную повязку и, едва взглянув на газетный лист, тотчас убедился, что «Глашатай», доселе воспевавший подвиги молодых людей, проникся к ним внезапной враждебностью. «Королевское правление, — писал Фрерон или его новый секретарь, — это омерзительный режим, неужто вы мните, что его можно восстановить с такой легкостью? Для того ли мы ниспровергли Робеспьера, чтобы посадить на его место короля?» Швырнув низкопробную газетенку на стол, Сент-Обен предложил:

В эту ночь Григорий долго не мог заснуть. Перед глазами всё стояла детская ладошка с цифрой 126.

— Пойдем штурмовать Комитет общественной безопасности! Надавим на них как следует, благо не впервой.

Лумис подал апелляцию в Верховный суд Висконсина, утверждая, что судья нарушил его право на надлежащую правовую процедуру. Ни судья, ни Лумис не понимали, как алгоритм КОМПАС дает свою оценку, а когда Лумис попросил дать ему полное объяснение, ему было отказано. Алгоритм КОМПАС был частной собственностью компании Northpointe, и компания утверждала, что методология алгоритма является коммерческой тайной. Однако, не зная, как алгоритм принимает решения, как Лумис или судья могли быть уверены, что это надежный инструмент, свободный от предвзятости и ошибок? Впоследствии ряд исследований показал, что алгоритм КОМПАС действительно мог содержать несколько проблемных предубеждений, вероятно, взятых из данных, на которых он обучался.

— Вы забываете, что теперь там свирепствует Луве. Он нас ненавидит, вот и оскорбляет в своей газете.

— Мы часто заходим потанцевать в Хижину, — тихонько обронила Розали.

В деле \"Лумис против Висконсина\" (2016) Верховный суд Висконсина все же вынес решение не в пользу Лумиса. Судьи утверждали, что использование алгоритмической оценки риска является законным, даже если методология алгоритма не раскрывается ни суду, ни подсудимому. Судья Энн Уолш Брэдли написала, что, поскольку КОМПАС делает свою оценку на основе данных, которые либо находятся в открытом доступе, либо предоставлены самим обвиняемым, Лумис мог бы опровергнуть или объяснить все данные, которые использовал алгоритм. В этом заключении не учитывался тот факт, что точные данные вполне могут быть неверно интерпретированы и что Лумис не мог опровергнуть или объяснить все общедоступные данные о себе.

— А ведь точно! Она права! Терезия нас поддержит. Вспомните, сколько наших она спасла от гильотины в Бордо при Терроре! Пойду туда сегодня же вечером, потом вас извещу о результатах. Но где? Ведь «Кафе де Шартр» под запретом…

XVI

— В Национальной гвардии есть секции, которые всецело на нашей стороне, — сказал Дюссо. — Секция Лепелетье предоставила нам приют в бывшем монастыре Дочерей Святого Фомы. Их штаб состоит из шуанов, крайне настроенных против Конвента.

Верховный суд штата Висконсин не был полностью лишен понимания опасности, связанной с использованием непрозрачных алгоритмов. Поэтому, разрешив такую практику, он постановил, что всякий раз, когда судьи получают алгоритмические оценки риска, они должны содержать письменное предупреждение для судей о потенциальной предвзятости алгоритмов. Суд также посоветовал судьям быть осторожными, полагаясь на такие алгоритмы. К сожалению, эта оговорка оказалась пустым жестом. Суд не дал судьям никаких конкретных указаний относительно того, как им следует проявлять такую осторожность. В своем обсуждении этого дела Гарвардское юридическое обозрение пришло к выводу, что \"большинство судей вряд ли поймут алгоритмические оценки рисков\". Затем он процитировал одного из судей Верховного суда штата Висконсин, который отметил, что, несмотря на подробные объяснения алгоритма, им самим было сложно его понять.

Утром 17 апреля в его комнате пронзительно зазвонил телефон. Звонок был необычный — прерывистый, требовательный. Так звонят с междугородней станции. Но это был не межгород, а коммутатор Кремля. Оператор передал, что подполковнику Токаеву приказано никуда не отходить от телефона и никому не звонить, его телефон постоянно подключён к спецсвязи, вызов может последовать в любую минуту. Целый день Григорий проходил по комнате, поглядывая на чёрный аппарат, как на гранату с выдернутой чекой. Только к вечеру телефон ожил.

Ободренный новыми открывшимися возможностями, Сент-Обен распрощался с приятелями, но в такую рань и речи не могло быть о том, чтобы заявиться в Хижину.

— Это Серов, — услышал Григорий в трубке.

— А хочешь, пойдем в «Рощи Идалии» сорить нашими ассигнатами? — предложил он Розали.

Лумис подал апелляцию в Верховный суд США. Однако 26 июня 2017 года суд отказался рассматривать это дело, фактически поддержав решение Верховного суда Висконсина. Теперь подумайте о том, что алгоритм, который в 2013 году оценил Лумиса как человека с высоким уровнем риска, был ранним прототипом. С тех пор были разработаны гораздо более сложные и изощренные алгоритмы оценки риска, которым были предоставлены более широкие полномочия. К началу 2020-х годов граждане многих стран будут регулярно получать тюремные сроки, частично основанные на оценках риска, сделанных алгоритмами, которые не понимают ни судьи, ни обвиняемые. И тюремные сроки - это только верхушка айсберга.

— Какой Серов? — не понял он.

 

Ее привела в восторг идея прогуляться и вечерней порой повальсировать в зеленой гостиной под открытым небом в сиянии многоцветных фонариков, где однажды она уже выиграла на конкурсе танцоров массивный золотой браслет. Они наняли пронумерованный фиакр на стоянке под каштанами бульвара, и за пачку фальшивых купюр их отвезли к Монмартрской заставе. «Рощи Идалии» раскинулись на холме. Все здесь было оборудовано так, чтобы создать впечатление феерии. Аллеи и газоны кишели гуляющими. Парочка прошлась вдоль искусственного ручья вверх до питающего его ключа, который струился между причудливых камней. Они смеялись, как смеются в двадцать лет, забыв обо всем — о короле, комитете, моде, карательных походах и множестве других забот. Целовались возле шале, окруженного картонными скалами, потом зашли в замок из искусственного мрамора, позабавились игрой зеркал, бесконечно умножавших или деформировавших их отражения. Розали чуть не свалилась в бешеный горный поток, теснившийся меж валунов, и пережила мгновение испуга, ступив на лесенку, откуда вдруг выскочил китайский сюрприз-автомат и поднес ей пучок изящных перистых цветов. Перед часовенкой, которой умышленно был придан вид живописной руины, их встретил отшельник в грубошерстном монашеском балахоне с приклеенной бородой, окликнул, стал городить что-то про ожидающие впереди славные приключения. Они слушали, не уловив в его болтовне ничего серьезного, но ряженый малый, получив полную пригоршню ассигнатов, завершил свои предсказания куда более конкретным образом: «Я вижу всадников, несущих на своих киверах зеленое и красное, они подстерегают вас…» Человек прибавил еще: «Полиция, она везде, даже в воздухе».

— Такой! Не узнал?

ПРАВО НА ОБЪЯСНЕНИЕ

У подножия волшебного холма реальность предстала им в виде эскадрона легкой кавалерии, прибывшего, несомненно, из пригорода. Верховые егеря испытующе разглядывали всех входящих в парк и выходящих оттуда. Стоило им приметить экстравагантно разряженных молодых людей, как они тотчас, пришпорив лошадей, устремлялись к ним, окружали, отделив от толпы, и уводили, держа сабли наголо, к фургону, стоявшему наготове возле старой таможенной заставы Монмартра. И ни одного протестующего голоса. В «Рощи Идалии» люди приходили потанцевать, посмеяться, судьба мюскаденов больше никого не интересовала, а здесь и подавно. Сент-Обен, остановившись возле декорации греческого храма, швырнул в траву свою трость, потом огромную треуголку и в бешенстве вскричал:

Компьютеры принимают за нас все больше решений, как обыденных, так и меняющих жизнь. Помимо тюремных сроков, алгоритмы все чаще решают, предложить ли нам место в колледже, дать ли нам работу, предоставить ли нам социальное пособие или выдать кредит. Они также помогают определить, какое медицинское обслуживание мы получаем, какие страховые взносы платим, какие новости слышим и кто пригласит нас на свидание.

— Извините, товарищ генерал-полковник. Слушаю вас.

— Фрерон нас предал! И Баррас предатель! Нам не трости нужны, а ружья!

По мере того как общество доверяет все больше и больше решений компьютерам, оно подрывает жизнеспособность демократических механизмов самокоррекции, а также демократической прозрачности и подотчетности. Как выборные должностные лица могут регулировать непостижимые алгоритмы? В связи с этим растет потребность в закреплении нового права человека - права на объяснение. Вступившее в силу в 2018 году Общее положение Европейского союза о защите данных (GDPR) гласит, что если алгоритм принимает решение в отношении человека - например, отказывает нам в кредите, - то человек имеет право получить объяснение этого решения и оспорить его перед каким-либо человеческим органом. В идеале это должно сдерживать предвзятость алгоритмов и позволить демократическим механизмам самокоррекции выявить и исправить хотя бы некоторые из наиболее грубых ошибок компьютеров.

— Машина к тебе послана. В ней капитан Никитин из комендатуры Кремля. Делай то, что он скажет.

— Баррас на тебя не злится, — вздохнула Розали.

— Зато я на него зол!

Через несколько минут в дверь постучали. Капитан Никитин настороженно оглядел комнату и обратился к Григорию:

Но может ли это право быть реализовано на практике? Мустафа Сулейман - мировой эксперт в этой области. Он является соучредителем и бывшим главой DeepMind, одной из самых значимых компаний в мире ИИ, ответственной за разработку программы AlphaGo, среди прочих достижений. AlphaGo была создана для игры в го - стратегическую настольную игру, в которой два игрока пытаются победить друг друга, окружая и захватывая территорию. Изобретенная в Древнем Китае, эта игра гораздо сложнее шахмат. Поэтому даже после того, как компьютеры победили человеческих чемпионов мира по шахматам, эксперты все еще считали, что компьютеры никогда не превзойдут человечество в го.

— Я же тебе передала то, что он мне сказал…

Именно поэтому и профессионалы го, и компьютерные эксперты были ошеломлены в марте 2016 года, когда AlphaGo победил чемпиона Южной Кореи по го Ли Седоля. В своей книге 2023 года \"Грядущая волна\" Сулейман описывает один из самых важных моментов их матча - момент, который дал новое определение ИИ и который во многих научных и правительственных кругах признан важнейшим поворотным пунктом в истории. Это произошло во время второй партии матча, 10 марта 2016 года.

— Знаю! Если я присоединюсь к той идиотской комиссии, куда меня пристроил твой муж, они не завербуют меня силком. Само собой! Но у меня есть принципы, которые я должен защищать от этих предателей!

— Подполковник Токаев?

\"Затем... последовал ход № 37\", - пишет Сулейман. \"Это было бессмысленно. AlphaGo, очевидно, провалил дело, слепо следуя очевидно проигрышной стратегии, которую ни один профессиональный игрок никогда бы не применил. Комментаторы матча, оба профессионала высочайшего класса, сказали, что это \"очень странный ход\", и решили, что это \"ошибка\". Это было настолько необычно, что Седолю потребовалось пятнадцать минут, чтобы ответить, и он даже встал из-за доски, чтобы прогуляться на улицу. Мы наблюдали за происходящим из нашей комнаты управления, и напряжение было нереальным. И все же по мере приближения эндшпиля этот \"ошибочный\" ход оказался решающим. AlphaGo снова выиграла. Стратегия игры в го переписывалась на наших глазах. Наш ИИ обнаружил идеи, которые не приходили в голову самым гениальным игрокам на протяжении тысячелетий\".

Отшельник с бородой из пакли сочувственно поделился своим мнением:

— Да, это я.

— Если солдаты не схватят вас сегодня, они сделают это завтра. Ваш нелепый наряд выдает вас.

Move 37 - это эмблема революции ИИ по двум причинам. Во-первых, он продемонстрировал инопланетную природу ИИ. В Восточной Азии го считается гораздо большим, чем просто игрой: это ценнейшая культурная традиция. Наряду с каллиграфией, живописью и музыкой, го было одним из четырех искусств, которые должен был знать каждый утонченный человек. На протяжении более чем двадцати пяти сотен лет в го играли десятки миллионов людей, а вокруг игры сформировались целые школы, отстаивающие различные стратегии и философии. Однако за все эти тысячелетия человеческие умы исследовали лишь некоторые области го. Другие области оставались нетронутыми, потому что человеческие умы просто не думали туда соваться. ИИ, будучи свободным от ограничений человеческого разума, обнаружил и исследовал эти ранее скрытые области.

— Сдайте оружие.



Во-вторых, ход 37 продемонстрировал непостижимость ИИ. Даже после того, как AlphaGo сыграл его и добился победы, Сулейман и его команда не смогли объяснить, как AlphaGo решил сыграть его. Даже если бы суд обязал DeepMind предоставить Ли Седолю объяснения, никто не смог бы выполнить этот приказ. Сулейман пишет: \"Перед нами, людьми, стоит новая задача: будут ли новые изобретения недоступны нашему пониманию? Раньше создатели могли объяснить, как что-то работает, почему оно делает то, что делает, даже если это требовало огромного количества деталей. Сейчас это все чаще перестает быть правдой. Многие технологии и системы становятся настолько сложными, что не под силу ни одному человеку по-настоящему понять их.... В области искусственного интеллекта нейронные сети, движущиеся к автономности, в настоящее время не поддаются объяснению. Вы не можете провести человека через процесс принятия решений, чтобы объяснить, почему алгоритм выдал конкретное предсказание. Инженеры не могут заглянуть под капот и легко объяснить в деталях, что привело к тому или иному событию. GPT-4, AlphaGo и все остальные - это \"черные ящики\", их результаты и решения основаны на непрозрачных и невозможно сложных цепочках мельчайших сигналов\".

— Я арестован?

Сент-Обен и Розали дождались ночи, притаившись возле прозрачного водопада. Вот и оркестры заняли свои места. Тогда лишь они рискнули спуститься с холма, озаренного множеством зеленых фонариков. Стрелки, караулившие у Монмартрской заставы, исчезли со своим фургоном, полным мюскаденов, так что им не составило труда остановить один из многочисленных фиакров, подвозивших гуляк к «Рощам Идалии». Они быстро добрались до центра города и своей улицы Дё-Порт-Сен-Савёр и сумели проскочить мимо гостей, собравшихся в салонах Делормеля. Войдя в свои апартаменты, Сент-Обен первым делом вытащил из сундука темный редингот.

— А есть за что?

— Ты куда-то еще собираешься?

Возникновение непостижимого инопланетного разума подрывает демократию. Если все больше и больше решений, касающихся жизни людей, принимаются в \"черном ящике\", так что избиратели не могут понять и оспорить их, демократия перестает функционировать. В частности, что произойдет, если важнейшие решения не только о жизни отдельных людей, но даже о коллективных делах, таких как процентная ставка Федеральной резервной системы, будут приниматься непостижимыми алгоритмами? Люди-избиратели могут продолжать выбирать человека-президента, но не будет ли это пустой церемонией? Даже сегодня лишь малая часть человечества по-настоящему понимает, что такое финансовая система. Исследование ОЭСР, проведенное в 2016 году, показало, что большинство людей с трудом понимают даже такие простые финансовые понятия, как сложные проценты. Опрос британских парламентариев, которым было поручено регулировать один из важнейших финансовых центров мира, в 2014 году показал, что только 12 процентов точно понимают, что новые деньги создаются, когда банки выдают кредиты. Этот факт относится к числу самых основных принципов современной финансовой системы.38 Как показал финансовый кризис 2007-8 годов, более сложные финансовые устройства и принципы, например те, что лежат в основе CDO, были понятны лишь немногим финансовым волшебникам. Что произойдет с демократией, когда искусственный интеллект создаст еще более сложные финансовые устройства, а число людей, понимающих суть финансовой системы, упадет до нуля?

Розали была в тревоге, но коль скоро она без конца только и делала, что тревожилась, Сент-Обен ответил ворчанием. Он заменил свои башмаки с пряжками на сапоги, пригодные для долгой ходьбы.

— Не знаю, вам видней.

Растущая непостижимость нашей информационной сети - одна из причин недавней волны популистских партий и харизматических лидеров. Когда люди больше не могут разобраться в мире, когда они чувствуют себя перегруженными огромным количеством информации, которую они не могут переварить, они становятся легкой добычей для теорий заговора и обращаются за спасением к тому, что они действительно понимают, - к человеку. К сожалению, хотя харизматичные лидеры, безусловно, имеют свои преимущества, ни один человек, каким бы вдохновляющим или гениальным он ни был, не сможет в одиночку расшифровать алгоритмы, которые все больше и больше доминируют в мире, и обеспечить их справедливость. Проблема в том, что алгоритмы принимают решения, опираясь на множество точек данных, в то время как человеку очень сложно сознательно обдумать большое количество точек данных и взвесить их друг с другом. Мы предпочитаем работать с отдельными точками данных. Вот почему, сталкиваясь со сложными проблемами - будь то просьба о кредите, пандемия или война, - мы часто ищем одну-единственную причину для принятия определенного решения и игнорируем все остальные соображения. Это и есть заблуждение единственной причины.

— Ты дождешься, что тебя арестуют…

— Не арестован. Пока. С оружием к товарищу Сталину не положено. Никому, даже маршалам.

Мы настолько плохо умеем взвешивать множество различных факторов, что, когда люди называют большое количество причин для принятия того или иного решения, это обычно звучит подозрительно. Допустим, хорошая подруга не пришла на нашу свадьбу. Если она даст нам единственное объяснение - \"Моя мама попала в больницу, и я должна была ее навестить\", - это звучит правдоподобно. Но что, если она перечислит пятьдесят различных причин, по которым решила не приходить: \"Моя мама была немного не в духе, и я должна была отвезти свою собаку к ветеринару на этой неделе, и у меня был проект на работе, и шел дождь, и... и я знаю, что ни одна из этих пятидесяти причин сама по себе не оправдывает моего отсутствия, но когда я сложила их все вместе, они не позволили мне присутствовать на вашей свадьбе\". Мы не говорим так, потому что не думаем в таком ключе. Мы не перечисляем в уме пятьдесят различных причин, не придаем каждой из них определенный вес, не суммируем все веса и не приходим таким образом к выводу.

— Вовсе нет. Я ничем не отличаюсь от любого другого, — буркнул он, напяливая вместо треуголки черную шляпу с широкими полями.

Но именно так алгоритмы оценивают наш криминальный потенциал или нашу кредитоспособность. Алгоритм КОМПАС, например, оценивает риски, принимая во внимание ответы на 137 пунктов анкеты. То же самое можно сказать и о банковском алгоритме, который отказывает нам в кредите. Если правила GDPR ЕС заставят банк объяснить решение алгоритма, это объяснение не будет состоять из одного предложения; скорее всего, оно будет представлено в виде сотен или даже тысяч страниц, заполненных цифрами и уравнениями.

Положил табельный ТТ Григория в портфель, поинтересовался:

— Не надо, не ходи…

— Я должен повидать Терезию, ведь сам вызвался, к тому же именно ты подала мне эту мысль.

— Готовы? Тогда пошли.

\"Наш алгоритм, - говорится в письме воображаемого банка, - использует точную систему баллов для оценки всех заявок, принимая во внимание тысячу различных типов данных. Все эти данные суммируются, чтобы получить общий балл. Люди, чей общий балл отрицательный, считаются малокредитоспособными, слишком рискованными, чтобы получить кредит. Ваш общий балл составил -378, поэтому ваша заявка на кредит была отклонена\". Далее в письме может быть приведен подробный список тысячи факторов, которые учитывал алгоритм, включая те, которые большинство людей могут посчитать несущественными, например точное время подачи заявки или тип смартфона, которым пользовался заявитель. Так, на странице 601 своего письма банк может объяснить, что \"вы подали заявку со своего смартфона, который был последней моделью iPhone. Проанализировав миллионы предыдущих заявок на кредит, наш алгоритм обнаружил закономерность: вероятность того, что люди, подавшие заявку с помощью последней модели iPhone, выплатят кредит, на 0,08 % выше. Поэтому алгоритм добавил 8 баллов к вашему общему баллу за это. Однако на момент отправки заявки с вашего iPhone его батарея была разряжена на 17 процентов. Проанализировав миллионы предыдущих заявок на кредит, наш алгоритм обнаружил еще одну закономерность: люди, которые допускают, чтобы заряд батареи их смартфона опускался ниже 25 процентов, на 0,5 процента реже выплачивают кредит. За это вы теряете 50 баллов\".

— И сглупила.

У подъезда стоял чёрный «Зис». Редкие прохожие разглядывали его с любопытством и опаской. Водитель включил сирену, машина пронеслась по московским улицам и остановилась у Боровицких ворот. И машину, и капитана Никитина охрана хорошо знал, но документы проверила очень тщательно. Следующая проверка, такая же тщательная, была у бокового входа в Сенат. В фойе младший лейтенант взял у Григория шинель, а у капитана Никитина шинель и его портфель. Поднявшись по лестнице с красным ковром, заглушавшим шаги, они оказались в длинном узком коридоре. Через каждый десять метров в нём стояли офицеры НКВД с каменными лицами. Возле двери, на которой не было никакой таблички, дежурили двое. Последовала ещё одна въедливая проверка всех документов, только после неё офицеры отступили от двери, освобождая вход в кабинет.

— Когда я предлагаю друзьям выход из положения, я слово держу.

Вам может показаться, что банк поступил с вами несправедливо. \"Разве это разумно - отказывать мне в кредите, - скажете вы, - только потому, что у меня разрядилась батарея телефона?\" Однако это было бы недоразумением. \"Батарея была не единственной причиной\", - объяснят в банке. \"Это был лишь один из тысячи факторов, которые учитывал наш алгоритм\".

Он поправил галстук, взял свою трость со свинчаткой и поцеловал Розали в лоб:

Это была приёмная Сталина. За письменным столом горбился личный секретарь Сталина генерал-майор Поскребышев, приземистый человек с бритой головой и серым лицом. По приёмной прохаживался генерал-полковник Серов, затянутый в ладно сидящий на нём мундир, выбритый до блеска, источающий запах кожи портупеи и «Шипра».

\"Но разве ваш алгоритм не видел, что только дважды за последние десять лет мой банковский счет был переполнен?\"

— На эту ночь я оставляю тебя твоему супругу.

\"Очевидно, он это заметил\", - могут ответить в банке. \"Посмотрите на страницу 453. За это вы получили 300 баллов. Но все остальные причины снизили ваш суммарный балл до -378\".

— Товарищ генерал-майор, подполковник Токаев доставлен, — доложил капитан Никитин Поскребышеву, хотя по субординации он должен был сначала обратиться к Серову. Но тут в Кремле свои правила.

Хотя такой способ принятия решений может показаться нам чуждым, у него, безусловно, есть потенциальные преимущества. При принятии решения, как правило, целесообразно учитывать все значимые данные, а не только один или два существенных факта. Конечно, есть много поводов для споров о том, кто определяет значимость информации. Кто решает, следует ли считать релевантными такие вещи, как модель смартфона или цвет кожи, при оформлении кредита? Но как бы мы ни определяли релевантность, способность учитывать больше данных, скорее всего, будет преимуществом. Ведь проблема многих человеческих предрассудков заключается в том, что они фокусируются только на одной или двух точках данных - цвете кожи, инвалидности или половой принадлежности - и игнорируют другую информацию. Банки и другие учреждения все чаще полагаются на алгоритмы при принятии решений именно потому, что алгоритмы могут учитывать гораздо больше данных, чем человек.

Но когда дело доходит до объяснений, это создает потенциально непреодолимое препятствие. Как человеческий разум может проанализировать и оценить решение, принятое на основе такого количества точек данных? Мы можем считать, что Верховный суд штата Висконсин должен был заставить компанию Northpointe раскрыть информацию о том, как алгоритм КОМПАС решил, что Эрик Лумис относится к группе повышенного риска. Но если бы все данные были раскрыты, смог бы Лумис или суд разобраться в них?

— Свободен, капитан, — ответил Поскребышев и очень внимательно посмотрел на Григория. — Токаев, ты случайно не выпил?

— Нет. Я жду тебя.

Дело не только в том, что нам нужно учитывать множество точек данных. Возможно, самое главное - мы не можем понять, как алгоритмы находят закономерности в данных и принимают решения о распределении баллов. Даже если мы знаем, что банковский алгоритм снимает определенное количество баллов с людей, которые допускают, чтобы заряд батареи их смартфонов опускался ниже 25 процентов, как мы можем оценить, справедливо ли это? Алгоритм не получал это правило от человека; он пришел к такому выводу, обнаружив закономерность в миллионах предыдущих кредитных заявок. Может ли отдельный клиент-человек просмотреть все эти данные и оценить, действительно ли эта закономерность надежна и беспристрастна?

— Нет, товарищ генерал-майор.

Он торопливо вышел, разминувшись на первой площадке со своим новым образом, шагнувшим навстречу из зеркала, услышал музыку и смех на первом этаже, кажется, узнал даже певучий голос Барраса и быстро вышел во двор. Прошагал по улочкам квартала. Чтобы обойти Пале-Рояль и подходы к нему, которые, как он подозревал, охранялись, двинулся напрямик по улице Булуа, неизменно людной и полной заезжих провинциалов, привлекаемых сюда здешними меблированными гостиницами, что объясняло также наличие тут же конторы дилижансов, обслуживающих Руан, Орлеан, Бордо. С некоторых пор старые масляные лампы, гаснувшие от малейшего ветерка, заменили новыми фонарями, где стекла сзади были превращены в зеркала, направлявшие свет вперед, однако нутряной жир, вытапливаемый для них на Лебяжьем острове, приходилось экономить, так что в лунные ночи они не горели; в данном случае так и было. Поэтому Сент-Обен шел, защищенный и своей неброской одеждой, и ночной темнотой. В самых узких переулочках ему приходилось остерегаться только веревок, которые воры натягивали над самой мостовой, чтобы буржуа падали — в этом положении удобнее обшаривать их карманы. Издали ему видна была площадь Карусели и с краю левого крыла Тюильри светящиеся четырехугольные окна Комитета общественного спасения: эти господа бодрствовали допоздна и сейчас, может статься, решали его судьбу. А он продолжал свой путь по улице Орти, затем направо берегом Сены, дошагав до развилки дорог, где начинается улица Верт, свернул и направился к Хижине, пробираясь в густых потемках на звуки арфы, что доносились оттуда.

Однако в этом облаке цифр есть и положительная сторона. В то время как неспециалисты могут быть не в состоянии проверить сложные алгоритмы, команда экспертов с помощью собственных инструментов искусственного интеллекта потенциально может оценить справедливость алгоритмических решений даже более надежно, чем кто-либо может оценить справедливость человеческих решений. В конце концов, хотя может показаться, что человеческие решения основываются только на тех нескольких точках данных, которые мы осознаем, на самом деле на наши решения подсознательно влияют тысячи дополнительных точек данных. Не зная об этих подсознательных процессах, когда мы обдумываем свои решения или объясняем их, мы часто используем одномоментные рационализации post hoc того, что происходит на самом деле, когда миллиарды нейронов взаимодействуют внутри нашего мозга. Соответственно, если человеческий судья приговаривает нас к шести годам тюрьмы, как можем мы - или судья - быть уверены, что решение было сформировано только из справедливых соображений, а не из-за подсознательных расовых предубеждений или того, что судья был голоден?

— А почему такой дёрганый?

Сегодня там, как и в любой другой вечер, был праздник.

— Волнуюсь.

В случае с судьями из плоти и крови эта проблема не может быть решена, по крайней мере, с нашими нынешними знаниями о биологии. В отличие от этого, когда решение принимает алгоритм, мы в принципе можем знать каждый из многочисленных соображений алгоритма и точный вес, придаваемый каждому из них. Так, несколько групп экспертов - от Министерства юстиции США до некоммерческого новостного агентства ProPublica - разбирали алгоритм КОМПАС, чтобы оценить его потенциальную предвзятость.46 Такие группы могут использовать не только коллективные усилия многих людей, но и мощь компьютеров. Подобно тому, как часто лучше подставить вора, чтобы поймать вора, так и мы можем использовать один алгоритм для проверки другого.

Лакеи у входа приветствовали его, как частого гостя этого дома, избавили от тяжелой трости и шляпы, и он вошел в концертный салон. Терезия в легкой тунике благосклонно принимала рукоплескания этого богатого разношерстного полусвета, которым любила себя окружать и влиянием на который пользовалась сверх меры. Она подняла руку, прося тишины, и, воздев ладонь к люстрам, принялась страстным голосом декламировать монолог Гермионы из последнего акта Расиновой «Андромахи», ибо она блистала всеми талантами, а сия царевна просила царя Пирра решиться на брак с ней подобно тому, как Терезия донимала Барраса, добиваясь, чтобы он отставил свою креолку:

— Понятно. Подожди, Иван Александрович, — обратился он к Серову. — Сейчас доложу.

В связи с этим возникает вопрос, как мы можем быть уверены в надежности самого алгоритма проверки. В конечном итоге чисто технологического решения этой рекурсивной проблемы не существует. Независимо от того, какую технологию мы разработаем, нам придется поддерживать бюрократические институты, которые будут проверять алгоритмы и давать или отказывать им в одобрении. Такие институты будут объединять возможности людей и компьютеров, чтобы убедиться, что новые алгоритмические инструменты безопасны и справедливы. Без таких институтов, даже если мы примем законы, предоставляющие людям право на объяснение, и даже если мы введем правила против компьютерной предвзятости, кто сможет обеспечить соблюдение этих законов и правил?



Где я? Что делаю? Что совершить должна я?
Взметнула бурю чувств во мне обида злая!
Брожу я по дворцу в отчаянье немом.
Любовь иль ненависть мне душу жжет огнем?[2]



 

Он ненадолго скрылся в кабинете.

NOSEDIVE

Самые приближенные и наиболее начитанные усмехались: им были известны как трагедия Расина, так и любовная комедия мадам Тальен. Невежды, простодушно плененные красотой этой актрисы одного вечера, ждали момента, когда можно будет выразить ей свой восторг, то есть приблизиться, позволить себе мимолетное прикосновение, вдохнуть ее аромат, поймать оброненное словцо, взгляд, ласку. Сент-Обен тоже подстерегал минуту, чтобы заговорить с нею, но держался в стороне от толпы ее почитателей. Нетерпение грызло его. Как подступиться со своей просьбой? Какими словами выразить ее? В ее ли силах помешать комитету продолжать охоту на мюскаденов? Кого и каким образом она может защитить?

— Входите. — Придержал Григория за рукав. — Много не говори, он этого не любит. Только по делу.



Над яростью моей он попросту смеется, —
Считает, что гроза слезами изольется,
Что, вознамерясь мстить, я в страхе задрожу,
И коли замахнусь, то руку удержу.



Чтобы проверить алгоритмы, регулирующие органы должны будут не только анализировать их, но и переводить свои открытия в понятные человеку истории. В противном случае мы никогда не будем доверять регулирующим институтам, а вместо этого будем верить в теории заговора и харизматичных лидеров. Как отмечалось в главе 3, людям всегда было трудно понять бюрократию, потому что бюрократии отклонялись от сценария биологических драм, а у большинства художников не хватало желания или способности изображать бюрократические драмы. Например, в романах, фильмах и сериалах о политике XXI века основное внимание уделяется вражде и любовным связям нескольких влиятельных семей, как будто современные государства управляются так же, как древние племена и королевства. Эта художественная зацикленность на биологических драмах династий заслоняет вполне реальные изменения, происходившие на протяжении веков в динамике власти.

К звучанию стихов «Андромахи» Сент-Обен не прислушивался, но вскоре раздались аплодисменты и крики «браво!», оповестившие его, что монолог окончен. Терезия получила множество комплиментов, а также вееров, ожерелий и экзотических цветов, которые тут же поручила заботам своих усердных лакеев. И вот, обходя залу, она приблизилась к Сент-Обену. Его лицо было бледно и сурово, в горле пересохло:

Поскольку компьютеры будут все чаще заменять людей-бюрократов и людей-мифотворцев, это снова изменит глубинную структуру власти. Чтобы выжить, демократии нужны не только специальные бюрократические институты, способные тщательно изучить эти новые структуры, но и художники, способные объяснить эти новые структуры в доступной и увлекательной форме. Например, это успешно сделал эпизод \"Nosedive\" в научно-фантастическом сериале \"Черное зеркало\".

Сталин сидел за письменным столом в правом дальнем конце полутемного кабинета. Слева от него, за длинным дубовым столом с полированной столешницей расположились члены Политбюро Маленков, Берия, Вознесенский, Микоян, Ворошилов, Жданов и Молотов. Столько первых лиц государства Григорий видел только на трибуне Мавзолея во время довоенной первомайской демонстрации.

— Мадам, я должен поговорить с вами…

Выпущенный в 2016 году, в то время, когда мало кто слышал о системах социального кредитования, \"Nosedive\" блестяще объясняет, как работают такие системы и какие угрозы они представляют. Эпизод рассказывает историю женщины по имени Лейси, которая живет со своим братом Райаном, но хочет переехать в собственную квартиру. Чтобы получить скидку на новую квартиру, ей нужно повысить свой социальный кредитный рейтинг с 4,2 до 4,5 (из 5). Дружба с людьми с высоким баллом повышает ваш собственный балл, поэтому Лейси пытается возобновить общение с Наоми, подругой детства, у которой сейчас рейтинг 4,8. Лейси приглашают на свадьбу Наоми, но по дороге туда она проливает кофе на человека с высоким рейтингом, из-за чего ее собственный балл немного падает, что, в свою очередь, заставляет авиакомпанию отказать ей в месте. С этого момента все, что может пойти не так, идет не так, рейтинг Лейси падает, и она оказывается в тюрьме с оценкой меньше 1.

Негоциант из Дижона, депутат, в этот самый момент пробился к ней с подношением — несколькими бутылями редчайшего вина. Брать их сама она не стала, но воспользовалась Сент-Обеном:

— Товарищ Сталин, генерал-полковник Серов и подполковник Токаев по вашему приказанию прибыли, — отрапортовал Серов.

— Возьмите бутылки, мой прелестный гражданин.

Эта история опирается на некоторые элементы традиционных биологических драм - \"парень встречает девушку\" (свадьба), соперничество братьев и сестер (напряжение между Лейси и Райаном) и, самое главное, статусное соперничество (главная проблема эпизода). Но настоящим героем и движущей силой сюжета является не Лейси или Наоми, а невоплощенный алгоритм, управляющий системой социальных кредитов. Алгоритм полностью меняет динамику старых биологических драм - особенно динамику статусной конкуренции. Если раньше люди иногда вступали в статусную конкуренцию, но часто имели желанные перерывы в этой крайне стрессовой ситуации, то вездесущий алгоритм социальных кредитов устраняет эти перерывы. \"Nosedive\" - это не избитая история о биологическом соревновании за статус, а скорее прозорливое исследование того, что происходит, когда компьютерные технологии меняют правила статусных соревнований.

Шепнула три слова лакею, нагруженному цветами, и сделала молодому человеку знак следовать за ней. Он заколебался. Терезия одарила его шаловливой улыбкой, в упор глянула в глаза и кивнула — это была молчаливая просьба не упрямиться. Вслед за лакеем, одетым во французском стиле, он вышел из гостиной. В прихожей тот передал цветы другому слуге, а Сент-Обен поставил бутылки на консоль.

— Проходите, товарищи, располагайтесь, — доброжелательно предложил Сталин. Он поднялся из-за стола и вплотную подошёл к Григорию. Он был на голову ниже подполковника, Григорий хорошо разглядел его изъеденное оспой лицо, прокуренные усы и седые поредевшие волосы.

Если бюрократы и художники научатся сотрудничать и если те и другие будут полагаться на помощь компьютеров, возможно, удастся предотвратить превращение компьютерной сети в непостижимую. Пока демократические общества понимают, что такое компьютерная сеть, их механизмы самокоррекции являются нашей лучшей гарантией от злоупотреблений ИИ. Так, в законе ЕС об ИИ, предложенном в 2021 году, системы социального кредитования, подобные той, что используется в фильме \"Nosedive\", названы одним из немногих видов ИИ, которые полностью запрещены, поскольку они могут \"привести к дискриминационным результатам и исключению определенных групп\" и \"нарушить право на достоинство и недискриминацию, а также ценности равенства и справедливости\". Как и в случае режимов тотальной слежки, так и в случае систем социального кредитования тот факт, что они могут быть созданы, не означает, что мы должны их создать.

— Поднимемся на второй этаж, сударь, — сказал лакей.

 

На лестничной площадке, украшенной роскошной резьбой, имитирующей переплетение золоченых лиан, Сент-Обен ощутил прилив счастья. С Терезией все казалось простым и легким. Баррас не сможет противиться ей, и, значит, Конвент оставит мюскаденов в покое.

— Осетин?

ЦИФРОВАЯ АНАРХИЯ

— Господину надлежит подождать прихода мадам вот здесь, — сказал лакей, отворяя дверь комнаты.

Новая компьютерная сеть представляет собой последнюю угрозу для демократий. Вместо цифрового тоталитаризма она может привести к цифровой анархии. Децентрализованная природа демократий и их сильные самокорректирующиеся механизмы служат защитой от тоталитаризма, но они также усложняют обеспечение порядка. Чтобы функционировать, демократия должна отвечать двум условиям: она должна обеспечивать свободный общественный диалог по ключевым вопросам и поддерживать минимальный уровень социального порядка и институционального доверия. Свободный разговор не должен скатываться в анархию. Особенно когда речь идет о срочных и важных проблемах, общественные дебаты должны вестись в соответствии с принятыми правилами, и должен существовать легитимный механизм для принятия какого-то окончательного решения, даже если оно не всем нравится.

— Так точно, товарищ Сталин.

Он вошел первым, зажег свечи в подсвечниках и с поклоном удалился, закрыв за собой дверь. Подле монументального ложа с желтыми завесами красовалась статуя испуганной Дианы, похожей на мадам Тальен. Сент-Обен хотел сесть, но не нашел ничего подходящего — ни кресла, ни канапе. Он пристроился на краю ложа и вытянулся во весь рост. Когда Терезия вошла в спальню, она обнаружила молодого человека полностью одетым, но распростертым на кровати, со скрещенными на груди руками. Измученный бессонной ночью и пережитыми треволнениями, он храпел.

До появления газет, радио и других современных информационных технологий ни одному крупному обществу не удавалось сочетать свободные дискуссии с институциональным доверием, поэтому масштабная демократия была невозможна. Теперь, с появлением новых компьютерных сетей, может ли масштабная демократия снова стать невозможной? Одна из трудностей заключается в том, что компьютерная сеть облегчает участие в дебатах. В прошлом такие организации, как газеты, радиостанции и устоявшиеся политические партии, выступали в роли привратников, определяя, кто будет услышан в публичной сфере. Социальные медиа подорвали власть этих привратников, что привело к более открытому, но и более анархичному общественному разговору.

— Иронау ма зоныс, Токайы-фырт?[2] — спросил Сталин по-осетински с южноосетинским акцентом.



Когда к обсуждению присоединяются новые группы, они приносят с собой новые точки зрения и интересы и часто ставят под сомнение старый консенсус о том, как вести дискуссию и принимать решения. Правила дискуссии должны быть согласованы заново. Это потенциально позитивное развитие событий, которое может привести к созданию более инклюзивной демократической системы. В конце концов, исправление прежних предубеждений и предоставление возможности ранее лишенным прав людям присоединиться к общественной дискуссии - это жизненно важная часть демократии. Однако в краткосрочной перспективе это создает беспорядки и дисгармонию. Если не будет достигнуто соглашение о том, как вести общественные дебаты и как принимать решения, результатом станет анархия, а не демократия.

Григорий растерялся и ответил по-русски:

Улица Вивьен, чуть не достигая бульваров, своей северной оконечностью смыкается с идущей под прямым углом к ней улицей Дочерей Святого Фомы как раз напротив ворот бывшего доминиканского монастыря, в то время занятого секцией Лепелетье. Национальные гвардейцы из зажиточных, торговцы прохладительными напитками, учащиеся школ, чиновники, рестораторы, клерки, приказчики, до крайности распаленные шуанами и газетчиками, ратующими за монархию, превратили трапезную в оружейную, а в недействующей церкви проводили собрания, о чем Сент-Обен узнал при входе. В этот монастырь он забрел впервые. Под галереей с колоннами обошел четырехугольный сад, заполоненный кустарником и полевыми цветами. Мысль о том, как он был смешон со своим визитом к мадам Тальен, приводила его в уныние. Он проснулся на заре, когда она уже ушла. Ему стоило большого труда выдержать насмешливые взгляды лакеев. Однако, как и было условлено, ему придется доложить друзьям о провале своего демарша.

Анархический потенциал ИИ вызывает особую тревогу, поскольку он позволяет не только новым человеческим группам вступать в общественные дискуссии. Впервые в истории демократия вынуждена бороться с какофонией нечеловеческих голосов. На многих платформах социальных сетей боты составляют значительное меньшинство участников. Согласно одному из аналитических исследований, из 20 миллионов твитов, созданных во время избирательной кампании в США в 2016 году, 3,8 миллиона твитов (почти 20 процентов) были созданы ботами.

Он тщетно ломал голову, ища способ затушевать свое фиаско, чтобы оно выглядело не таким глупым, когда, проходя мимо группы возбужденных секционеров, услышал разговор, поразивший его.

— Понимаю, товарищ Сталин.

К началу 2020-х годов ситуация ухудшилась. Исследование 2020 года показало, что боты создают 43,2 % твитов. Более полное исследование 2022 года, проведенное агентством цифровой разведки Similarweb, показало, что 5 % пользователей Twitter, вероятно, являются ботами, но они создают \"от 20,8 до 29,2 % контента, публикуемого в Twitter\". Когда люди пытаются обсудить такой важный вопрос, как кого выбрать президентом США, что произойдет, если многие из голосов, которые они услышат, будут созданы компьютерами?

Высадка в Кибероне была разгромлена.

— Это хорошо, родной язык нельзя забывать.

Еще одна тревожная тенденция касается контента. Изначально боты использовались для влияния на общественное мнение за счет огромного объема распространяемых ими сообщений. Они ретвитили или рекомендовали определенный контент, созданный человеком, но сами не могли создавать новые идеи и устанавливать близкие отношения с людьми. Однако новые инструменты генеративного ИИ, такие как ChatGPT, способны именно на это. В исследовании 2023 года, опубликованном в журнале Science Advances, ученые попросили людей и ChatGPT создать как точные, так и намеренно вводящие в заблуждение короткие тексты по таким вопросам, как вакцины, технология 5G, изменение климата и эволюция. Затем эти тексты были представлены семистам людям, которых попросили оценить их достоверность. Люди хорошо распознавали ложь дезинформации, созданной человеком, но склонны были считать дезинформацию, созданную ИИ, достоверной.

Сначала он не поверил, переспросил, заставил повторить ему кошмарные и притом, похоже, проверенные цифры. Гош взял десять тысяч пленных, в том числе захватил весь клир Дольского епископства вкупе с самим монсеньором. Его добыча — шестьдесят тысяч ружей, шестьдесят тысяч пар обуви, одежда, изрядный запас пшеницы и сушеного мяса.