Три слова, которые решат, смогут ли роботы убивать людей на войне

Представьте: две страны находятся в состоянии войны. Страна X отправляет беспилотник в крупный промышленный город страны Y с целью уничтожить два резервуара с пропаном. Рутинная операция. Но на этот раз дрон не достигает цели. Вместо этого беспилотник Страны X случайно врезается в близлежащую стену, взрывается и убивает троих молодых мирных жителей.

Когда Страна Y в итоге извлекает обломки дрона для разведки, она обнаруживает внутри суперкомпьютер с искусственным интеллектом, который раскрывает нечто тревожное. Вместо того, чтобы решение о цели принимал человек — это сделал ИИ.

Ключевые выводы

• Российский дрон с ИИ, по сообщениям, самостоятельно выбрал цель в Украине, убив трех мирных жителей — зловещий случай, когда машины принимают летальные решения без прямого вмешательства человека.
• Глобальные дебаты об автономном оружии сузились до двух конкурирующих рамок: «значимый человеческий контроль», который настаивает на вмешательстве человека в летальные решения, и более гибкое «надлежащее человеческое суждение» Пентагона.
• OpenAI принял терминологию Пентагона, согласившись со стандартом, который не требует от человека принятия решения по каждому летальному действию и оставляет его практические пределы для будущих, индивидуальных военных применений.

На самом деле, вам не нужно представлять эту сцену — это только что произошло. Впервые в российско-украинской войне, как недавно сообщала The New York Times, трое украинских мирных жителей погибли от российского беспилотника, разработанного, сконструированного и запущенного людьми, который в итоге самостоятельно выбрал свою цель. И эта новая реальность формирует будущее войны.

Это связано с тем, что ряд стран, в том числе те, которые обладают самыми влиятельными армиями мира, отвергают идею о том, что люди должны всегда контролировать оружие в условиях войны.

Вместо этого, по мере того как новые технологии автономного оружия становятся более совершенными, а существующие международные правовые рамки не успевают за ними, некоторые страны принимают более широкое понимание ответственности человека: люди могут осуществлять достаточный контроль не путем одобрения каждого удара, а путем проектирования, тестирования и установления правил, по которым работает данное оружие.

Этот сдвиг породил одну из самых значительных политических дискуссий современности. И, в конечном счете, господство человека над «роботами-убийцами» — как в народе называют автономное оружие — может свестись к битве между двумя трехсловными фразами: «значимый человеческий контроль» против «надлежащего человеческого суждения».

Битва семантики с высокими ставками

В начале 2010-х годов «значимый человеческий контроль» возник как первоначальная рамка в первых международных обсуждениях регулирования приемлемого уровня участия человека (или его отсутствия) в развертывании автономного оружия. Хотя этот термин быстро стал первоначальным организующим принципом среди многих государств в этих дебатах, он также встретил немедленное сопротивление со стороны ряда других, таких как США и Россия.

«Проблема в том, что означает [значимый человеческий контроль]?» — сказала Лена Трабукко, эксперт по ИИ и человеческому контролю, нештатный сотрудник Центра международного права Стоктона в Военно-морском колледже. «И что делает что-то значимым, а что нет?» По ее словам, существовало как отсутствие консенсуса относительно того, что означает «значимый», так и «контроль». Но проблемы выходили за рамки простой семантической двусмысленности. «Собрать целую группу стран для согласования стандарта того, что такое «значимый контроль», — сказала Трабукко, — стало почти невыполнимой задачей».

В конечном итоге, хотя точное определение значимого человеческого контроля так и не было полностью сформулировано, этот термин стал достаточно понятным, чтобы способствовать продолжению международного диалога о том, как регулировать автономное оружие. Как объяснила Трабукко: «Мы все в некотором роде понимали, что мы пытаемся ухватить идеей значимого человеческого контроля, даже если мы не соглашались на какой-либо стандарт того, что является «значимым» или что именно означает «контроль»».

Брэд Бойд, отставной полковник и старший научный сотрудник Центра международной безопасности и сотрудничества Стэнфорда, заявил, что в этом международном контексте «значимый контроль» стал пониматься как участие человека в тот самый момент, когда выстреливает данное оружие. Однако, с точки зрения США, такое общепринятое определение все еще оставляло ряд нерешенных проблем.

Одной из наиболее важных лазеек в определении был вопрос о сроках. «Выпуск оружия теоретически может произойти за минуты, часы, дни, недели до того, как оружие фактически поразит цель», — объяснил Бойд. Например, дрон может быть выпущен для патрулирования обозначенной области и оставаться в воздухе часами, выискивая все, что соответствует заданным критериям цели. Между моментом запуска дрона человеком и моментом, когда машина находит цель и открывает огонь, могут пройти секунды, минуты или часы.

«Расширение временных рамок стало очень трудным для концепции «значимого человеческого контроля», чтобы действительно казалось, что она делает то, чего люди хотели», — сказал Бойд. Напряженность между определенными техническими или инженерными проблемами и политическим языком, предпочитаемым международными форумами, создала, с точки зрения США, непреодолимые препятствия для того, чтобы значимый человеческий контроль стал по-настоящему практичной основой.

Таким образом, США приняли свою собственную альтернативу: «надлежащее человеческое суждение».

«Автономные и полуавтономные системы вооружения будут спроектированы таким образом, чтобы командиры и операторы могли осуществлять надлежащие уровни человеческого суждения при применении силы», — говорится в ключевой директиве Министерства обороны. Новый язык фактически сместил требуемый момент вмешательства человека от момента выстрела из оружия к надзору за всем жизненным циклом системы — от ее проектирования до разработки и развертывания.

Существуют контексты, когда правительству может не потребоваться такой высокий уровень человеческого контроля над оружием для соблюдения международного права, — сказала Трабукко. Вот где тонкое предпочтение «надлежащего» вместо «значимого» имеет значение. «Если мы находимся в открытом море, возможно, не так необходимо соблюдать очень высокий порог человеческого контроля, потому что в таких контекстах нет большого риска для гражданских лиц или гражданской собственности», — сказала она.

«Теперь, в городе, в городской среде», где риск вреда для гражданского населения и другой сопутствующий ущерб гораздо выше, — объяснила Трабукко, — «тогда этот высокий порог станет важным». США искали гибкость, чтобы определить, сколько человеческого участия они сочтут необходимым, в зависимости от конкретного контекста на поле боя, вместо того, чтобы иметь фиксированный, универсальный стандарт «значимости».

А почему переход от «контроля» к «суждению»? Бойд объяснил, что «любое автоматизированное действие, будь то автоматизация автомобиля или машинного оборудования, направлено на то, чтобы сделать его быстрее, точнее и так далее». Поэтому, вместо того чтобы настаивать на том, чтобы люди участвовали в каждом этапе процесса, что могло бы замедлить боевые операции, США просто стремились обеспечить, чтобы автономные системы действовали в соответствии с правовыми и этическими стандартами, независимо от ситуации, в которой они применялись.

Кто решает, сколько человеческого суждения является надлежащим?

«Нам нужен не обязательно контроль. Нам действительно нужно, чтобы машина отражала наши ценности, наши законы и наши правила», — сказал Бойд. «Когда люди применяют наши ценности, законы и правила, мы называем это суждением».

Хотя «надлежащее человеческое суждение» было разработано, чтобы избежать установления универсального стандарта участия человека, требуемого «значимым человеческим контролем», это не совсем пустая фраза. Согласно директиве Министерства обороны, эта рамка требует тестирования систем, определения операционных пределов, оценки вероятного вреда для гражданского населения, обучения операторов, установления правил ведения боевых действий и обеспечения того, чтобы система оставалась в пределах своей санкционированной миссии. И в некоторых контекстах эти требования могут предусматривать более тщательные гарантии, встроенные в оружие, чем простое условие, что в конечном итоге спусковой крючок должен нажать человек.

Но у этой рамки есть и собственная фундаментальная загадка — кто решает, сколько человеческого суждения является надлежащим? И что происходит, когда частный сектор, как, например, компании, разрабатывающие такие технологии, принимает эту терминологию до того, как мы получим ответ?

А теперь — частный сектор вынужден выбирать сторону

В июле, в том же месяце, когда Россия применила автономный дрон, OpenAI сделала нечто важное, что мало кто заметил: она снова пересмотрела свое отношение к военному применению своих технологий. Всего три года назад OpenAI сохраняла полный запрет на «военное и боевое» применение своих технологий. Теперь, после нескольких тихих пересмотров с 2023 года, новый пятистраничный документ с изложением политики «Принципы OpenAI для партнерства в сфере национальной безопасности» изложил положения компании именно для этого. (Раскрытие информации: Vox Media является одним из нескольких издателей, подписавших партнерские соглашения с OpenAI. Наша отчетность остается редакционно независимой.)

Что наиболее важно, объясняя свои основные условия применения технологий в военных контекстах, особенно тех, которые связаны с принятием решений об использовании летальной силы, OpenAI заимствует знакомую фразу: «надлежащее человеческое суждение».

Время было не случайным. Документ появился всего через несколько месяцев после публичной конфронтации между конкурентом OpenAI — компанией Anthropic — и Пентагоном по поводу оговорок первой относительно военного применения ее технологий. Та битва закончилась тем, что президент Дональд Трамп потребовал немедленно прекратить любое использование Anthropic в правительстве. Всего через несколько часов после исключения Anthropic генеральный директор OpenAI Сэм Альтман объявил, что его компания заключила собственное соглашение с правительством. (Раскрытие информации: Future Perfect частично финансируется Фондом BEMC, крупным инвестором которого был также один из первых инвесторов Anthropic; они не имеют никакого редакционного влияния на наш контент.)

Но OpenAI не только получила контракт после противостояния Anthropic и Пентагона, но и извлекла урок — согласование вашей политики с правительством приносит вам выгоду. Или, что еще хуже, противодействие правительству влечет за собой высокую цену.

«Надлежащее человеческое суждение», — говорится в документе о политике, — «не требует человеческого решения по каждому отдельному действию системы». Вместо этого рамка требует, чтобы «люди принимали информированные решения об условиях развертывания».

Как отметили и Трабукко, и Бойд, «надлежащий» уровень человеческого участия может варьироваться в зависимости от операционной среды, типа цели, технической оснащенности конкретной системы, предполагаемого риска для гражданского населения и ряда других политических, экономических и стратегических соображений, важных для военной операции. Эта гибкость, конечно, оперативно привлекательна для военных. Но у нее есть и цена — гарантии против передачи полного контроля над летальной силой машинам становятся трудноопределимыми, труднее измеримыми и труднее поддающимися принуждению.

Когда мы узнаем, когда баланс сил между человеком и машиной в войне станет «ненадлежащим»? Правда в том, что четкого ответа нет.

Подписывая гибкую рамку Пентагона, OpenAI признает, что этот стандарт не имеет устоявшегося значения, что его применение будет решаться индивидуально за стенами военной бюрократии, и что правительству может потребоваться пространство для изменения своего мнения. Это выбор, который предполагает, что компания меньше заинтересована в установлении четких красных линий и более восприимчива к собственной универсальности военных в отношении того, как ИИ и автономность могут использоваться в летальных операциях.

«Человеческое суждение при принятии критически важных решений должно быть значимым на практике, а не просто формальным», — гласит документ компании о принципах. Но вместо того, чтобы провести свою собственную четкую границу между тем, что ее технология будет делать, а что нет, OpenAI приняла двусмысленность как цену партнерства.

Это, несомненно, делает компанию более полезным союзником для Пентагона — одновременно затрудняя для общественности понимание того, где заканчивается человеческое суждение и начинается машинный контроль насилия.

Это, несомненно, делает компанию более полезным союзником для Пентагона — одновременно затрудняя для общественности понимание того, где заканчивается человеческое суждение и начинается машинный контроль насилия.

Поскольку разработка и развертывание автономного оружия стремительно ускоряются, без каких-либо существенных ограничений, один вопрос стоит задать прямо сейчас: прежде чем другие лаборатории ИИ и технологические компании примут эту рамку, пытаясь выровняться с США, что на самом деле означает «надлежащее человеческое суждение»? Иронично, но то, что эта фраза не означает, может быть самым важным.

Ради человечества, семантика регулирования автономного оружия стоит прояснения — иначе мы рискуем полностью потерять контроль.