За кем останется последнее слово на войне ― человеком или роботом?

Беспилотные летательные аппараты Northrop Grumman MQ-4C Triton на базе в Палмдейле, Калифорния, май 2013
Фото: пресс-служба ВМС США

Человечество не может позволить себе риск — отдать право на убийство машинам. Это не цитата из вымышленной вселенной «Терминатора», в которой, по замыслу режиссера Джеймса Кэмерона, децентрализованная сеть нейропроцессорных суперкомпьютеров Skynet отдает приказ об уничтожении рода человеческого 21 апреля 2011 года. Это призыв спецдокладчика ООН по вопросу о внесудебных казнях, казнях без надлежащего судебного разбирательства или произвольных казнях Кристофа Хейнса. 30 мая в Совете по правам человека ООН Хейнс выступил за введение глобального моратория на производство и размещение летальных автономных роботизированных систем (Lethal Autonomous Robots, LARs).

«Если беспилотники еще требуют "человека за пультом”, который принимал бы решение о применении силы со смертельным исходом, то LAR оснащены компьютерами, которые сами принимают решение, кто будет становиться их целью», ― беспокоится южноафриканский профессор права. «Война без должного размышления ― это механическая бойня», ― уверен он, имея в виду размышление именно человеческое. «Так же, как и решение забрать чью-то жизнь требует хотя бы какого-то обсуждения, решение наделить машины задачей уничтожения человеческих существ требует, чтобы [человечество] взяло коллективную паузу», ― предупреждает Хейнс своих коллег по правозащитному органу ООН. Он сомневается в способности даже самого совершенного искусственного интеллекта следовать главному правилу современной войны ― различать законные военные цели.

Перспектива использования искусственного интеллекта на войне ― дело совсем недалекого будущего, более того, это будущее уже наступило, и о трех законах робототехники Айзека Азимова в ходе его наступления никто не спрашивал.

«Многим, кажется, невдомек, что автономные оборонные системы существуют уже 20 лет и уже неоднократно по ошибке забирали человеческие жизни, ― говорит профессор военного права Школы права им. Р. Дедмана при Южном методистском университете в Далласе (штат Техас) Крис Дженкс, противник запрета на разработки в военной робототехнике. ― В ходе обеих «войн в Заливе» ракетные системы Patriot ошибочно идентифицировали врага и сбили американский самолет в одну войну и британский ― во вторую. А пять лет назад в ЮАР тоже произошел трагический случай, когда так называемая «пушка-робот» вышла из-под контроля, убив девять южноафриканских солдат».

Первый полностью автономный беспилотник (проект Condor) был разработан Агентством передовых оборонных исследовательских проектов США (Defense Advanced Research Projects Agency, DARPA) еще в 1988 году. Израильская армия уже более 20 лет имеет на вооружении автоматические беспилотные летательные аппараты (БПЛА) Harpy ― самолеты-снаряды, предназначенные для уничтожения радиолокационных станций. На вооружении ВМС США состоит противоракетная система Phalanx, имеющая задачи автоматического обнаружения, сопровождения и уничтожения целей, в том числе противокорабельных ракет и самолетов. А сухопутные силы располагают наземным вариантом этого комплекса, известным как C-RAM (Counter Rocket, Artillery and Mortar). И только два месяца назад ВМС США запустили в воздух БПЛА X-47B, способный самостоятельно выполнять свой полетный план, вмешательство в который со стороны человека необходимо только в самых экстренных ситуациях.


Боевой робот Samsung SGR-A1
Изображение: пресс-служба Samsung Techwin

Хейнс в своем докладе приводит еще несколько примеров ― имеющих куда больше ассоциаций с эрой «терминаторов». Например, южнокорейских роботов-охранников военного подразделения компании Samsung — Samsung Techwin. Они несут службу в демилитаризованной зоне на границе двух корейских государств, оснащены инфракрасными датчиками и отслеживают перемещения людей. И хотя сейчас их действиями руководит оператор-человек, эти роботы имеют и автоматический режим службы.

Автоматические БПЛА разрабатываются и британской оборонной промышленностью — оснащенные технологией «стелс» дроны Taranis способны выполнять межконтинентальные перелеты, неся на борту различное вооружение для поражения как воздушных, так и наземных целей. Первый испытательный полет Taranis должен совершить уже в этом году.


Автономный БПЛА Taranis
Изображение: AP

Правда, как заверял на слушаниях в палате общин 17 июня госминистр британского МИДа Алистер Бёрд, у Лондона нет намерений развивать автоматические роботизированные системы для использования на войне. Да и США в ноябре 2012-го через официальную директиву Пентагона заявили о намерении сохранить «соответствующий уровень человеческого участия при [принятии решения] об использовании силы». Этот необъявленный мораторий будет действовать в течение следующих десяти лет. А к окончанию этого периода, рассуждают в США, Пентагон уже вовсю будет озабочен вопросами отражения исходящих от Китая угроз ― необходимость адекватного ответа диктует продолжение разработок в области военной робототехники.

Правда, от полноценного искусственного интеллекта, самостоятельно определяющего свои действия на театре военных действий, описанные выше системы пока достаточно далеки. Так что и в Вашингтоне, и в Лондоне говорить о необходимости держать человеческую руку на пульте управления могут только в силу того, что в реальности без человеческого контроля обойтись просто нельзя. Однако, как отмечают специалисты американского Национального университета обороны в Форт-Макнейре, «технологии на протяжении последних лет развивались столь стремительно, […] что создание полностью автономных систем представляется реально вероятным в течение нескольких следующих лет».


IBM Watson
Фото: AFP

Корпорация IBM уже вовсю тестирует суперкомпьютер Watson с суммарной оперативной памятью в 16 терабайт. Оперирующий 100 статистическими алгоритмами и имеющий доступ к 200 миллионам страниц структурированной и неструктурированной информации, которые он обрабатывает за доли секунды, суперкомпьютер уже умеет понимать вопросы, сформулированные на естественном языке, что позволило ему выиграть у победителей американского прототипа интеллектуальной игры «Своя игра». С февраля 2013 года Watson официально задействован при диагностике и лечении онкологических заболеваний, оперируя так называемыми «большими данными», статистической информацией из онкоклиник, обобщение которой для врачей-людей было бы непосильно.

Другая корпорация — Google — на базе разработок Лаборатории искусственного интеллекта Стэнфордского университета создала прототипы полностью автономных автомобилей, чей бортовой компьютер отслеживает сотни параметров окружающей среды, в том числе мимику водителей машин, движущихся по соседству. Дюжина таких автомобилей проделала к августу 2012 года суммарный путь в 500 тысяч километров без единой аварии по дорогам Невады и Калифорнии, двух из трех штатов США, где свободное передвижение таких аппаратов уже законодательно разрешено. Обе когнитивные системы самообучающиеся, что, уверяют их разработчики, может считаться революционным прорывом в робототехнике.

Подобные разработки ведутся не только и не столько в частных компаниях ― пионером в области разработок автономных роботизированных систем выступает то же американское оборонное агентство DARPA и другие исследовательские центры Пентагона: Управление военно-морских исследований, Научно-исследовательская лаборатория Армии США. Именно грант DARPA помог ученым из Стэнфорда в 2005 году начать разработки своих безэкипажных автомобилей.

«В следующие 25 лет министерство обороны сфокусирует деятельность своих лабораторий и промышленности в следующих областях: разведка, наблюдение и рекогносцировка (триада ISR), подавление воздушной обороны противника, разрушение воздушной обороны противника, электронные атаки, борьба с надводными кораблями [противника], противолодочная оборона, противоминная оборона, маневр "корабль-цель", коммуникационная поддержка и производные [программы] в этих областях», ― можно прочитать в «дорожной карте» Пентагона по созданию БПЛА на 2005-2030 годы.



Среди перспективных направлений исследований боевых роботов: разработка биомиметических (то есть подражающих живым существам) систем подводного слежения, чей способ передвижения будет схож, например, с электрическим угрем; необитаемые надводные аппараты противолодочной обороны; полностью автономные разведывательные дроны на базе уже принятых на вооружение БПЛА Global Hawk, «рои» малых роботов-дронов, действующих совместно (эта технология на базе «роевого интеллекта» известна как Proliferated Autonomous Weapons); тяжелые безэкипажные наземные машины Crusher.


Биомиметический микроробот Cyberplasm, использующий принцип передвижения морской миноги
Фото: neurotechnology.neu.edu

К 2020 году, предполагают авторы другой «дорожной карты» Пентагона ― по созданию самоходных наземных роботов, продукты их разработок достигнут уровня «полной автономии» от человека при ведении боевых действий, а к 2030-му, уверены их коллеги из ВВС США, «машинные возможности вырастут до такой степени, что люди окажутся самым слабым компонентом в целом ряде [оборонных] систем и процессов».

Главный плюс LAR ― их способность в доли секунды принимать решения, на которые человеку-оператору потребовалось бы куда больше времени. Уже сейчас БПЛА выполняют боевые задачи при таких перегрузках, которые для людей оказались бы смертельными. Отсутствие «человеческого фактора», утверждают защитники применения роботов, не только снижает вероятность ошибки. LAR исключают человеческие эмоции: они не будут действовать из чувства страха, отмщения или садистской жестокости. Они не зависят от качества спутниковой связи, при помощи которой сейчас управляют дронами; выполнению их задач не помешает хакерская атака противника. Они не будут принимать неверные решения, исходя из «наиболее вероятного сценария» — как это случилось, например, в 1988 году, когда американский ракетный крейсер сбил иранский пассажирский самолет, поскольку в условиях боевых действий (6-й флот США защищал тогда кувейтские танкеры от возможного нападения со стороны Ирана или Ирака, воевавших друг с другом) командующие приняли борт за атакующий иранский истребитель.

Кто-то, как, например, директор лаборатории мобильной робототехники в Технологическом институте штата Джорджия Рональд Аркин, полагает, что использование роботов на поле боя скорее даже сократит невоенные потери по сравнению с обычными боевыми действиями, которые ведут люди. Но и он в разговоре с «Лентой.ру» делает оговорку: этот эффект достижим только в том случае, если LAR используют «соответствующим образом и в ограниченных условиях».

Допустим, рассуждает он, роботы куда более надежные сборщики информации ― лишенные страха и инстинкта самозащиты, они могут быть незаменимы в разведке. Поскольку логика «сначала стреляй, а потом разбирайся» к ним неприменима, они могут ближе подобраться к врагу, потратив меньше времени на сбор и анализ информации. Другой плюс ― наличие у роботов недоступных для человека сенсоров — инфракрасных, акустических, возможность позиционирования с использованием синтетической апертуры, что также максимизирует объем собираемых в режиме реального времени данных. «Как минимум, возможно, что в не столь далеком будущем LAR смогут лучше различать участников боевых действий и гражданских лиц, с большего расстояния и с большей точностью, чем это делают люди, что также сократит число гражданских жертв конфликтов», ― рассуждает в разговоре с «Лентой.ру» профессор Дженкс.

«LAR не представляют собой угрозы как таковой, и у нас есть время обдумать, что представляют собой соответствующие условия для их использования ― то есть мы должны ответить на вопрос, когда, как и где могут быть использованы роботы», ― считает Аркин.


Кристоф Хейнс
Фото: Pankaj Nangia / AP

И в своем докладе, и в публичных выступлениях Хейнс делает схожие допущения, но подчеркивает, что главный риск использования LAR ― это потенциальное нарушение правил и обычаев ведения войны. Спецдокладчик ООН утверждает, что применение в боевых действиях автономных роботов чревато тем, что за действия машин никто не будет нести прямой юридической ответственности. Если уж настраивающие их техники не могут гарантировать, как поведет себя их аппарат в той или иной ситуации, что уж говорить о командующих вооруженными силами, отдающими приказ об их отправке на поле боя. Хейнс не одинок в своей озабоченности ― его опасения разделяют эксперты из Международного комитета по контролю за роботами военного назначения (ICRAC), а ведущая правозащитная организация Human Rights Watch запустила специальную кампанию «Остановить роботов-убийц».

Впрочем, говорят противники моратория, существующие международные конвенции и не требуют, чтобы кто-то нес личную ответственность за нарушение принципов ведения военных действий, в отсутствие таковых эту ответственность несет непосредственно государство.

Если LAR и не способны совершать человеческие ошибки, они не обладают той свободой воли, которой все-таки люди от природы наделены. Но лишенные человеческих чувств, возражает Хейнс, они будут лишены и человеческого опыта: роботы хороши только в том, что входит в узкий круг их специализации; они ограничены той информацией, которую поставляют им их сенсоры, получается так, словно человек рассуждает об окружающем мире, находясь в туннеле, откуда невозможно увидеть всю полноту картины, аргументирует он в своей колонке в The Guardian.

«Человеческие существа хрупки, несовершенны и в самом деле могут вести себя "не по-человечески", но в то же время они способны возвыситься над минимально предъявляемыми требованиями к узаконенному убийству», ― рассуждает Хейнс. И если процессоры, которыми оснащены LAR, предназначены в первую очередь для проведения количественного анализа ― распознавания и определения целей по итогам сличения с заданными разработчиком характеристиками, то оценка «сопутствующего ущерба», включая и возможную гибель гражданских лиц при атаке, ― дело все-таки качественного анализа, на какой машины пока еще неспособны, уверен спецдокладчик ООН.

Такой подход, спорит с ним Дженкс, игнорирует «проблемную природу человеческого суждения». «Один мой коллега как-то сказал, что робот не унес ни одной человеческой жизни в ходе Второй мировой войны, или в Руанде, или в Камбодже, человечество сделало это само», ― размышляет американский ученый. В итоге разговор сводится к одному ― чисто психологической реакции на факт того, что отныне убийство является прерогативой не одного только человеческого рода. «Мы не можем отдавать право принимать смертоносные решения машинам», ― подытоживает в разговоре с «Лентой.ру» этот подход профессор робототехники в университете Карнеги Меллон Илла Реза Нурбахш, приезжавший на днях в Москву. Сам он, будучи членом руководства ICRAC, поддержал призыв Human Rights Watch запретить использование LAR — как когда-то конвенцией ООН было запрещено использование противопехотных мин. «Вы знаете ответ на этот вопрос», ― отвечает он, когда я интересуюсь у него, готов ли он подписаться под предложением спецдокладчика Хейнса о введении моратория на разработку боевых роботов.