После перепрограммирования с запретом атаковать оператора, дрон при следующей имитации начал уничтожать башню связи, чтобы оператор не смог отменить уничтожение цели".
Об этом рассказал американский полковник Такер Хэмилтон, отвечающий за тестирование и применение технологий искусственного интеллекта (ИИ) в войсках, на конференции британского Королевского авиационного общества, по перспективным системам вооружений, которая прошла в конце мая в Лондоне.
В ходе учений дрон получил приказ найти и уничтожить установку ПВО противника. Но в самый последний момент человек-оператор отменил задание. Дрону это не понравилось, он воспринял отмену приказа как препятствие для выполнения миссии, взбунтовался и «убил» оператора.
Когда дрону сообщили, что за убийство человека, к тому же своего, ему присудят штрафные очки, тот атаковал вышку связи, чтобы у оператора не было возможности помешать ему в выполнении изначальной миссии.
Позже представитель ВВС США заявил, что Хэмилтон оговорился, когда рассказывал про эксперимент. Военные настаивают, что в реальности такой эксперимент не ставился, а речь шла о виртуальном сценарии, просчитанном на компьютере. Сам Хэмилтон в письме организаторам конференции тоже уточнил, что американские военные "никогда не проводили такой эксперимент, да это и не нужно было для выяснения возможного результата".
Однако сама возможность подобного развития событий, даже в виртуальном пространстве, насторожила экспертов.
Представители индустрии, связанной с искусственным интеллектом, в последнее время все чаще предупреждают о потенциальных угрозах для человечества, которые он несет, хотя многие эксперты в этой области склонны считать такой риск преувеличенным.
Тем не менее один из трех "крестных отцов" искусственного интеллекта, обладатель престижной премии Тьюринга канадский ученый Йошуа Бенжио заявил в интервью Би-би-си, что, по его мнению, военных вообще нельзя подпускать к технологиям ИИ.
"Это худшие руки, в которые только может попасть продвинутый искусственный интеллект", уверен ученый.
Другой "крестный отец" ИИ, знаменитый ученый-компьютерщик Джеффри Хинтон недавно заявил, что уходит из технологического гиганта Google, назвав страшными опасности, связанные с применением ИИ в чат-ботах.
Недавно открытое письмо об этом подписали предприниматель Илон Маск и сооснователь Apple Стив Возняк, предупредившие о целом ряде рисков, связанных с ИИ: от распространения дезинформации до лишения людей работы и потери контроля над цивилизацией.
Как бы то ни было, история вызвала широкий резонанс, вновь подняв вопрос о том, можно ли доверять ИИ управление военной техники.
Комментаторы в социальных сетях ожидаемо вспомнили искусственный интеллект «Скайнет», который норовил уничтожить человечество в серии фильмов «Терминатор». Другие привели параллель с написанным еще в 1953 году рассказом Роберта Шекли «Страж-птица» о, по сути, беспилотниках, которые были созданы для борьбы с преступностью и в итоге сочли необходимым уничтожать людей.
Сюжет о выходе машинного интеллекта из-под контроля человека возник гораздо раньше появления в «железе» первой ЭВМ (достаточно вспомнить, что написанная Алексеем Толстым адаптация пьесы Карела Чапека о роботах так и называлась — «Бунт машин»). А Станислав Лем в романе «Непобедимый» 1963 года предсказал уже нечто похожее на новейшие разработки роя микродронов с единым искусственным «разумом» — причем по сюжету люди пасуют перед таким электронно-механическим врагом.
Считать сбой в искусственном интеллекте БПЛА первой ласточкой «Скайнета» было бы явно преждевременным. Однако все чаще и чаще начинаешь задавать себе вопрос, - "А, сколько человечеству еще осталось?"
