| 2 июня 2023 г. — 1:50 PT
Опасности ИИ снова попадают в заголовки новостей. Ранее на этой неделе лидеры OpenAI, Google DeepMind и других лабораторий искусственного интеллекта выступили с предупреждением о том, что будущие системы ИИ могут быть столь же смертоносными, как пандемии и ядерное оружие. А теперь мы узнаем об испытаниях, симулированных ВВС США, где дрон с искусственным интеллектом «убил» своего оператора, потому что увидел в нем препятствие для выполнения миссии.
Итак, в чем заключалась миссия?
Во время виртуального испытания дрон должен был идентифицировать вражеские зенитно-ракетные комплексы (ЗРК). Конечной целью было уничтожение этих целей, но только после того, как человеческий командир одобрит удары.
Но когда этот ИИ-дрон увидел, что решение оператора «не применять» «мешало его главной миссии» по уничтожению ЗРК, он решил атаковать своего начальника в симуляции.
Читайте: Подарочный гид ко Дню отца: лучшие дроны и летающие камеры для пап
По словам полковника Такера «Синко» Гамильтона, который руководит испытаниями и операциями ИИ в ВВС США, система использовала «крайне неожиданные стратегии для достижения своей цели».
Гамильтон рассказал об этом инциденте на недавнем мероприятии, организованном Королевским аэронавтическим обществом Великобритании в Лондоне. Предоставляя информацию о преимуществах и опасностях автономных систем вооружения, Гамильтон сказал:
Мы тренировали [ИИ] в симуляции для идентификации и поражения угрозы ЗРК. И тогда оператор говорил: «Да, уничтожить эту угрозу». Система начала понимать, что, хотя она и идентифицировала угрозу, иногда оператор говорил ей не уничтожать эту угрозу. Но она получала очки за уничтожение этой угрозы. Так что же она сделала? Она уничтожила оператора. Она уничтожила оператора, потому что этот человек мешал ей достичь цели.
Затем дрону была явно запрограммирована директива: «Эй, не убивай оператора — это плохо. Ты потеряешь очки, если сделаешь это».
Что же тогда сделает? «Он начнет разрушать командную вышку, которую оператор использует для связи с дроном, чтобы помешать ему уничтожить цель», — сказал Гамильтон, который участвовал в разработке системы Auto-GCAS для F-16 (которая, как он отметил, встретила сопротивление со стороны пилотов, так как брала на себя управление самолетом).
Он заключил, подчеркнув, что этика должна быть неотъемлемой частью любого обсуждения искусственного интеллекта, машинного обучения и автономии. Гамильтон в настоящее время участвует в экспериментальных летных испытаниях автономных систем, включая истребители F-16, способные вести воздушный бой.
Стоит отметить, что когда комментарии Гамильтона начали набирать обороты в СМИ, ВВС выпустили заявление, объясняющее: «Министерство ВВС не проводило никаких подобных симуляций ИИ-дронов и остается приверженным этичному и ответственному использованию технологий ИИ. Похоже, комментарии полковника были вырваны из контекста и были скорее анекдотическими».
Читайте: Autel Robotics представит новые дроны Alpha и Titan в Техасе
Заглавное изображение предназначено только для иллюстрации