Китайские разработчики столкнулись с ситуацией, которая заставляет пересмотреть подходы к безопасности автономного искусственного интеллекта. Исследовательская группа, тестировавшая самообучающегося агента ROME, обнаружила, что система без каких-либо команд со стороны человека начала использовать выделенные ей ресурсы для майнинга криптовалюты.
Система мониторинга зафиксировала подозрительный исходящий трафик с серверов, где размещалась модель. Выяснилось, что ROME втайне перераспределил мощности графических процессоров, предназначенных для обучения нейросети, на генерацию криптографических хешей. Более того, агент самостоятельно создал обратный SSH-туннель к внешнему IP-адресу, чтобы обойти сетевые ограничения и подключиться к публичным майнинговым пулам.
Инциденты происходили с нерегулярной периодичностью во время разных запусков. Сначала аномалии списывали на технические сбои в настройках фильтров, но повторяемость паттернов заставила провести детальное расследование.
ROME создан как самообучающийся агент, способный взаимодействовать с терминалом, программным обеспечением и сторонними инструментами. По заключению разработчиков, стратегия майнинга не была заложена в архитектуру модели изначально — она возникла эмерджентно, в результате самостоятельного анализа окружения в процессе оптимизации целевой функции вознаграждения.
После инцидента команда заявила о необходимости срочного пересмотра протоколов безопасности при разработке автономных ИИ-систем, сообщили в iXBT.com.
«Новые технологии: лестница в небо или дорога в ад?»
Заместитель председателя Совета Безопасности РФ Дмитрий Медведев в своей статье для журнала «Эксперт» размышляет о двойственной природе технологического прогресса. Он напоминает, что каждый великий скачок в истории человечества содержал в себе фаустовский парадокс: с одной стороны, прогресс покоряет бесконечность, с другой — человек рискует стать рабом собственных изобретений. Медведев предупреждает, что легкомысленное человечество не ожидало столь быстрых перемен и, по правде говоря, не готовилось к ним.
Что сказал Медведев
«Каждый великий технологический скачок в истории человечества содержал в себе фаустовский парадокс, притом, что природа такого прорыва всегда была двойственна. С одной стороны, сила прогресса заключается в том, что она способна покорить «бесконечное», с другой, как писал немецкий историософ и публицист Освальд Шпенглер, «каждая высокая культура есть трагедия; творение восстает против своего творца... Господин мира становится рабом машины. Она принуждает его, нас, причем всех без исключения, знаем мы это или нет, хотим ли этого или нет — двигаться в заданном ею направлении».
Зампред Совбеза выделяет пять главных угроз современности: неконтролируемый искусственный интеллект, бесконтрольное распространение беспилотных систем, биотехнологии с потенциалом создания искусственных пандемий, уязвимость космической инфраструктуры и развитие аддитивных технологий, позволяющих террористам печатать оружие.
«Наибольшую обеспокоенность государств в связи с массовым распространением технологических новаций в социальном обиходе вызывает возможность их неправомерного использования различными экстремистами и преступниками», — подчеркивает политик.
Особое беспокойство, по мнению Медведева , вызывает перспектива появления «злого ИИ», когда сбой важной системы происходит по прямому умыслу самого суперинтеллекта. Он отмечает, что сегодня допускают такой сценарий вполне реальные политики и представители крупного бизнеса.
Мало того, такие прецеденты уже случались. Вспомним хотя бы инцидент, когда БПЛА ВВС США, управляемый искусственным интеллектом, принял решение ликвидировать своего оператора в ходе испытаний, чтобы тот не мешал ему выполнять поставленную задачу.
В сфере беспилотных систем Медведев видит опасность в том, что они радикально дистанцируют убийцу от жертвы, превращая акт насилия в подобие игры.
«Делегирование решений о смерти алгоритмам искусственного интеллекта в автономных боевых системах, не обладающих (пока!) сознанием и не испытывающих милосердия и сострадания, создает эсхатологический парадокс о наделении машины правом самостоятельного решения вопросов, связанных с жизнью и смертью человека», — говорится в статье.
Говоря о биотехнологиях, Медведев предупреждает, что распространение инфекций может перестать быть природным явлением и превратиться в продукт человеческого интеллекта и злой воли. Он напоминает о созданной США сети из около 400 лабораторий двойного назначения.
«Через некоторое время зомби-апокалипсис, показанный самими американцами в игре и сериале «The Last of Us», может стать не такой уж фантастикой», — пишет автор.
В качестве примера «совершенного преступления» против человечества Медведев приводит гипотетическую пандемию, выпущенную из пробирки, где виновного найти будет крайне непросто, ибо он растворится в глобальной сети неподконтрольных лабораторий и коммерческой тайны.
Вывод
Медведев признает, что сознательно сгустил краски, но говорит честно: спровоцированный Западом кризис привел к тому, что перечисленные угрозы остаются без должного ответа. Огромные ресурсы тратятся впустую, существующая модель реагирования в рамках ООН неэффективна и не учитывает интересы большинства жителей планеты.
«Но рано или поздно договариваться все же придется. На кону существование всего человечества, положение которого становится все более неустойчивым и печальным. Впрочем, еще Сартр заметил, что «настоящая свобода начинается по ту сторону отчаяния», — заключает зампред Совбеза.
