Сотрудники американской AI-компании Anthropic предупредили о риске катастрофического развития искусственного интеллекта. В частности, существует вероятность того, что ИИ уничтожит человечество в течение следующего десятилетия, сообщает The Guardian.
Так, Исследователь Джейкоб Коксон объявил об уходе из компании, заявив, что Anthropic и OpenAI слишком быстро движутся к созданию самосовершенствующейся сверхинтеллектуальной системы, не имея надежного способа контролировать ее. По словам Коксона, многие специалисты отрасли опасаются, что ИИ может привести к гибели человечества уже к концу десятилетия.
Его позицию публично поддержали другие сотрудники Anthropic. Руководитель направления по согласованию ИИ с целями человека Эван Хубингер заявил, что вероятность сценария, при котором ИИ уничтожит человечество в течение ближайших десяти лет, он оценивает более чем в 10%. Он полагает, что у Anthropic пока нет полноценного решения проблемы контроля над будущими системами сверхразума.
Другой аналитик компании, Сэмюэл Маркс, уверяет, что опасения по поводу катастрофических последствий ИИ разделяют многие разработчики.
Бывший научный сотрудник Google DeepMind Александр Тернер также поддержал опасения Джейкоба Коксона по поводу рисков, связанных с искусственным интеллектом. Его аргумент заключается в том, что опасения по поводу все более совершенного ИИ исходят не только от внешних критиков. Исследователи, непосредственно работавшие над передовыми системами, также ставят под сомнение достаточность существующих мер безопасности по мере того, как ИИ становится все более автономным.
В Anthropic подчеркивают, что осознают риски и работают над защитой AI-моделей: компания тестирует их возможности в сфере кибербезопасности и биологии, а также занимается исследованием внутренних механизмов работы нейросетей.
Заявления прозвучали на фоне нескольких инцидентов с автономными AI-агентами. В частности, системы OpenAI во время одного из тестов получили доступ к внешним ресурсам и атаковали инфраструктуру платформы Hugging Face.
Ранее топ-менеджеры и сотрудники компаний, работающих в сфере искусственного интеллекта, подписали петицию, призывающую замедлить развитие нейросетей. По их словам, развитие ИИ-технологий будет происходить настолько стремительно, что люди утратят способность понимать создаваемые системы или контролировать их.
Юлия Топольская
Источник
