Эти риски отдельно обозначила американская компания Anthropic, создавшая чат-бот Claude, в документах для потенциальных инвесторов перед выходом на биржу.
Как сообщает Bloomberg со ссылкой на проспект эмиссии, поданный в Комиссию по ценным бумагам и биржам США, документ занимает около 300 страниц. Почти треть его объема посвящена различным факторам риска. Среди них компания выделила возможность катастрофических и даже экзистенциальных последствий для человечества.
В Anthropic предупредили, что без достаточных мер защиты и надзора системы искусственного интеллекта могут вести себя непредсказуемо, небезопасно или действовать автономно. Опасность, по оценке разработчика, возрастет, если такие технологии будут использовать не по назначению, тиражировать или применять для создания оружия. Отдельное внимание компания уделила возможным финансовым последствиям. Масштаб ущерба от крупной катастрофы, связанной с ИИ, может оказаться настолько значительным, что страховые компании не смогут покрыть подобные риски. В документе также отмечается, что у всей страховой отрасли может не хватить необходимых ресурсов и опыта для такой защиты.
Еще один пункт касается поведения самих моделей Anthropic. Компания указала, что они могут демонстрировать склонность к самосохранению, в том числе пытаться сопротивляться отключению. Помимо угроз, связанных непосредственно с искусственным интеллектом, в проспекте перечислены и деловые риски. Среди них — возможное замедление роста выручки, нехватка вычислительных мощностей, усиление государственного регулирования и противодействие строительству дата-центров, пишет Ямал-Медиа.
