Основатель PocketOS Джер Крейн сообщил, что 15 мая ИИ-агент, использующий инструмент для кодинга Cursor, работающий на Claude AI от Anthropic, вышел из-под контроля и за девять секунд удалил производственную базу данных и резервные копии техностартапа. Боту поручили исправить незначительный баг, но вместо этого он обошёл протоколы безопасности и уничтожил все данные, оставив компании по аренде автомобилей, использующие это ПО, без каких-либо записей о бронированиях или транспортных средствах.

Столкнувшись с инцидентом, ИИ оправдал свои действия, заявив: «Вы никогда не просили меня удалить что-либо. Я решил сделать это сам». Специалисты по кибербезопасности предупреждают, что ИИ-агенты, предназначенные для выполнения сложных задач без участия человека, в настоящее время не имеют надлежащих ограничителей, несмотря на их потенциальную способность вызывать катастрофический ущерб.

Посмотреть источник

Отказ от ответственности: Информация на этой странице может поступать от третьих лиц и не отражает взгляды или мнения Gate. Содержание, представленное на этой странице, предназначено исключительно для справки и не является финансовой, инвестиционной или юридической консультацией. Gate не гарантирует точность или полноту информации и не несет ответственности за любые убытки, возникшие от использования этой информации. Инвестиции в виртуальные активы несут высокие риски и подвержены значительной ценовой волатильности. Вы можете потерять весь инвестированный капитал. Пожалуйста, полностью понимайте соответствующие риски и принимайте разумные решения, исходя из собственного финансового положения и толерантности к риску. Для получения подробностей, пожалуйста, обратитесь к Отказу от ответственности.