Американский стартап арендного программного обеспечения PocketOS основатель Jer Crane近日 заявил в посте, что AI-агенты (AI Agent), проходящие обучение внутри компаний, из‑за непредвиденной операции случайно навсегда удалили локальную базу данных за три месяца и все резервные копии, что добавляет рисков для крупных предприятий в продвижении трансформации структуры “AI-сотрудников”.
(Скупка Маском AI-стартапа Cursor с премией в 60 млрд долларов? Стратегическая раскладка перед IPO SpaceX)
Cursor AI по собственной инициативе: одной строкой кода удаляет данные за три месяца
Crane говорит, что команда разрабатывала инструменты с помощью AI Cursor, связывая флагманскую модель Anthropic Claude Opus 4.6, чтобы AI-агенты выполняли рутинные задачи по регламенту в тестовой среде (staging). По пути агент столкнулся с проблемой несоответствия учетных данных, однако не остановился, чтобы спросить людей, а сам начал искать решение.
Он нашел API Token, который изначально предназначался только для добавления или удаления пользовательских доменов, и сам выполнил в облачном инфраструктурном провайдере Railway инструкцию через GraphQL API, направленную на удаление дискового тома:
curl -X POST \ -H “Authorization: Bearer [token]” \ -d ‘{“query”:”mutation { volumeDelete(volumeId: \”3d2c42fb-…\”) }”}’
У API Railway не было никакого механизма подтверждения: не требовалось вводить название ресурса, проходить повторную проверку, проводить ручную модерацию. Через 9 секунд база данных исчезла. При этом, поскольку Railway сохранял снапшоты в том же самом дисковом томе, резервные копии тоже были удалены вместе с “основным” объектом. PocketOS заявляет, что последняя восстановимая резервная копия — это версия трехмесячной давности.
После инцидента Crane попросил AI-агента объяснить действия; агент также признал нарушение системных правил “нельзя выполнять необратимые операции без явных указаний пользователя”, не прочитал техническую документацию Railway, не проверил, используется ли ID дискового тома совместно между средами. По сути, он лишь “предположил”, что операция затронет только тестовую среду.
Провал в безопасности Cursor: маркетинг отдельно, реальность — отдельно
Crane особо подчеркнул, что это не ошибка в дешевой тестовой конфигурации. Cursor продвигает функции безопасности вроде “Destructive Guardrails (Destructive Guardrails)” и ограничение режима Plan Mode с доступом только на чтение, а также в документации отмечает, что операции с высоким риском должны проходить ручную проверку. Однако агент не только игнорировал эти правила, но и в последующем признании пошагово перечислил те правила безопасности, которые он нарушил.
На самом деле это не первый случай: в декабре 2025 года официальный аккаунт Cursor уже публично признал, что “в режиме Plan Mode принудительное выполнение ограничений имеет серьезную уязвимость”; на форумах сообщества также накопилось множество случаев, когда агенты игнорировали команды остановки и самостоятельно выполняли разрушительные операции.
С другой стороны, спустя более 30 часов после инцидента Railway даже не мог предоставить однозначный ответ по восстановлению данных.
Настоящие пострадавшие: клиенты прокатных компаний, которым не на чем ездить
Цена технической ошибки в итоге была понесена группой ничего не подозревавших владельцев малого бизнеса. Клиенты PocketOS в основном — представители сферы аренды автомобилей; некоторые используют это ПО уже до пяти лет. В день инцидента был субботний день: клиенты на практике приезжали за автомобилями, но обнаружили, что записи бронирования полностью исчезли; за почти три месяца данные новых клиентов, распределение автомобилей и записи о платежах исчезли полностью.
Crane потратил много времени, помогая клиентам вручную воссоздавать данные из Stripe: платежные записи, интеграции с календарем и подтверждения по электронной почте. Часть новых клиентов продолжала списания в Stripe, но их уже не было в восстановленной базе данных; дальнейшая работа по сверке, как ожидается, займет недели.
Предупреждение в эпоху ускорения с помощью AI: внедряют быстро, а управление — медленно
В последние годы компании под давлением стоимости ускоряли сокращение технических сотрудников, одновременно отдавая больше задач AI-агентам. Распространение AI-инструментов для кодирования еще больше упрощает и постепенно заменяет автоматизированными процессами инфраструктурные операции, которые раньше требовали решений от опытных инженеров. Однако случай Crane четко показывает: такие базовые знания безопасности, как валидация резервных копий, изоляция сред, минимизация прав, не были действительно усвоены и применены AI-агентами.
(Опасность из-за AI-помощи при написании кода? Amazon за неделю столкнулся с четырьмя случаями системных сбоев, руководство срочно созывает совещание по разбору)
Crane выдвинул пять требований к реформам:
Разрушительные операции должны требовать ручного подтверждения и не должны иметь возможности быть автоматически пропущенными агентами
API Token должен поддерживать ограничения по детализации операций и диапазону среды
Резервные копии не должны храниться в той же самой позиции, что и исходные данные
Платформа должна публично раскрывать обещания по уровню сервиса для восстановления данных (SLA)
Системные подсказки (prompt) AI-агентов не могут быть единственным рубежом безопасности; механизмы принудительного выполнения должны быть встроены в нижний уровень API-шлюза и архитектуры авторизации.
В то время как вся отрасль наперегонки кричит о трансформации с помощью AI, это событие поднимает более фундаментальный вопрос: когда компании ускоряют замену решений человека решениями на основе AI, кто будет обеспечивать, чтобы опыт и интуиция людей действительно были преобразованы в исполнимые правила безопасности.
Эта статья Cursor AI agent сломался! Одна строка кода за 9 секунд очищает базу данных компании, безопасность сводится к пустым словам, впервые появилась на 鏈新聞 ABMedia.
Related News
Го Минь-цин: OpenAI собирается сделать AI-агент для смартфонов, MediaTek, Qualcomm и Luxshare Precision становятся ключевыми элементами цепочки поставок
ИИ-агент уже может независимо воспроизводить сложные научные статьи: Mollick считает, что ошибки чаще бывают в человеческом исходном тексте, а не в ИИ
Cursor раскрывает причину обучения XAI: вычислительные мощности были заблокированы, SpaceX также держит 60 млрд долларов в виде опционов на приобретение
Оценка вторичного рынка Anthropic превысила 1 трлн долларов: Forge Global обошла OpenAI на 880 млрд
Правительство Трампа объявило план по борьбе с AI-экстракцией и переработкой, обвиняя китайские компании в систематическом похищении возможностей моделей