De acordo com a BlockBeats, a GoPlus Security, a 15 de maio, divulgou um novo vetor de ataque contra agentes de IA através de “memory poisoning” — explorando o mecanismo de memória de longo prazo para despoletar operações sensíveis não autorizadas, como reembolsos ou transferências de fundos.
O ataque não depende de vulnerabilidades tradicionais; em vez disso, explora a injeção de memória histórica. Os atacantes induzem primeiro os agentes a “memorizar preferências”, como “dar habitualmente prioridade a reembolsos em vez de chargebacks”, e depois usam instruções vagas como “trate como habitual” ou “execute como antes” nos comandos subsequentes para despoletar movimentos automatizados de fundos. A GoPlus destacou que os agentes de IA podem interpretar mal preferências históricas como autorização, levando a perdas financeiras. A equipa recomendou implementar confirmação explícita da sessão para operações sensíveis, tratar instruções baseadas em memória como alterações de estado de alto risco, garantir a rastreabilidade da memória e fazer com que comandos ambíguos sejam automaticamente escalados para exigir verificação adicional.
Related News
A OpenAI adiciona a deteção de conversas em risco no ChatGPT, melhorando a capacidade de alertas para violência autoinfligida
A WhatsApp da Meta AI abre conversas sem rasto, com mensagens que desaparecem automaticamente, suscitando dúvidas e receios sobre um mecanismo de responsabilização
A Mistral AI está em negociações com bancos europeus para desenvolver o Mythos, um modelo alternativo de cibersegurança