La précision de GPT-5.4 chute de 100 % à 54 % sur ARC-AGI après un résumé répété de la mémoire

D’après Beating, une récente étude sur la mémoire d’agents par Dylan Zhang, doctorant à l’Université de l’Illinois, a révélé que la répétition de la résumation des expériences du modèle peut dégrader les performances plutôt que les améliorer. Dans des tâches ARC-AGI, GPT-5.4 a atteint 100% de précision sur 19 problèmes sans mémoire, mais après plusieurs tours de compression de la mémoire basés sur des trajectoires de solution correctes, la précision est tombée à 54%. De même, dans des tâches d’achat WebShop, la méthode de mémoire AWM a obtenu 0,64 avec 8 trajectoires d’experts, mais est retombée à 0,20 avec 128 trajectoires, revenant au niveau de base. La recherche suggère que le problème vient d’une sur-résumation : chaque étape d’abstraction fait perdre des détails spécifiques et fusionne des règles propres à la tâche en directives génériques, ce qui finit par dégrader les performances du modèle.