Độ chính xác của GPT-5.4 giảm từ 100% xuống 54% trên ARC-AGI sau nhiều lần tóm tắt bộ nhớ

Theo Beating, một nghiên cứu gần đây về bộ nhớ tác nhân của Dylan Zhang, nghiên cứu sinh tại Đại học Illinois, cho thấy việc tóm tắt lặp đi lặp lại các trải nghiệm của mô hình có thể làm suy giảm hiệu suất thay vì cải thiện nó. Ở các tác vụ ARC-AGI, GPT-5.4 đạt độ chính xác 100% trên 19 bài toán khi không dùng bộ nhớ, nhưng sau nhiều vòng nén bộ nhớ dựa trên các lộ trình lời giải đúng, độ chính xác giảm xuống còn 54%. Tương tự, trong các tác vụ mua sắm WebShop, phương pháp bộ nhớ AWM đạt 0,64 với 8 lộ trình chuyên gia nhưng giảm xuống 0,20 với 128 lộ trình, rồi quay về mức cơ sở. Nghiên cứu cho rằng vấn đề xuất phát từ việc tóm tắt quá mức: mỗi bước trừu tượng hóa sẽ làm mất các chi tiết cụ thể và gộp các quy tắc riêng cho từng tác vụ vào hướng dẫn chung, cuối cùng làm suy giảm hiệu suất của mô hình.