Huawei's Ascend 910C hoàn tất quá trình hậu huấn luyện cho mô hình 1,6 nghìn tỷ tham số của DeepSeek với hơn 1.000 GPU

Theo Beating, một nhóm liên kết từ Trường Cao đẳng Hà Tạo Thâm Quyến, Đại học Công nghệ Cáp Nhĩ Tân (Thâm Quyến), Viện Nghiên cứu Dữ liệu Lớn Thâm Quyến, Huawei và Deepcity AI đã công bố hoàn tất thành công giai đoạn tinh chỉnh hậu huấn luyện toàn bộ tham số cho DeepSeek-V4-Pro, một mô hình với 1,6 nghìn tỷ tham số, trên hạ tầng AI trong nước. Đây là lần đầu tiên một tổ chức bên thứ ba hoàn thành tinh chỉnh hậu huấn luyện toàn bộ tham số cho một mô hình có quy mô như vậy trên phần cứng Trung Quốc.

Nhóm đã tận dụng một cụm gồm hơn 1.000 chip Huawei Ascend 910C để vượt qua nút thắt truyền thông nhờ tối ưu cân bằng tải phân tán. Trong quá trình huấn luyện gồm 1.500 bước, hệ thống vận hành liên tục không gián đoạn, đạt tỷ lệ sử dụng FLOPs của mô hình (MFU) vượt 30% và nâng cao hiệu suất của các toán tử quan trọng lên 14%, đáp ứng các tiêu chuẩn hiệu năng ở mức công nghiệp.