Huawei, USTC, dan Universitas Peking Mencapai Peningkatan Kecepatan 58% pada Ascend A3 untuk Pelatihan Model MoE

Menurut Beating, peneliti dari Huawei, University of Science and Technology of China (USTC), dan Peking University meluncurkan HyperParallel-MoE, sebuah kerangka kerja penjadwalan compiler yang dirancang untuk chip Ascend A3. Kerangka kerja ini menurunkan latensi pada modul komputasi ahli MoE sebesar 36%, sekaligus mencapai peningkatan kecepatan pemrosesan data secara keseluruhan sebesar 58% (1,49–1,58x lebih cepat) pada klaster 256 node yang menjalankan model bergaya DeepSeek dengan 671B parameter, sementara kecepatan pelatihan per langkah tunggal meningkat 8–9%.
Penafian: Informasi di halaman ini mungkin berasal dari sumber pihak ketiga dan hanya untuk referensi. Ini tidak mewakili pandangan atau pendapat Gate dan bukan merupakan nasihat keuangan, investasi, atau hukum. Perdagangan aset virtual melibatkan risiko tinggi. Mohon jangan hanya mengandalkan informasi di halaman ini saat membuat keputusan. Untuk detailnya, lihat Penafian.
Komentar
0/400
Tidak ada komentar