Insinyur OpenAI Clive Chan Menantang Rekomendasi Perangkat Keras V4, Mengutip Kesalahan dan Ketidakjelasan Dibanding V3

Kabar Gerbang, 24 April — Insinyur OpenAI Clive Chan telah mengajukan keberatan terperinci terhadap bab rekomendasi perangkat keras dalam laporan teknis V4, menyebutnya “mencengangkan: biasa saja dan rawan kesalahan” dibandingkan versi V3 yang terkenal. Panduan perangkat keras V3, yang mencakup sesi Tanya Jawab yang menjadi topik diskusi paling populer di konferensi akademik ISCA, menawarkan rekomendasi spesifik yang selaras dengan standar interkoneksi industri. V4, sebaliknya, jauh lebih kabur.

Chan secara sistematis menantang tiga rekomendasi utama. Terkait konsumsi daya, laporan tersebut menyarankan bahwa optimasi perangkat lunak memungkinkan chip menjalankan komputasi, penyimpanan, dan komunikasi pada kapasitas penuh secara bersamaan, serta merekomendasikan agar produsen chip menyisakan margin daya tambahan. Chan berpendapat ini kontraproduktif: total daya chip dibatasi oleh keterbatasan proses fisik, sehingga menyisakan lebih banyak margin daya hanya menurunkan frekuensi operasi, yang pada akhirnya mengurangi kinerja komputasi. Mengenai transfer data GPU-ke-GPU, laporan tersebut menganjurkan model pull—di mana GPU secara aktif mengambil data—dibandingkan model push, dengan alasan tingginya overhead notifikasi pada operasi push. Chan membantah hal itu, dengan mengatakan bahwa pull sebenarnya lebih lambat dan bahwa kemampuan adaptor jaringan yang ditingkatkan akan lebih disukai. Namun, keduanya mungkin membahas lapisan yang berbeda dari masalah ini: laporan membahas overhead mekanisme notifikasi, sedangkan Chan merujuk pada latensi transmisi itu sendiri.

Untuk fungsi aktivasi, laporan tersebut merekomendasikan mengganti SwiGLU dengan fungsi yang lebih sederhana untuk mengurangi beban komputasi. Chan tidak melihat manfaat apa pun dari hal tersebut, dengan mencatat bahwa Sonic MoE sudah menunjukkan kinerja optimal menggunakan SwiGLU. Chan menduga DeepSeek mungkin “secara sengaja melemahkan bagian ini.”