DeepSeek hace de código abierto TileKernels, biblioteca de kernels de GPU para el entrenamiento e inferencia de modelos grandes

Mensaje de Noticias de Gate, 23 de abril — DeepSeek ha hecho de código abierto TileKernels bajo la licencia MIT, una biblioteca de kernels de GPU escrita en TileLang para el entrenamiento y la inferencia de modelos de lenguaje de gran tamaño. TileLang es un lenguaje específico de dominio desarrollado por el equipo tile-ai para expresar kernels de GPU de alto rendimiento en Python. DeepSeek afirmó que la mayoría de los kernels de la biblioteca ya han alcanzado límites de rendimiento del hardware en densidad de cómputo y ancho de banda de memoria, con partes ya desplegadas en operaciones internas de entrenamiento e inferencia.

La biblioteca consta de seis categorías de kernels: MoE (mezcla de expertos)gating y ruteo, que incluye selección de expertos Top-k, mapeo de token a experto y expandir/encoger fusionado con normalización de pesos; cuantización que admite formatos FP8, FP4 y E5M6 con cuantización por token, por bloque y por canal, incluyendo operaciones fusionadas de SwiGLU+cuantización; transposición de lotes; gating Engram con propagación fusionada hacia adelante/atrás de RMSNorm y reducción del gradiente de pesos; Manifold HyperConnection con normalización Sinkhorn y división/aplicación mixta; y interfaces de autograd de alto nivel que envuelven kernels de bajo nivel en capas entrenables.

Engram y Manifold HyperConnection son componentes propietarios de la arquitectura del modelo de DeepSeek, con detalles de implementación divulgados públicamente por primera vez. La biblioteca requiere GPUs de arquitectura NVIDIA SM90 o SM100 (H100/H200 o serie Blackwell), CUDA Toolkit 13.1 o superior, y PyTorch 2.10 o superior.