DeepSeek 开源 TileKernels:大型模型训练与推理的 GPU 内核库

Gate News 消息,4月23日——DeepSeek 已在 MIT 许可下开源了 TileKernels,这是一款使用 TileLang 编写的 GPU 内核库,面向大型语言模型的训练与推理。TileLang 是 tile-ai 团队开发的领域专用语言,用于在 Python 中表达高性能 GPU 内核。DeepSeek 表示,该库中的大多数内核已接近在计算密度与内存带宽方面的硬件性能上限,其中部分内容已部署到内部的训练与推理操作中。

该库包含六类内核:MoE (专家混合) 的门控与路由,包括 Top-k 专家选择、token 到专家的映射,以及带权重归一化的融合 expand/shrink;量化支持 FP8、FP4 和 E5M6 格式,提供按 token、按块和按通道的量化,并包含融合的 SwiGLU+量化操作;批量转置;Engram 门控,融合 RMSNorm 的前向/反向传播与权重梯度归约;Manifold HyperConnection,使用 Sinkhorn 归一化并进行混合的 split/apply;以及将底层内核封装为可训练层的高级 autograd 接口。

Engram 和 Manifold HyperConnection 是 DeepSeek 模型架构的专有组件,其实现细节首次向公众披露。该库需要 NVIDIA SM90 或 SM100 架构的 GPU (H100/H200 或 Blackwell 系列),CUDA Toolkit 13.1 或更高版本,以及 PyTorch 2.10 或更高版本。

免责声明:本页面信息可能来自第三方,不代表 Gate 的观点或意见。页面显示的内容仅供参考,不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证,对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为,价格波动剧烈,您可能损失全部投资本金。请充分了解相关风险,并根据自身财务状况和风险承受能力谨慎决策。具体内容详见声明

相关文章

Morpho 协会将在未来数周内执行一系列钱包转账以进行资金管理

Gate News 消息,4 月 23 日——Morpho 协会将于未来数周内从其协会拥有的钱包进行一系列转账,作为例行资金管理运营的一部分。

GateNews20 分钟前

Lido 披露 Kelp 安全事件影响:EarnETH 面临约 9% TVL 的 rsETH 暴露,核心质押资产安全

Gate 新闻消息,4月23日——Lido 发布了关于 Kelp 安全事件的更新,称其 Earn 系列金库正在与管理层合作,以应对两个主要风险因素:rsETH 暴露以及借贷市场的流动性紧张。Lido 强调,其核心质押协议仍未受到影响

GateNews26 分钟前

ENS 宣布 ENSv2:面向大规模集成和子域名扩展的新域名基础设施

Gate News 消息,4月23日——ENS宣布即将推出 ENSv2,这是一种面向大规模集成和子域名扩展的新域名基础设施。 升级后的系统代表了 ENS 的下一代域名命名架构,旨在支持生态系统中更广泛的采用以及增强的可扩展性。

GateNews38 分钟前

MoonPay 在纽约推出由 Iron 驱动的虚拟账户,实现企业级受监管稳定币支付

Gate News 消息,4月23日——MoonPay 已宣布在纽约州推出由 Iron 技术驱动的虚拟账户,为金融科技公司、加密平台、新型银行(neobanks)、券商以及金融机构提供受监管的法币到稳定币支付基础设施。该服务支持

GateNews1小时前

MetaMask 联合创始人 Dan Finlay 在 10 年后离开 Consensys,称遭遇倦怠

Gate News 消息,4 月 23 日——MetaMask 联合创始人兼长期开发者 Dan Finlay 周三宣布,他将离开 Consensys,称自己在打造这款加密钱包长达十年后遭遇倦怠。Finlay 表示,他计划花时间陪伴家人,并祝团队在未来道路上一切顺利。 Me

GateNews1小时前

Aurise Foundation 推出 XAUE 黄金收益代币,并以 $76M 初始储备作为支持

Gate News 消息,4 月 23 日——Aurise Foundation 宣布推出 XAUE,这是一种基于以太坊的黄金收益代币,被定位为 Tether Gold (XAUT) 的金库层。生态系统合作伙伴 Aurelion 和 Antalpha 联合出资 16,052 XAU,价值约 $76 百万美元,作为初始储备。 XAUE

GateNews2小时前
评论
0/400
暂无评论