Gate News消息，4月24日——DeepSeek已在MIT许可证下发布V4系列开源模型，权重现已在Hugging Face和ModelScope提供。该系列包含两个混合专家 (MoE) 模型：V4-Pro 总参数达1.6万亿，且每token激活49亿，以及V4-Flash 总参数达2840亿，且每token激活130亿。两者都支持100万token的上下文窗口。
该架构带来三项关键升级：一种混合注意力机制，将压缩稀疏注意力 (CSA) 与高度压缩注意力 (HCA) 结合，大幅降低长上下文开销——V4-Pro在1M上下文下的推理FLOPs仅为V3.2的27%，用于在推理过程中存储历史信息的KV缓存 (VRAM) 也仅为V3.2的10%；用流形约束的超连接 (mHC) 替代传统的残差连接，以增强跨层信号传播的稳定性；并采用Muon优化器以实现更快的训练收敛。预训练使用了超过32万亿tokens的数据。
后训练采用两阶段方案：首先通过监督微调 (SFT) 和GRPO强化学习训练领域特定专家，然后通过在线蒸馏将它们合并为单一模型。V4-Pro-Max (最高推理模式) 宣称在顶级代码基准上拥有最强的开源模型实力，并且在推理和智能体任务上与闭源前沿模型之间的差距显著缩小。V4-Flash-Max在足够的计算预算下实现Pro级推理性能，但在纯知识和复杂智能体任务上受限于参数规模。权重以混合FP4+FP8精度存储。
相关快讯
