TAG:MoE架构

腾讯混元2.0内测启动,406B参数号称推理性能国内领先

腾讯混元2.0内测启动,406B参数号称推理性能国内领先

腾讯发布新一代自研大模型混元2.0,总参数达406B,采用MoE架构提升推理速度,在数学、代码等复杂任务上表现突出,支持256K长上下文窗口。模型已在腾讯云API及元宝、ima等应用灰度上线,并计划于2026年开源,推动国产大模型生态发展。

爱力方 2025-12-08 11:22
9
0

蚂蚁百灵大模型团队开源Ring-flash-linear-2.0-128K,混合注意力+MoE架构重塑长文本编程效率

蚂蚁百灵大模型团队开源Ring-flash-linear-2.0-128K,混合注意力+MoE架构重塑长文本编程效率

蚂蚁百灵大模型团队开源Ring-flash-linear-2.0-128K,采用混合线性注意力机制和MoE稀疏架构,仅激活6.1B参数即可媲美40B密集模型性能。该模型原生支持128K上下文窗口,可扩展至512K,在代码生成和长文本编程任务中实现SOTA表现,推理速度提升3倍以上,为开发者提供高效AI编程解决方案。

2025-10-28 17:46
3
0