TAG:MoE架构

蚂蚁百灵大模型团队开源Ring-flash-linear-2.0-128K,混合注意力+MoE架构重塑长文本编程效率

蚂蚁百灵大模型团队开源Ring-flash-linear-2.0-128K,混合注意力+MoE架构重塑长文本编程效率

蚂蚁百灵大模型团队开源Ring-flash-linear-2.0-128K,采用混合线性注意力机制和MoE稀疏架构,仅激活6.1B参数即可媲美40B密集模型性能。该模型原生支持128K上下文窗口,可扩展至512K,在代码生成和长文本编程任务中实现SOTA表现,推理速度提升3倍以上,为开发者提供高效AI编程解决方案。

2025-10-28 17:46
0
0