智识花园阅读、实践、留下笔记
模型AI 评分 66/100

Microsoft AI 公布 MAI-Base-2 预训练细节,2.8T 参数 MoE 模型 FLOPs 效率达 DeepSeek-V4-Pro-Base 的 4.2 至 12.3 倍

Microsoft AI:官方博客(网页)查看原始信源 ↗

AI guide

AI 导读

Microsoft AI 宣布完成 MAI-Base-2 预训练,这是一个 800 亿激活、2.8T 总参数的 MoE 基础模型,在 held-out 评测中 BPB 低于所测全部开源权重模型,预训练 FLOPs 效率比 DeepSeek-V4-Pro-Base 高 4.2 至 12.3 倍。

数据来源:AIHOT aihot.news ↗ · 内容版权归原作者所有