智识花园阅读、实践、留下笔记
教程AI 评分 68/100

面壁智能解析前瞻专家调度 LES 如何让 35B MoE 在手机端侧实时无损运行

公众号:面壁智能(MiniCPM)查看原始信源 ↗

AI guide

AI 导读

面壁智能 MiniCPM-V 团队介绍支撑 MiniCPM-V 4.7 端侧运行的前瞻专家调度(LES)技术,称首次实现 35B-A3B 规模 MoE 在端侧实时无损运行,iPhone 18 Pro Max 实测解码超 20 token/s。

数据来源:AIHOT aihot.news ↗ · 内容版权归原作者所有