智识花园阅读、实践、留下笔记
教程AI 评分 60/100

vLLM 解析 Kimi K3 在 AMD Instinct MI355X 上的推理优化,单 GPU 吞吐超 NVIDIA HGX B300 24.4%

vLLM 官方博客(RSS)查看原始信源 ↗

AI guide

AI 导读

AMD 与 Embedded LLM 在 vLLM 官方博客详解 Kimi K3 在八卡 AMD Instinct MI355X 上的推理优化。

数据来源:AIHOT aihot.news ↗ · 内容版权归原作者所有