智识花园阅读、实践、留下笔记
产品AI 评分 67/100

蚂蚁集团与 vLLM 社区开源量化推理内核库 Humming

vLLM 官方博客(RSS)查看原始信源 ↗

AI guide

AI 导读

蚂蚁集团与 vLLM 社区开源通用高性能量化推理内核库 Humming,仓库为 github.com/vllm-project/humming。

数据来源:AIHOT aihot.news ↗ · 内容版权归原作者所有