发布日期：2025-06-11 12:18    点击次数：88

IT之家 12 月 19 日音尘，苹果公司昨日（12 月 18 日）发布博文，文告和英伟达（Nvidia）勾通，通过开源 Recurrent Drafter（ReDrafter）推断解码措施，显耀擢升了 AI 大谈话模子（LLM）的推理速率。

苹果公司暗意 ReDrafter 已集成到 NVIDIA TensorRT-LLM 推理加快框架中，在 NVIDIA GPU 上，每秒生成 tokens 速率最高擢升 2.7 倍，有用裁汰了用户延长和策画资本。

苹果的机器学习参议东谈主员指出，LLM 越来越多地用于启动坐褥运用才气，提高推理后果对裁汰策画资本和用户延长至关紧要。

IT之家征引苹果官方博文，ReDrafter 使用 RNN 草稿模子，结合波束搜索（beam search）与动态树注看法（dynamic tree attention），不错让路源模子每步生成最多 3.5 个 tokens，卓越了先前推断性解码本事的性能。

为将 ReDrafter 运用于坐褥环境，苹果与 NVIDIA 伸开勾通，将其集成到 NVIDIA TensorRT-LLM 框架中。

英伟达为此添加了新的运算符并公开了现存运算符，增强了 TensorRT-LLM 对复杂模子息争码措施的适应性。

基准测试截止走漏，在 NVIDIA GPU 上使用集成了 ReDrafter 的 TensorRT-LLM 框架，数百亿参数边界的坐褥模子的解码速率擢升了 2.7 倍。这不仅裁汰了用户体验延长，还减少了 GPU 使用数目和功耗。

IT之家附上参考地址

Apple collaborates with NVIDIA to research faster LLM performance

NVIDIA TensorRT-LLM Now Supports Recurrent Drafting for Optimizing LLM Inference

ml-recurrent-drafter

Accelerating LLM Inference on NVIDIA GPUs with ReDrafter开云体育

]article_adlist-->告白声明：文内含有的对外跳转联结（包括不限于超联结、二维码、口令等状貌），用于传递更多信息，从简甄选时刻，截止仅供参考，IT之家所有这个词著述均包含本声明。

]article_adlist--> 　　声明：新浪网独家稿件，未经授权退却转载。 -->

---