在实际部署测试中，研究团队使用一个拥有数百亿参数的生成模型进行了全面评估。在贪婪解码模式下，系统实现了 2.7 倍的生成速度提升。这种性能改进不仅降低了用户感知延迟，还减少了所需的 GPU 数量和能源消耗。

作者 | 向邦宇，阿里巴巴代码平台负责人，内部智能研发工具 Aone Copilot 负责人。Aone Copilot 是阿里内部从 2023 年 7 月就开始内测的智能化研发产品，主要聚焦于给阿里内部开发者提供服务，从去年内测以来，代码补全的平均采纳率来到 ...