在实际部署测试中，研究团队使用一个拥有数百亿参数的生成模型进行了全面评估。在贪婪解码模式下，系统实现了 2.7 倍的生成速度提升。这种性能改进不仅降低了用户感知延迟，还减少了所需的 GPU 数量和能源消耗。

苹果公司最新的机器学习研究可以使Apple Intelligence的模型创建速度更快，因为它提出了一种技术，在使用 NVIDIA GPU 时，词元的生成速度几乎提高了三倍。在为提供人工智能功能的工具和应用程序（如 Apple ...

（视频截图） （纽约19日综合电）美国航空（American ...