华人团队推Medusa简单框架 LLM推理提速2倍

来自普林斯顿、UIUC等机构的华人团队提出用于加速大型语言模型 (LLM) 推理速度的简单框架Medusa，并开源发布。测试结果显示，Medusa可以将LLM的生成效率提高约2倍。