大模型推理效率无损提升3倍，滑铁卢大学、北京大学等机构发布EAGLE

大语言模型（LLM）的文本生成过程昂贵且缓慢，降低推理速度。滑铁卢大学、加拿大向量研究院和北京大学等机构联合发布了EAGLE，旨在提升大语言模型的推理速度，同时保证模型输出文本的分布一致。