预测token速度翻番!Transformer新解码算法火了，来自小羊驼团队|代码已开源

小羊驼团队研究开发的解码算法，可以让模型预测100个token数的速度提高1.5-2.3倍，进而加速LLM推理。它主要利用雅可比 (Jacobi) 迭代法首次打破自回归解码中的顺序依赖性。