投机采样

投机采样#

投机采样是一种用于自回归大模型中进行并行解码的技术，可以在效果无损的前提下，有效加速大模型推理计算。

Contents