量化

量化是一种节约存储空间，并且加速大模型推理计算的有效压缩手段

Contents

• FP8量化
• INT8量化
• AWQ量化
• GPTQ量化
• FP8_LEPTO量化
• QAT 量化感知训练
• QAT + DeepSpeed ZeRO-3
• DAQ量化