LLM 量化方法原理与实现详解：GPTQ、AWQ、SmoothQuant、FP8
· 阅读需 13 分钟
全面解析 LLM 量化：数据类型基础、对称/非对称量化数学、GPTQ Hessian 误差补偿、AWQ 激活感知缩放、SmoothQuant 激活平滑、FP8 与 GGUF 量化体系。
1 篇博文 含有标签「量化」
模型量化相关
查看所有标签模型量化相关
查看所有标签全面解析 LLM 量化：数据类型基础、对称/非对称量化数学、GPTQ Hessian 误差补偿、AWQ 激活感知缩放、SmoothQuant 激活平滑、FP8 与 GGUF 量化体系。