量化格式支持矩阵¶

简介¶

msModelSlim 支持多种量化权重落盘格式。格式决定量化结果的文件结构、张量命名与元数据组织方式；量化算法决定量化过程（校准、离群值抑制等）。本文档帮助您根据目标推理框架选择合适的导出格式。

如需接入新的量化格式，请参见《量化格式接入指南》。

格式	目标推理框架	支持量化模式（概要）	分布式导出	详细说明
AscendV1	MindIE、vLLM Ascend	W8A8 / W8A16 / W4A8 / W4A4 / MXFP / KV Cache / FA 等 20+	支持	《AscendV1 格式说明》
MindIE-SD	MindIE（多模态生成）	多模态生成模型专用	支持	《MindIE 保存器配置》
compressed-tensors	vLLM	W8A8 Static / W8A8 Dynamic	不支持	《compressed-tensors 格式说明》

spec:
  save:
    - type: "ascendv1_saver"
      part_file_size: 4

spec:
  save:
    - type: "compressed_tensors"
      part_file_size: 4

spec:
  save:
    - type: "mindie_format_saver"
      part_file_size: 0