MindStudio ModelSlim 使用指南¶
1. 功能概述¶
MindStudio ModelSlim（msModelSlim） 是昇腾生态下的高性能模型压缩工具，支持稠密 LLM、MoE 及多模态模型的量化与压缩，开发者可通过命令行与配置快速调优并导出适配 MindIE、vLLM-Ascend 等框架的模型，在昇腾 AI 处理器上高效部署。
本目录文档分为业务流程指南与工具使用指南两类，可根据实际需求选择查阅。
业务流程指南¶
| 功能模块 | 说明 | 适用场景 |
|---|---|---|
| 量化精度调优 | 系统化调优方法论：离群值抑制、量化策略、校准集与回退 | 精度不达标时的人工调优路径 |
工具使用指南¶
| 功能模块 | 说明 | 适用场景 |
|---|---|---|
| 一键量化 | 集成主流大模型量化最佳实践，支持多种量化算法与导出格式，开箱即用 | 推荐首选，适用于支持一键量化的模型 |
| 敏感层分析 | 多维度评估各层量化敏感度，为量化配置调优提供数据支撑 | 量化精度调优、定位精度瓶颈 |
| 自动调优 | 根据精度目标自动迭代搜索量化配置，全流程自动化 | 精度不达标时无需人工反复调参 |
| 调试模式 | 保存量化过程上下文，便于排查问题与算法分析 | 问题定位、算法研究 |
2. 业务流程指南¶
2.1 量化精度调优¶
当量化精度未达预期时，可按「确认精度问题可信 → 调整离群值抑制 → 调整量化策略 → 调整校准集 → 量化回退」的递进路径进行系统调优。
详细方法请参见《量化精度调优指南》。
3. 工具使用指南¶
3.1 一键量化¶
一键量化基于 msModelSlim 最佳实践库，自动匹配最优配置，并通过 YAML 自由组合量化流水线。除命令行参数外，还支持：
- 多种量化算法：离群值抑制、线性量化、KV Cache、FA3 等，算法总览与配置字段详见《量化算法说明》。
- 多种导出格式：AscendV1、compressed-tensors、MindIE-SD 等，格式选型与兼容性详见《量化格式支持矩阵》。
详细使用方法请参见《一键量化使用指南》。
3.2 敏感层分析¶
敏感层分析用于多维度评估各层对量化的敏感程度，帮助精准定位应回退或提升位宽的层，为量化配置调优提供数据支撑。
详细使用方法请参见《敏感层分析使用指南》。
3.3 自动调优¶
自动调优功能可根据精度目标自动迭代搜索最优量化配置，量化与评估全流程自动化，无需人工反复调参。
详细使用方法请参见《自动调优使用指南》。
3.4 调试模式¶
调试模式是一键量化的高级特性，启用后会在量化完成时保存过程上下文（中间结果、统计与张量信息等），便于问题排查与算法分析。
详细使用方法请参见《调试模式使用指南》。