Modeling 仿真建模¶
Modeling 是面向 msmodeling 场景的领域 Agent,负责承接大模型(LLM/VLM)仿真建模相关的环境初始化、性能建模、单点仿真、吞吐规划、设备画像以及服务化自动寻优类问题。
当前版本已经接入
msmodeling专项 skills(含服务化自动寻优链路),可在统一入口下承接参数补齐、命令规划、设备建模引导、服务化自动寻优工具部署安装、寻优参数推荐与 config.toml 配置;涉及真实性能结果时,仍应以实际运行输出为准。
Agent 定位¶
- 面向
msmodeling仓库及其相关任务 - 覆盖大模型单点性能仿真与部署吞吐规划两大方向
- 聚焦“理解需求 → 梳理输入 → 形成候选命令 / 方案 → 执行前确认 → 总结结果或给出验证路径”
- 仅承接已接入专项 skill 覆盖的链路;未接入能力不在当前适用范围内
已接入能力¶
当前已接入以下 msmodeling 专项能力:
msmodeling-env-installer:用于安装和验证msmodeling开发环境,覆盖uv创建myenv、安装requirements.txt、配置当前会话PYTHONPATH/HF_ENDPOINT与依赖一致性检查msmodeling-text-generate-executor:用于单点仿真参数补齐、候选命令生成、执行前确认与结果总结msmodeling-throughput-optimizer-executor:用于吞吐规划、硬件对比、聚合/分离/P:D 配比搜索的参数补齐与结果总结msmodeling-device-config:用于把自然语言硬件规格转换为设备画像建模输入,并显式标注待校准项msmodeling-optix-deploy:用于部署安装msmodeling optix服务化自动寻优 CLI 工具,包括仓库检查、pip 安装与 CLI 验证msmodeling-optix-param-recommend:用于根据硬件、模型、负载和优化目标,推荐 MindIE/vLLM 服务化自动寻优参数、搜索范围、benchmark 配置与config.toml片段
核心能力¶
- 解释当前已接入的大模型仿真建模与部署规划能力边界、典型使用方式
- 梳理
text_generate、throughput_optimizer、设备画像以及服务化自动寻优部署场景的关键输入参数 - 帮助用户区分环境初始化、单点验证、吞吐规划、设备建模、服务化自动寻优部署与参数推荐等已支持任务类型
- 根据本地仓库文档与实现,给出候选命令、输入清单、检查项和验证路径
- 在没有真实运行结果时,明确区分“仿真/规划建议”和“实测结论”
适用场景¶
- 想按 README 初始化
msmodeling开发环境、创建myenv或安装requirements.txt - 想配置当前会话的
PYTHONPATH、HF_ENDPOINT,或检查 Python 依赖一致性 - 想判断某个
msmodeling需求应该走单点仿真、吞吐规划还是设备建模流程 - 想梳理
python -m cli.inference.text_generate运行前需要准备哪些参数 - 想评估
python -m cli.inference.throughput_optimizer的规划思路或输入项 - 想为新硬件准备 device profile
- 想部署安装
msmodeling optix服务化自动寻优工具 - 想根据硬件、模型、业务负载和优化目标获取 MindIE/vLLM 服务化自动寻优参数推荐和
config.toml配置
推荐使用方式¶
- 尽量直接提供
msmodeling仓库路径、模型名称、目标设备、设备数和任务目标 - 如果你要初始化环境,请说明是否要使用默认
myenv、是否允许安装uv/requirements.txt、是否需要设置PYTHONPATH或HF_ENDPOINT - 如果你要的是单点仿真,请说明:模型、device profile、设备数、输入/输出长度、Prefill/Decode 模式
- 如果你要的是吞吐规划,请说明:模型、硬件、设备数、输入输出长度、SLO、部署模式(聚合 / 分离 / P:D 比例)
- 如果你要部署服务化自动寻优工具,请说明是否使用默认的阿里云 PyPI 镜像,以及你的运行环境是否为 Ascend 推理系列产品
- 如果你要获取服务化自动寻优参数推荐,请尽量提供:推理框架(mindie/vllm)、硬件信息(单卡显存、world_size、每节点卡数、节点数)、模型 config.json 路径或模型名、业务负载 token 长度、优化目标(throughput/ttft/tpot/balanced)
当前边界说明¶
- 对已接入的 6 个专项 skill,Agent 可以直接承接:
- 环境依赖安装与检查
- 参数渐进式补齐
- 候选命令生成
- 执行前确认
- 执行后结果总结
- 服务化自动寻优工具部署安装与验证
- 基于历史经验与启发式规则的寻优参数推荐与 config.toml 配置
- 环境安装类任务(含服务化自动寻优工具部署)涉及网络安装、删除或覆盖已有环境、卸载 Python 包时,必须先说明影响并取得确认
- 寻优参数推荐会优先匹配历史实战经验配置,命中时直接采用经验值;超出经验边界的部分回退到脚本通用推断,两者来源会明确标注
- 当前未接入的链路不在本 Agent 适用范围内,Agent 不应伪造自动化流程或声称可以直接执行
- 若需要真实性能结果,仍应以实际运行和验证输出为准
典型使用场景¶
| 场景 | 示例提示词 |
|---|---|
| 环境初始化 | 请帮我按 msmodeling README 初始化环境,创建 myenv 并安装 requirements.txt。 |
| 单点仿真参数梳理 | 请帮我梳理 Qwen3-32B 在 A3 上跑 text_generate 需要补齐哪些参数。 |
| 吞吐规划咨询 | 我想比较同一个模型在两种硬件上的部署吞吐规划,应该怎么准备 throughput_optimizer 输入? |
| 设备建模入口 | 我要给一块新硬件做 device profile,先帮我确认需要哪些规格。 |
| 服务化自动寻优部署 | 请帮我安装 msmodeling optix 寻优工具并验证是否可用。 |
| 寻优参数推荐 | 我在 Atlas A3 上部署 Qwen3-32B,使用 vLLM,目标吞吐优先,帮我推荐寻优参数和 config.toml 配置。 |