跳转至

Modeling 仿真建模

Modeling 是面向 msmodeling 场景的领域 Agent,负责承接大模型(LLM/VLM)仿真建模相关的环境初始化、性能建模、单点仿真、吞吐规划、设备画像以及服务化自动寻优类问题。

当前版本已经接入 msmodeling 专项 skills(含服务化自动寻优链路),可在统一入口下承接参数补齐、命令规划、设备建模引导、服务化自动寻优工具部署安装、寻优参数推荐与 config.toml 配置;涉及真实性能结果时,仍应以实际运行输出为准。

Agent 定位

  • 面向 msmodeling 仓库及其相关任务
  • 覆盖大模型单点性能仿真与部署吞吐规划两大方向
  • 聚焦“理解需求 → 梳理输入 → 形成候选命令 / 方案 → 执行前确认 → 总结结果或给出验证路径”
  • 仅承接已接入专项 skill 覆盖的链路;未接入能力不在当前适用范围内

已接入能力

当前已接入以下 msmodeling 专项能力:

  • msmodeling-env-installer:用于安装和验证 msmodeling 开发环境,覆盖 uv 创建 myenv、安装 requirements.txt、配置当前会话 PYTHONPATH / HF_ENDPOINT 与依赖一致性检查
  • msmodeling-text-generate-executor:用于单点仿真参数补齐、候选命令生成、执行前确认与结果总结
  • msmodeling-throughput-optimizer-executor:用于吞吐规划、硬件对比、聚合/分离/P:D 配比搜索的参数补齐与结果总结
  • msmodeling-device-config:用于把自然语言硬件规格转换为设备画像建模输入,并显式标注待校准项
  • msmodeling-optix-deploy:用于部署安装 msmodeling optix 服务化自动寻优 CLI 工具,包括仓库检查、pip 安装与 CLI 验证
  • msmodeling-optix-param-recommend:用于根据硬件、模型、负载和优化目标,推荐 MindIE/vLLM 服务化自动寻优参数、搜索范围、benchmark 配置与 config.toml 片段

核心能力

  • 解释当前已接入的大模型仿真建模与部署规划能力边界、典型使用方式
  • 梳理 text_generatethroughput_optimizer、设备画像以及服务化自动寻优部署场景的关键输入参数
  • 帮助用户区分环境初始化、单点验证、吞吐规划、设备建模、服务化自动寻优部署与参数推荐等已支持任务类型
  • 根据本地仓库文档与实现,给出候选命令、输入清单、检查项和验证路径
  • 在没有真实运行结果时,明确区分“仿真/规划建议”和“实测结论”

适用场景

  • 想按 README 初始化 msmodeling 开发环境、创建 myenv 或安装 requirements.txt
  • 想配置当前会话的 PYTHONPATHHF_ENDPOINT,或检查 Python 依赖一致性
  • 想判断某个 msmodeling 需求应该走单点仿真、吞吐规划还是设备建模流程
  • 想梳理 python -m cli.inference.text_generate 运行前需要准备哪些参数
  • 想评估 python -m cli.inference.throughput_optimizer 的规划思路或输入项
  • 想为新硬件准备 device profile
  • 想部署安装 msmodeling optix 服务化自动寻优工具
  • 想根据硬件、模型、业务负载和优化目标获取 MindIE/vLLM 服务化自动寻优参数推荐和 config.toml 配置

推荐使用方式

  • 尽量直接提供 msmodeling 仓库路径、模型名称、目标设备、设备数和任务目标
  • 如果你要初始化环境,请说明是否要使用默认 myenv、是否允许安装 uv / requirements.txt、是否需要设置 PYTHONPATHHF_ENDPOINT
  • 如果你要的是单点仿真,请说明:模型、device profile、设备数、输入/输出长度、Prefill/Decode 模式
  • 如果你要的是吞吐规划,请说明:模型、硬件、设备数、输入输出长度、SLO、部署模式(聚合 / 分离 / P:D 比例)
  • 如果你要部署服务化自动寻优工具,请说明是否使用默认的阿里云 PyPI 镜像,以及你的运行环境是否为 Ascend 推理系列产品
  • 如果你要获取服务化自动寻优参数推荐,请尽量提供:推理框架(mindie/vllm)、硬件信息(单卡显存、world_size、每节点卡数、节点数)、模型 config.json 路径或模型名、业务负载 token 长度、优化目标(throughput/ttft/tpot/balanced)

当前边界说明

  • 对已接入的 6 个专项 skill,Agent 可以直接承接:
  • 环境依赖安装与检查
  • 参数渐进式补齐
  • 候选命令生成
  • 执行前确认
  • 执行后结果总结
  • 服务化自动寻优工具部署安装与验证
  • 基于历史经验与启发式规则的寻优参数推荐与 config.toml 配置
  • 环境安装类任务(含服务化自动寻优工具部署)涉及网络安装、删除或覆盖已有环境、卸载 Python 包时,必须先说明影响并取得确认
  • 寻优参数推荐会优先匹配历史实战经验配置,命中时直接采用经验值;超出经验边界的部分回退到脚本通用推断,两者来源会明确标注
  • 当前未接入的链路不在本 Agent 适用范围内,Agent 不应伪造自动化流程或声称可以直接执行
  • 若需要真实性能结果,仍应以实际运行和验证输出为准

典型使用场景

场景 示例提示词
环境初始化 请帮我按 msmodeling README 初始化环境,创建 myenv 并安装 requirements.txt。
单点仿真参数梳理 请帮我梳理 Qwen3-32B 在 A3 上跑 text_generate 需要补齐哪些参数。
吞吐规划咨询 我想比较同一个模型在两种硬件上的部署吞吐规划,应该怎么准备 throughput_optimizer 输入?
设备建模入口 我要给一块新硬件做 device profile,先帮我确认需要哪些规格。
服务化自动寻优部署 请帮我安装 msmodeling optix 寻优工具并验证是否可用。
寻优参数推荐 我在 Atlas A3 上部署 Qwen3-32B,使用 vLLM,目标吞吐优先,帮我推荐寻优参数和 config.toml 配置。