玄武 CLI是什么
玄武 CLI（xw-cli）是清昴智能开源的国产大模型部署工具，专为华为昇腾、沐曦、燧原等国产芯片深度优化，通过自动硬件检测和智能引擎调度，让用户无需复杂配置可一键启动模型服务。工具兼容 Ollama 命令习惯和 OpenAI API 接口，支持 DeepSeek、Qwen3 等主流模型，5 分钟内完成部署，彻底解决国产算力”能用但不好用”的生态难题。
玄武 CLI的主要功能
- 一键部署：用户无需安装 Python 或配置复杂依赖，只需解压即可运行，最快 1 分钟内启动生产级模型服务。
- 智能硬件识别：系统自动检测华为昇腾、沐曦、燧原等多款国产芯片型号，无需手动指定后端或调整参数。
- 模型管理：提供与 Ollama 高度一致的命令行操作（如
xw pull拉取模型、xw run运行对话、xw ls查看本地模型），降低迁移学习成本。 - 多引擎调度：内置自研 MLGuider 推理引擎，兼容 vLLM 等第三方引擎，根据场景智能选择最优后端平衡性能与兼容性。
- API 兼容：完整支持 OpenAI API 格式，LangChain、LlamaIndex 及各类 IDE 插件仅需修改接口地址可无缝接入。
- 离线运行：所有模型管理与推理任务均在本地完成，不依赖云端服务，满足金融、医疗等高隐私场景的合规要求。
- 生态联动：作为底层能力底座与 Clawdbot 等本地 AI 工具配合，为自动化任务和智能应用提供模型支撑。
玄武 CLI的技术原理
- 异构算力抽象层：在底层构建统一的硬件抽象接口，将华为 CANN、摩尔线程 MUSA 等不同芯片架构的差异性收敛到系统内部处理。当用户执行命令时，程序自动识别当前硬件类型，完成驱动版本匹配、环境变量注入和运行时初始化，向上层提供标准化的模型服务接口，让用户无需理解底层架构细节可实现”零调试部署”。
- 智能引擎路由：系统内置自研的 MLGuider 高性能推理引擎，同时兼容 vLLM 等开源引擎，形成多引擎并存架构。在模型加载阶段，玄武 CLI 根据芯片算力特性、模型架构类型（如 Dense 或 MoE）以及量化精度等因素，自动选择最优执行路径。
- 子进程隔离架构：为保障服务稳定性，玄武 CLI 采用主进程加独立子进程的架构设计。每个模型实例运行在独立的子进程中，单个任务出现崩溃或异常，也不会影响主进程和其他模型的正常运行。
- 模型-框架-算子联合优化：针对国产芯片的指令集特点和内存带宽特性，团队对新模型架构（如 FP8 量化、MoE 稀疏结构）进行定制化算子开发，确保热门模型在发布当日（Day0）可完成适配并达到理想性能，从根本上解决国产算力”新模型水土不服”的痛点。
玄武 CLI的项目地址
- GitHub仓库：https://github.com/TsingmaoAI/xw-cli
玄武 CLI的应用场景
- 本地 AI 开发环境搭建：开发者可在个人工作站或服务器上快速部署 DeepSeek、Qwen3 等开源模型，无需购买昂贵的 NVIDIA 显卡或 Mac 设备，直接激活手边的国产算力资源进行模型调试和应用开发。
- 企业私有化部署：工具能满足金融、医疗、政务等对数据安全要求极高的行业需求，实现模型完全离线运行，避免敏感数据上传云端，同时降低长期 API 调用成本。
- 智能体（Agent）基础设施：作为 Clawdbot 等本地 AI 工具的底层模型底座，为自动化代码生成、Bug 修复、语音交互等 Agent 应用提供稳定、低延迟的推理能力支撑。
- 国产算力生态验证与推广：帮助芯片厂商、集成商快速验证国产硬件的大模型运行效果，降低开发者试用门槛，推动国产 AI 芯片从”能用”向”好用”转化，加速生态建设。