系统使用什么模型，是否自行部署？

核心回答

系统使用的模型，需要连同用途、具体标识、接入方式和部署责任一起说明。主 Agent 的推理和工具调用、Embedding、重排等可以由不同模型承担；多个 Agent 也可以共用同一个模型。部署应用、调用公司内部模型 API 和自己运行模型推理服务，是不同的工作。

以深度研搜的公开实现为参考：主 Agent 从统一模块取得聊天模型对象，模型名由 LLM_QWEN_MAX 配置传入，使用 OpenAI 兼容接口接入。应用代码负责 Agent 编排、工具和任务执行，模型计算交给配置所指向的服务端。这里的变量名是配置入口，运行环境使用的具体模型 ID 与服务归属，需要结合发布配置及服务路由说明。

如果使用托管模型，重点讲模型选择、API 接入、超时限流、成本和业务效果；如果使用内部平台，说明平台提供什么、应用团队实现什么；如果自行部署，还要说明权重版本、推理引擎、精度或量化、GPU 与副本配置，以及容量和升级方式。是否私有化，应根据数据边界、模型能力、服务要求、资源利用率和运维能力决定。

用固定实现说明应用与模型的边界

研搜项目的 app/agent/llm.py 使用 init_chat_model 创建客户端，主 Agent 再把这个模型对象交给 create_deep_agent，与文件工具、网络搜索、数据库和知识库子智能体组装起来。模型接入与任务编排因此可以分别替换。

model_provider="openai" 选择的是兼容 OpenAI 接口的客户端接入方式，不意味着底层一定是 OpenAI 模型。百炼等托管平台与 vLLM 等自建服务都能提供兼容接口。相同的业务调用代码，可以面向不同服务，但工具调用、思考内容、结构化输出和流式字段仍需按具体服务验证。

要把配置入口落实为项目说明，可以从发布时的模型 ID、服务地址归属与网关映射确认实际调用对象，并结合请求记录解释备用模型或路由切换。模型自己在回答中说“我是什么模型”，不能替代服务配置。

三种接入和部署方式分别讲什么

直接调用托管模型

应用调用服务商的模型 API，模型权重、推理机器和底层调度由服务方管理。应用团队主要负责选择模型、组织输入与工具、处理流式响应、控制重试和预算，并验证业务效果。

选择理由可以落在当前需求上：例如先获得所需推理或多模态能力、降低初期部署工作，或者减少低利用率 GPU 的闲置。相应也要考虑网络、配额、版本变化和数据处理约定。是否更省成本，需要比较实际调用量与运维投入，而不是单看一次请求价格。

调用内部统一模型 API

内部 API 可以统一鉴权、模型注册、限流、路由和观测；它背后既可能连接外部模型，也可能连接平台团队运行的私有模型。应用运行在内网，或请求先到内部网关，都不自动说明权重在哪里运行。

项目说明应划清两层职责：平台团队维护模型服务与资源，应用团队负责业务场景、Agent 流程、接入与评测；如果也参与了路由、容量或部署改动，再展开对应实现。这样才能准确解释“用了内部模型服务”和“自己部署模型”的区别。

自行运行推理服务

团队负责取得并固定模型文件，选择推理引擎，在相应计算资源上运行服务，并承担监控、升级与容量管理。可以部署在公司机房，也可以部署在自有云资源中，关键是模型服务的控制与运维责任。

例如，一种公开模型部署方案是选用 Qwen/Qwen3-8B 的模型文件，以 vLLM 建立推理服务，研搜应用再通过兼容 API 接入。这是方案示例；具体硬件与精度应根据上下文长度、并发和业务质量测试确定。

部署说明至少包括：

• 模型仓库与权重修订、Tokenizer 和聊天模板，以及是否叠加适配器。
• 推理引擎版本、精度或量化方式、最大上下文和并发设置。
• GPU 型号、单卡显存、卡数、副本数与必要的并行策略。
• 首 Token 延迟、完整耗时、吞吐、显存峰值、错误与恢复情况。

API 对外暴露的模型别名可以与模型仓库名不同。固定模型文件时也应记录具体修订，避免只写会移动的 main。模型能启动只是第一步，带长上下文、工具调用和目标负载的服务表现仍需要验证。

为什么选择某个模型与部署方式

先列业务必需能力，再用固定任务比较候选。对于研搜，重点可以是长材料归纳、工具参数正确性、证据使用、报告完整性与任务成功；对于问数，还要检查字段、指标、SQL 及执行结果。

比较时记录模型与服务版本、思考模式、输出预算、上下文、工具配置和重试策略。不同候选可以使用各自正确的模板与合理配置，但成功标准应一致，同时保留成本与延迟。公开榜单适合初筛，业务结论要来自相应任务。

私有化的价值可能是控制数据流转、固定模型版本、适配内部网络或定制推理；代价则包括资源占用、服务运维、升级和故障处理。调用托管 API 或内部平台也可以是合理选择，尤其是在业务量较小、现有服务已满足要求时。

进一步的资源取舍可结合模型、GPU 与量化选型；需要解释同一模型名称在不同环境中具体指向哪个版本时，可结合具体模型与版本。

常见追问

使用开源模型 API，算自行部署吗？

模型是否开源与服务由谁部署是两个维度。调用第三方托管的开源模型，仍然是调用托管服务；自己运行该模型的权重与推理服务，才需要承担相应部署职责。

部署了 Agent 后端，是不是也部署了大模型？

Agent 后端负责工作流、状态与工具调用，可以远程调用模型；模型推理服务负责加载权重并执行计算。两者可以独立部署，也可以由不同团队维护。

更换兼容 API 服务，只改地址和模型名就够了吗？

基础接入可能只需少量配置改动，但还要回归工具格式、参数支持、流式结束、错误码、思考内容和输出校验。协议兼容不等于所有扩展行为一致。

模型服务有几张卡，为什么还要说明副本数？

多卡可能共同运行一个模型实例，也可能分别运行多个副本。前者主要分担单份模型的计算和存储，后者承接更多独立请求；容量、故障和升级方式不同，不能只报总卡数。

对应教程

参考资料