返回全部题目← 上一题53 / 126下一题 →题库/AI 应用工程与治理/Q-4955如何设计以 vLLM 等推理引擎提供服务的 LLM 推理平台？知识专题：模型服务、部署与交付题目类型：系统设计技术难度：深入题集来源：3 个未标记未标记待复习已掌握收藏反馈（在 GitHub 新标签页打开）Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~问 AIKimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）本题目录收录题集相关题目收录题集3 个来源，共4 份题集AI 系统设计AMIT SHEKHAR · ai-engineering-interview-questions · 1 条原题查看题集 →Design an LLM Inference Platform (vLLM-as-a-Service)AI Infra：训练、推理与 GPU 平台工程Onefly · zero2Agent · 1 条原题查看题集 →如何设计大模型在线推理服务？AI系统与训练推理工程阿东玩 AI · AgentGuide · 6 条原题查看题集 →【推理服务设计】请设计一个支持弹性伸缩的AI推理服务，应对流量高峰。 「京东」【线上推理流程】介绍线上推理流程。 「百度」【模型Serving设计】什么是模型serving，如何设计一个高性能的模型serving系统？ 「蚂蚁集团」展开其余 3 条原题【千万级用户实时推理系统】设计一个支持千万级用户的实时AI推理系统。 「蚂蚁集团」【多模态统一服务平台】如何设计一个支持多模态模型的统一服务平台？同时支持实时和离线模型。 「京东」【高可用大模型推理服务】设计高可用大模型推理服务；如何设计一个高可用的模型服务化平台，确保99.99%的SLA？ 「京东、字节跳动」系统设计与后端基础阿东玩 AI · AgentGuide · 1 条原题查看题集 →【高并发大模型推理服务架构】设计一个高并发的大模型推理服务（日活百万级），画架构图。 「百度」相关题目4 题0079GUI Agent 或 Browser Use 在项目中如何部署？同一知识专题题目类型：项目深挖技术难度：深入相关面经：1 篇0107项目如何从本地部署到云端并完成上线？同一知识专题题目类型：系统设计技术难度：进阶相关面经：19 篇0285如何提升模型回答的性能？同一知识专题题目类型：方案设计技术难度：进阶相关面经：1 篇0448Redis、RabbitMQ 在 Windows 和 Linux 如何部署并验证配置加载？同一知识专题题目类型：操作实践技术难度：进阶相关面经：1 篇♥♥♥♥♥← 上一题已到最后一题← 上一题如何设计运行在设备本地的 AI 助手？下一题 →如何设计文本到图像的生成服务？
