返回全部题目← 上一题13 / 103下一题 →题库/模型基础与推理/Q-2176模型的 Prompt Cache 如何工作？知识专题：推理优化与模型压缩题目类型：原理机制技术难度：进阶相关面经：3 篇题集来源：7 个未标记未标记待复习已掌握收藏反馈（在 GitHub 新标签页打开）Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~问 AIKimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）本题目录相关面经收录题集相关题目相关面经3 篇美团Agent 开发工程师2026-08-25日常实习一面查看原面经 →你了解模型的 Prompt Cache 吗？公司未注明AI 应用开发工程师2026-07-17查看原面经 →你看过deepseek官网的API价格表嘛？解释一下里面的缓存命中和缓存未命中是什么？为什么缓存未命中比缓存命中价格多几倍？字节跳动后端开发工程师一面查看原面经 →大模型缓存命中率的原理是什么？收录题集7 个来源，共11 份题集AI系统与训练推理工程阿东玩 AI · AgentGuide · 3 条原题查看题集 →同一个batch内的prompt之间可能有共同的前缀，怎么在prefill阶段利用它来减少重复计算？ 「字节跳动」Prefix Cache请介绍SGLang中的RadixAttention以及SGLang代码实现的相关内容。请介绍你对prefix cache的了解。你是否实现过VLLM的prefix cache？【Prefix Cache】如果要做prefix cache，应如何在trie、hash、block table之间选择，为什么？ 「字节跳动」上下文与记忆沉默王二 · 王二讲 Agent · 1 条原题查看题集 →为什么不能在系统提示词里放时间戳？Agent开发面试题摸鱼酱mio · 个人整理 · 1 条原题查看题集 →Prompt Caching（如 Anthropic ／ OpenAI 提供的 Prompt Cache）的原理和使用场景是什么？大模型工程面试题小林 Coding · 个人整理 · 1 条原题查看题集 →Prompt Caching 的原理是什么？AI 基础设施AMIT SHEKHAR · ai-engineering-interview-questions · 1 条原题查看题集 →How do you implement model caching to reduce redundant computations?展开剩余 6 份题集LLMOps 与生产应用AMIT SHEKHAR · ai-engineering-interview-questions · 1 条原题查看题集 →How does Prompt Caching work?模型部署精华 · 大模型部署技术Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →（进阶）vLLM V1的Prefix Caching机制是如何实现的？模型部署精华 · 性能分析与调优工具Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →如何分析 KV Cache 命中率与利用率？Prefix Caching 的效果如何量化评估？AI Infra：训练、推理与 GPU 平台工程Onefly · zero2Agent · 1 条原题查看题集 →KV Cache 命中率如何评估与优化？记忆与上下文：长对话不丢信息的实战方案Onefly · zero2Agent · 1 条原题查看题集 →什么是上下文缓存（Prompt Caching）？它在 Agent 系统中有什么价值？训练、数据与模型优化：从数据清洗到 LoRAOnefly · zero2Agent · 1 条原题查看题集 →KV Cache Block 的哈希和逻辑到物理映射应该怎么设计？相关题目4 题0274Decoder-only 的 KV Cache 为什么缓存 K、V 而通常不缓存 Q？同一知识专题题目类型：原理机制技术难度：进阶相关面经：2 篇0277FlashAttention 为什么能节省显存并提速，是否改变注意力结果？同一知识专题题目类型：原理机制技术难度：进阶相关面经：4 篇0502有哪些大模型推理加速技术？同一知识专题题目类型：方案设计技术难度：进阶相关面经：6 篇0503模型剪枝、GPTQ 与 AWQ 量化方法。同一知识专题题目类型：比较选型技术难度：进阶相关面经：5 篇♥♥♥♥♥← 上一题已到最后一题← 上一题大模型如何逐步生成 Token？下一题 →Lost in the Middle 现象是什么原理？
