返回全部题目← 上一题41 / 103下一题 →题库/模型基础与推理/Q-4751用 Python 和 PyTorch 实现自回归生成的 KV Cache。知识专题：推理优化与模型压缩题目类型：代码题技术难度：深入题集来源：3 个未标记未标记待复习已掌握收藏反馈（在 GitHub 新标签页打开）Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~问 AIKimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）本题目录收录题集相关题目收录题集3 个来源，共7 份题集AI 工程编码AMIT SHEKHAR · ai-engineering-interview-questions · 1 条原题查看题集 →Implement a KV cache and single-step decode for causal multi-head attention.模型与 Agent 编程Alireza Dirafzoon · AIMLInterviews · 1 条原题查看题集 →Append-only KV cache编程实战面试题阿东玩 AI · AgentGuide · 1 条原题查看题集 →实现 KV Cache编码题专题汇编阿东玩 AI · AgentGuide · 1 条原题查看题集 →【大模型、推理优化、KVCache｜L3】手写KVCache的实现逻辑 「百度」大模型手写代码练习路线阿东玩 AI · AgentGuide · 1 条原题查看题集 →KV Cache Attention· 困难 🔴 困难 — 自回归推理必备，理解 cache 的 append 逻辑展开剩余 2 份题集预训练与架构阿东玩 AI · AgentGuide · 1 条原题查看题集 →【KV Cache管理】实现推理时的键值缓存机制，管理与优化长文本生成 「字节跳动」深度学习基础汇编阿东玩 AI · AgentGuide · 1 条原题查看题集 →【KV缓存MHA实现】手写带kvcache的MHA。 「百度」相关题目4 题0274Decoder-only 的 KV Cache 为什么缓存 K、V 而通常不缓存 Q？同一知识专题题目类型：原理机制技术难度：进阶相关面经：2 篇0277FlashAttention 为什么能节省显存并提速，是否改变注意力结果？同一知识专题题目类型：原理机制技术难度：进阶相关面经：4 篇0502有哪些大模型推理加速技术？同一知识专题题目类型：方案设计技术难度：进阶相关面经：6 篇0503模型剪枝、GPTQ 与 AWQ 量化方法。同一知识专题题目类型：比较选型技术难度：进阶相关面经：5 篇♥♥♥♥♥← 上一题已到最后一题← 上一题大模型解码速度为什么经常受显存带宽限制？下一题 →用分块与在线 Softmax 实现简化版 FlashAttention 前向计算。
