真面经，好答案。面试之前，先来面栈。

模型推理时 Batch Size 如何设置？

知识专题：推理优化与模型压缩题目类型：项目深挖技术难度：进阶
相关面经：1 篇
未标记

反馈（在 GitHub 新标签页打开）

Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~

问 AI
Kimi（新窗口打开）千问（新窗口打开）ChatGPT（新窗口打开）
本题目录

相关面经

1 篇

阿里巴巴

大模型应用算法工程师
查看原面经 →
推理时batch size

相关题目

4 题
0274Decoder-only 的 KV Cache 为什么缓存 K、V 而通常不缓存 Q？同一知识专题题目类型：原理机制技术难度：进阶相关面经：2 篇0277FlashAttention 为什么能节省显存并提速，是否改变注意力结果？同一知识专题题目类型：原理机制技术难度：进阶相关面经：4 篇0502有哪些大模型推理加速技术？同一知识专题题目类型：方案设计技术难度：进阶相关面经：6 篇0503模型剪枝、GPTQ 与 AWQ 量化方法。同一知识专题题目类型：比较选型技术难度：进阶相关面经：5 篇