怎样在保证 Agent 效果的同时加速推理?

未标记

Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~

问 AI
本题目录

相关面经

3 篇

小红书

全栈开发
社招一面
查看原面经 →
如何解决大模型推理成本高、速度慢的问题?

字节跳动

Agent 开发
二面
查看原面经 →
LLM推理优化做了啥?用过Continuous Batching、KV Cache、vLLM吗?线上高峰吞吐量多少?

招银

后端开发工程师(AI / Agent 方向)
二面
查看原面经 →
agent怎么保证效果的情况下,加速推理速度

收录题集

1 个来源,共3 份题集

多模态大模型主干

Rocky Ding · AIGC-Interview-Book · 1 条原题

查看题集 →

多模态核心模型

Rocky Ding · AIGC-Interview-Book · 1 条原题

查看题集 →

多模态训练与微调

Rocky Ding · AIGC-Interview-Book · 1 条原题

查看题集 →

相关题目

4 题