返回全部题目← 上一题8 / 19下一题 →题库/模型训练与对齐/Q-4766如何设计从大模型到小模型的蒸馏策略，并验证能力保留？知识专题：蒸馏与模型合并题目类型：方案设计技术难度：深入题集来源：5 个未标记未标记待复习已掌握收藏反馈（在 GitHub 新标签页打开）Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~问 AIKimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）本题目录收录题集相关题目收录题集5 个来源，共11 份题集大模型基础AMIT SHEKHAR · ai-engineering-interview-questions · 1 条原题查看题集 →Your distilled student model fails on the complex reasoning that the teacher model handled. How do you close the gap?大语言模型Datawhale · daily-interview · 1 条原题查看题集 →DeepSeek 是如何把 R1 的推理能力蒸馏到较小的模型中的？如果我们要自己蒸馏一个较小的垂直领域模型，如何尽可能保留 R1 在特定领域的能力？训练、数据与模型优化：从数据清洗到 LoRAOnefly · zero2Agent · 3 条原题查看题集 →知识蒸馏中教师模型如何选择？模型蒸馏有哪些主要方式？模型蒸馏后效果不佳如何系统排查与优化？算法岗专项面试题阿东玩 AI · AgentGuide · 1 条原题查看题集 →小模型蒸馏策略设计公司案例问答汇编阿东玩 AI · AgentGuide · 1 条原题查看题集 →模型压缩:知识蒸馏在大模型压缩中的应用?效果如何?展开剩余 6 份题集预训练与架构阿东玩 AI · AgentGuide · 1 条原题查看题集 →【小模型训练与蒸馏】小尺寸模型（如8B）的训练特点是什么？是否能够直接蒸馏GPT-5.5等大模型，会存在哪些问题？请说明小模型训练的优势（如计算资源需求低、推理速度快）和挑战（如容量有限），蒸馏大模型时可能遇到的知识迁移不充分、灾难性遗忘、分布偏移等问题。 「百度、蚂蚁集团」SFT与指令微调阿东玩 AI · AgentGuide · 3 条原题查看题集 →【蒸馏教师模型选择】在大模型蒸馏中，如何选择合适的TeacherModel？ 「字节跳动」【小模型蒸馏thinking模型】边缘场景下用小模型去蒸馏带thinking的模型可以怎么做？ 「字节Seed」【模型蒸馏与垂域适配】假设有一个推理能力强的大模型，如何用较小的模型在垂域去获得一个类似的效果？ 「字节跳动」强化学习与对齐阿东玩 AI · AgentGuide · 1 条原题查看题集 →on-policy蒸馏、软蒸馏和我用的方法之间有什么区别和联系？ 「百度」AI系统与训练推理工程阿东玩 AI · AgentGuide · 3 条原题查看题集 →【知识蒸馏】知识蒸馏在大模型压缩中的应用：如何将大模型蒸馏到小模型？黑盒蒸馏（仅使用API）和白盒蒸馏（可访问参数）有什么区别？ 「字节跳动、腾讯、阿里巴巴」【模型压缩蒸馏】如何对经过后训练的大模型进行高效的压缩和蒸馏，以适配端侧或低资源部署? 「蚂蚁集团」知识蒸馏请分享你在模型蒸馏方面的实践经验。怎么避免蒸馏限制新模型的上限？请解释一下知识蒸馏在音视频模型压缩中的应用？京东高频面试题Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →了解模型蒸馏吗多模态核心模型Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →知识蒸馏在sVLM中的作用及实现方式？相关题目4 题0084蒸馏受限时，如何选择后训练方法提升模型能力？同一知识专题题目类型：方案设计技术难度：进阶相关面经：1 篇0347项目中的模型蒸馏具体如何实现？同一知识专题题目类型：项目深挖技术难度：进阶相关面经：1 篇1827实习中的轨迹蒸馏具体如何实现？同一知识专题题目类型：项目深挖技术难度：深入相关面经：1 篇2970蒸馏时如何避免学生学到教师错误的推理链？同一知识专题题目类型：方案设计技术难度：进阶相关面经：1 篇♥♥♥♥♥← 上一题已到最后一题← 上一题以 DeepSeek-R1 为教师蒸馏小模型，与直接对小模型进行强化学习有何区别？下一题 →如何设计实验比较不同模型蒸馏策略的效果？
