返回全部题目← 上一题19 / 150下一题 →题库/模型训练与对齐/Q-3049垂直领域微调后通用能力衰减，如何优化？知识专题：训练框架、调参与排障题目类型：故障排查技术难度：进阶相关面经：1 篇题集来源：6 个未标记未标记待复习已掌握收藏反馈（在 GitHub 新标签页打开）Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~问 AIKimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）本题目录相关面经收录题集相关题目相关面经1 篇阿里巴巴大模型算法工程师2026-06-25一面查看原面经 →模型经过垂直领域指令微调后，通用基础能力出现衰减，有哪些可行优化方案？收录题集6 个来源，共10 份题集模型微调与适配AMIT SHEKHAR · ai-engineering-interview-questions · 1 条原题查看题集 →Your fine-tuned LLM forgot its general capabilities after domain-specific fine-tuning. How do you fix catastrophic forgetting?大语言模型Datawhale · daily-interview · 2 条原题查看题集 →在继续预训练时，如何在保证模型获得特定领域知识的同时，最大限度地保留其通用能力？在 PPO 中，如何防止模型在微调数据集以外的问题上泛化能力下降？如何防止模型收敛到单一类型的高奖励回答？预训练与微调Firefly · llm_interview_note · 1 条原题查看题集 →领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘通用能力？训练、数据与模型优化：从数据清洗到 LoRAOnefly · zero2Agent · 3 条原题查看题集 →什么是灾难性遗忘？微调时如何缓解？垂直领域指令微调后，模型通用能力出现退化，怎么解决？为什么 SFT 后继续做 DPO/PPO 等偏好优化可能导致基础能力退化？公司案例问答汇编阿东玩 AI · AgentGuide · 1 条原题查看题集 →项目:PPO/GRPO 微调后,如何防止模型在分布外(OOD)问题上性能崩塌?展开剩余 5 份题集预训练与架构阿东玩 AI · AgentGuide · 1 条原题查看题集 →【任务平衡】如何选择通用任务和特定任务平衡? 「字节Seed」SFT与指令微调阿东玩 AI · AgentGuide · 13 条原题查看题集 →【SFT副作用】为什么SFT之后感觉LLM傻了？ 「字节跳动、百度、腾讯混元」【数据层面缓解遗忘】除调整损失、模型结构外，还有哪些数据层面手段缓解灾难性遗忘？具体包括：领域数据训练后通用能力下降，如何缓解模型遗忘通用能力？ 「字节跳动、百度、腾讯混元」【灾难性遗忘与缓解】大模型灾难性遗忘是什么？如何解决？如何理解模型灾难性遗忘、通用能力降低，以及微调后出现能力劣化（灾难性遗忘）是怎么回事？如何缓解？ 「字节跳动、百度、腾讯、腾讯混元」展开其余 10 条原题【灾难性遗忘防止】追问2：如何防止微调过程中的灾难性遗忘？ 「百度」【通用数据混合】是否要混通用数据？ 「美团」【通用能力下降缓解】如果模型微调后通用能力下降，除了数据配比和继续使用LoRA，还有哪些方案？ 「京东、字节跳动」【SFT后通用数据重要性】SFT之后不用通用数据会出现哪些问题（general能力下降、指令跟随能力下降）？实际使用经验。 「蚂蚁集团」【全参训练灾难性遗忘】全参训练对于其他的任务影响比较大怎么解决：比如图像理解，如果全参训练，在测试的时候会提升这个任务的精度但是其他任务的精度会掉点。 「阿里巴巴」【垂域微调通用能力保持】垂域指令微调后通用能力下降，如何解决？具体包括：如何在垂直领域训练之后保持通用领域能力？如何平衡大模型在通用能力与特定领域（如金融风控、客服）性能之间的关系？ 「蚂蚁集团、阿里巴巴」【垂直领域微调保留通用能力】项目：如果要微调你们这个模型到某些垂直领域，但是要保留多模态的这种通用能力，应该用什么办法来尽量保留模型的能力？ 「美团」【多任务微调灾难性遗忘】使用LoRA进行多任务微调时，如何解决任务之间的灾难性遗忘或负迁移问题？ 「字节跳动」【多领域混训能力平衡】多领域数据混训时，如何避免某个能力提升导致其他能力下降？ 「字节跳动」【灾难性遗忘缓解】LLM的SFT阶段防止灾难性遗忘有哪些策略？具体到LoRA增量训练遇到灾难性遗忘如何解决？ 「京东、百度」理论基础面试题阿东玩 AI · AgentGuide · 2 条原题查看题集 →SFT使用的数据可能和原始模型预训练时的数据分布有较大区别，怎么解决？PPO/GRPO 微调后，如何防止模型在分布外(OOD)问题上性能崩塌？腾讯问答汇编Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →全量微调的劣势是什么？既然容易灾难性遗忘，有什么方法能够保证能尽可能保留模型原始能力，并让其迁移到新任务上AI多模态精华版·原生模型Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →联合训练如何做到纯文本能力不退化？相关题目4 题0100项目中的强化学习框架是如何搭建的？同一知识专题题目类型：项目深挖技术难度：深入相关面经：2 篇0101verl 中的 Agent Loop 如何实现？同一知识专题题目类型：原理机制技术难度：进阶相关面经：2 篇0276训练正常而离线评测骤降时，如何定位链路问题？同一知识专题题目类型：故障排查技术难度：深入相关面经：1 篇0381资源受限的微调中，如何判断学习率过高或过低？同一知识专题题目类型：故障排查技术难度：进阶相关面经：2 篇♥♥♥♥♥← 上一题已到最后一题← 上一题微调过程中遇到过哪些问题，如何定位并解决？下一题 →如何解决大模型记忆遗忘问题？
