返回全部题目← 上一题56 / 94下一题 →题库/模型训练与对齐/Q-4708为什么要对已有语言模型进行继续预训练，适用于哪些需求？知识专题：预训练、续训与 SFT题目类型：技术决策技术难度：进阶题集来源：4 个未标记未标记待复习已掌握收藏反馈（在 GitHub 新标签页打开）Sorry o(╥﹏╥)o，暂无参考答案。带这道题，问问AI吧~问 AIKimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）本题目录收录题集相关题目收录题集4 个来源，共6 份题集模型微调与适配AMIT SHEKHAR · ai-engineering-interview-questions · 1 条原题查看题集 →What is continual pre-training, and when would you use it?大语言模型Datawhale · daily-interview · 1 条原题查看题集 →请比较以下三种方案在医疗领域文本分类任务上的优缺点：(a) 直接使用通用 BERT 模型微调； (b) 在医疗文本上继续预训练 BERT 后再微调；(c) 从头开始用医疗文本预训练模型再微调。预训练与微调Firefly · llm_interview_note · 2 条原题查看题集 →想让模型学习某个领域或行业的知识，是应该预训练还是应该微调？为什么要增量预训练？预训练与架构阿东玩 AI · AgentGuide · 4 条原题查看题集 →【增量预训练】增量预训练中的增量具体指什么？ 「腾讯」【垂直领域继续预训练】你怎么看待预训练用垂直数据，继续预训练预期达到什么效果？ 「蚂蚁集团」【领域知识注入策略】想让模型学习某个领域或行业的知识，是应该预训练还是应该微调?请分析两种方法的适用场景：预训练适合大规模、通用知识注入，但成本高；微调适合特定任务、小规模知识注入，但可能过拟合。建议根据数据量、计算资源和目标任务选择。 「字节跳动、百度、腾讯混元」展开其余 1 条原题【增量预训练】（追问）增量预训练如何影响最终模型的训练速度和精度？ 「腾讯」SFT与指令微调阿东玩 AI · AgentGuide · 1 条原题查看题集 →【增量预训练】你有考虑你的场景下（我的论文）做增量预训练吗？ 「蚂蚁集团」展开剩余 1 份题集大模型基础面试题阿东玩 AI · AgentGuide · 1 条原题查看题集 →为什么需要增量预训练？相关题目4 题0083如何提升 Agent 的长程任务能力？同一知识专题题目类型：方案设计技术难度：进阶相关面经：2 篇0085当 pass@k 与 pass@1 的差距收敛后，如何继续提升模型能力？同一知识专题题目类型：方案设计技术难度：深入相关面经：1 篇0207基座已有工具调用能力时，Tool-use SFT 的训练目标是什么？同一知识专题题目类型：原理机制技术难度：进阶相关面经：2 篇0495你有哪些大模型后训练经验？同一知识专题题目类型：项目深挖技术难度：进阶相关面经：2 篇♥♥♥♥♥← 上一题已到最后一题← 上一题自监督学习为什么对大语言模型预训练重要？下一题 →GLM 自回归空白填充与 BERT 掩码语言建模有什么区别？
