预训练与 SFT 的学习率数量级通常怎样选择,为什么不同?
Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~
问 AI
本题目录
相关面经
1 篇三一树根
机器人强化学习算法实习
你知道预训练(Pre-training)时和微调(SFT)时的学习率(Learning Rate)数量级大概分别是多少吗?
Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~
你知道预训练(Pre-training)时和微调(SFT)时的学习率(Learning Rate)数量级大概分别是多少吗?