LoRA 有哪些缺点和改进方向？

核心回答

LoRA的主要局限是低秩增量与插入范围限制了可学习的更新，结果依赖数据、rank、缩放和优化设置；它仍要运行基座并保存部分激活，训练资源不会按可训练参数比例下降。部署时还要处理Adapter与基座匹配、多任务批处理、合并和量化兼容等问题。

改进应针对具体瓶颈：适配不足就评估更合适的目标层、秩或参数化方式；优化不稳定就调初始化、学习率与缩放；显存不足可评估QLoRA；复杂领域差异持续无法解决时，比较全参数微调、继续预训练或更换基座。

局限怎样产生

表达范围有限。 标准LoRA把增量写成ΔW=(α/r)BA，增量秩不超过r；但W本身仍可满秩，不能说“模型权重被压成低秩”。只适配少数投影时，其他参数没有直接更新路径，某些任务可能受限。更大的rank有更多自由度，却不保证测试集效果更好。

优化和数据仍然关键。 A/B的初始化、梯度尺度、学习率、插入位置与任务数据相互影响。LoRA能过拟合，也可能损害旧任务；冻结基座并不保证原行为不变，因为推理时使用了权重增量。

显存节省有边界。 省掉的是冻结权重的梯度与优化器状态等，可训练参数少不代表无需基座前向、反向链路或激活。长序列的激活有时比Adapter状态更占空间，不能只靠降低rank解决OOM。

交付有额外管理。 Adapter通常依赖确定基座、层名、模板和配置。单任务可合并得到普通权重；若要在同一批中给不同请求使用不同Adapter，需要引擎支持或额外调度，不能既假设固定合并权重，又无成本地切换所有任务。量化模型合并后还需验证数值和格式。

可以怎样改进

先用合理的数据和评测确认限制，再比较增加目标模块、分层配置rank或扩大训练范围。对权重方向和幅度耦合的适配问题，可评估DoRA：方向用低秩更新，另行训练幅度参数；它增加了训练与实现复杂度，是否值得要在相同任务和预算下验证。

资源瓶颈则是另一条路线。QLoRA量化冻结基座以节省存储，并保留较高精度的Adapter计算；它没有自动扩大LoRA的更新空间，反量化与量化误差也需要评估。数据混合、较小学习率和合适轮数用于控制遗忘与过拟合，属于训练策略，不能用新算法名替代。

追问：LoRA一定不如全参数微调吗？

不一定。全参数自由度更大，也更依赖数据和资源；LoRA的约束在部分任务上可能起到正则作用。应该比较同一任务、相同质量要求下的泛化、旧能力、训练成本和部署负担，而不是预设某一种方法必胜。

对应教程

参考资料