标签聚合

DeepSpeed

当前页面聚合了与“DeepSpeed”相关的文章，适合快速查找同主题内容。

文章数量：1 浏览方式：按专题连续阅读返回首页

2026年4月7日 AI

LoRA多卡训练梯度累积失效：有效batch size远小于预期导致模型收敛异常

设了gradient_accumulation_steps=8，理论...

阅读全文