微博
加入微博一起分享新鲜事
登录
|
注册
140
【一个轻量但不失高效的SFT训练框架：OpenSFT】OpenSFT，顾名思义，一个开源的SFT训练框架，基于 accelerator + deepspeed + ring flash attention 实现。 本项目实现了length-pack数据组织逻辑，进一步增加了并行量；实现了序列并行下的分类loss统计，更好地监控各类别效果；新增了序列并行 ... https
请登录并选择要私信的好友
300
【一个轻量但不失高效的SFT训练框架：OpenSFT】OpenSFT，顾名思义，一个开源的SFT训练框架，基于 accelerator + deepspeed + ring flash attention 实现。 本项目实现了length-pack数据组织逻辑，进一步增加了并行量；实现了序列并行下的分类loss统计，更好地监控各类别效果；新增了序列并行 ... https
已选择
0
张，还能选择
1
张
来自互联网
赞一下这个内容
公开
分享
获取分享按钮
正在发布微博，请稍候
