主题设置
内置主题选择后自动记忆
我的主题0
在「自定义」里调好颜色后,点下方「另存为」即可存成自己的主题。
导出的 JSON 可分享给他人,导入后会出现在「我的主题」,登录后自动备份到云端。
自定义参数默认等于液态玻璃
主题色
辅色
背景色
文字配色
渐变底色
光斑颜色
角度 160°
通透度 88%
标题
正文
描述
标题
描述
正文
链接
描述
标题
描述
站点卡片
面板背景
背景
遮罩 16%
卡片 88%
登录
星际导航 高质量资源导航

支持 40 多个模型、GPU 与昆仑芯通用的开源训练框架:LoongForge

是百度智能云百舸团队开源的训练框架,一套代码覆盖 LLM、VLM、Diffusion 与具身模型的预训练、SFT 与 LoRA,同时支持 NVIDIA GPU 与昆仑芯 XPU。内置 40 多个模型示例,具身训练吞吐最高达开源基线 4.38 倍,适合已有集群的团队。

枫枫叶 趣站分享 · 2026-10-29 · 3 阅读 · 0 评论

温馨提示:本文发布于 2026-10-29,内容可能随时间推移而失效;若遇到链接打不开、资源异常等情况,可在下方「反馈」中告诉我们,我们会尽快核实处理。

做大模型训练的团队大概都踩过同一组坑:Megatron-LM 吞吐高,改一个模型却要动并行切分和一堆配置;Hugging Face 那套上手快,规模上去吞吐就掉;到了具身模型,VLA 与 WAM 又得换第三套工具链,数据格式、分布式策略、评测环境各写一遍。要在国产芯片上跑,多半还得长期维护一个跟不上的分支。

LoongForge 是百度智能云百舸团队开源的一套训练框架,把 LLM、VLM、Diffusion 与具身模型收进同一个仓库:语言与多模态走 Megatron 后端,具身模型走基于原生 PyTorch 的 torch-native 后端,共用配置与启动方式,硬件上同时支持 NVIDIA GPU 与昆仑芯 XPU。

下面讲清它解决什么、几项关键优化、怎么跑起来,以及门槛在哪。

LoongForge 是什么?

LoongForge 是百度智能云百舸团队开源的训练框架,前身是内部的 AIAK-Training-LLM,采用 Apache 2.0 协议,2026 年 4 月公开源码。它覆盖预训练、SFT 与 LoRA,内置 DeepSeek、Qwen、Kimi、GLM 与 Pi0.5、GR00T 等 40 多个模型的配置和启动脚本。与只管单一模态的框架不同,它把语言、多模态、扩散与机器人策略收进同一个工程,用两套后端分别适配。

核心功能

功能分两条线:后端负责跑得快,配套工具负责接得进。下面的性能数字来自官方基准,同机型、同超参下与开源基线对比。

  • 双后端分工——LLM、VLM 与 Diffusion 走 Megatron 后端,VLA 与 WAM 走 torch-native 后端,DDP、FSDP、HSDP 都可选。
  • 吞吐加速——具身模型达到开源基线 1.79 到 4.38 倍,Wan 2.2 提速 116%。
  • MoE 负载均衡——TAOT 按拓扑动态复制热点专家,专家并行开销最多降 74%。
  • 自适应 FP8——支持块级 FP8,也可按 GEMM 形状逐算子挑精度。
  • VLM 组件组合——用配置把 ViT 与 LLM 拼成新模型,不必写模型代码。
  • 具身数据管线——统一加载 LeRobot 格式,ego2robot 把第一人称视频转成双臂机器人训练数据。
  • 统一评测——在 LIBERO、CALVIN、RoboTwin 等仿真环境里做闭环评测。

使用场景

用它的多是已经有集群、要在多个模态上反复训模型的团队,或准备把训练迁到昆仑芯的团队。只有一两张卡的场景用不上这些并行优化,反而会被环境复杂度拖住。

人群/角色场景描述推荐指数
大模型预训练团队千卡规模跑 MoE 主干,用通信重叠与专家均衡压住显存★★★★★
多模态团队用配置把自家 ViT 接到开源 LLM 上,异构并行分开调★★★★★
具身智能团队VLA 微调加仿真评测一条链路,不必自拼数据与评测脚本★★★★★
国产芯片迁移同一套代码在昆仑芯上跑,靠插件切换而非重写★★★★☆
视频生成团队Wan 系列长视频训练用上下文并行切分到多卡★★★★☆
算法研究个人单卡复现小模型,主要图配置与示例齐全★★★☆☆

操作指南

官方提供预构建镜像,LLM、VLM、具身与 Diffusion 共用同一个,跳过依赖编译最省事。装好 NVIDIA Container Toolkit 后按下面走。

  • 执行 docker pull loongforge/loongforge:latest 拉镜像。
  • 用 docker run –gpus all –ipc=host 起容器,把本地目录挂到容器内数据路径。
  • 用 Hugging Face CLI 下载权重与数据集,Pi0.5 微调需要 pi05_base、paligemma-3b-pt-224 与 libero_10。
  • 到 examples 目录找对应模型的启动脚本,昆仑芯脚本在 examples_xpu。
  • 用环境变量指定权重、数据与输出路径,默认只跑 20 步,先验证流程。
  • 跑通后改配置里的步数与并行参数,日志落在输出目录。
  • 换硬件平台时看 LoongForge 文档的「昆仑芯 XPU 教程」,而不是改代码。

支持平台

训练侧支持 NVIDIA GPU 与昆仑芯 XPU 两条硬件线,靠插件切换而不是维护两个分支。系统为 Linux,仓库提供两套 Dockerfile 与统一预构建镜像。文档分中英双语,中文覆盖 LLM、VLM、具身、Diffusion 四条教程。没有图形界面,全部在命令行完成。

产品定价

免费开源。代码以 Apache License 2.0 发布,商用、修改与二次分发都不收授权费。成本在硬件:跑通 7B 微调要多卡环境,前沿规模训练要有对应集群。部分高性能 CUDA 融合算子只在百度百舸平台提供,社区版是 TileLang 实现。

常见问题

Q:单卡或消费级显卡能跑吗?

能跑,但用不上主要价值。优化集中在多卡并行与通信,单卡收益有限,这类需求用更轻的微调工具更合适。

Q:商用需要付费或额外授权吗?

不需要。Apache License 2.0 允许商用与修改,保留许可声明与署名即可。个别文件改编自第三方项目,许可写在文件头部。

Q:中文文档和社区支持怎么样?

中文是主线,安装与四条教程都有中文版,读起来不费劲。反馈走 Issue,社区另有微信群、Discord 与邮件渠道。

枫叶小结

LoongForge 的位置很清楚:给已经有集群、要在多个模态上反复训模型的团队用。长处是覆盖面与工程完成度,一套配置横跨语言、多模态、扩散与机器人策略,性能数字标了对比基线,昆仑芯支持让迁移少改代码。

不适合的情况同样明确:只有一两张卡想快速微调的个人,装环境成本大于收益;习惯改几行就跑的研究者,Megatron 后端的并行配置仍有学习曲线。选之前先确认模型与硬件都在支持列表里。

版权与免责声明
本站名称:星际导航 永久网址:https://dhw.wchulian.com.cn
  • 1 如果您喜欢本站,点击这儿捐赠本站,感谢支持!
  • 2 可能会帮助到你: 使用帮助 报毒说明 侵权删除 联系我们
  • 3 修改版本安卓及电脑软件,加群提示为修改者自留,非本站信息,注意鉴别;
  • 4 本网站部分资源来源于网络,仅供大家学习与参考,请于下载后 24 小时内删除;

相关推荐

相关文章
分类细致且自带起始页与随手记的综合网址导航站:开发者导航 趣站分享 分类细致且自带起始页与随手记的综合网址导航站:开发者导航 开发者导航按用途把五千余个站点拆成两级栏目,影音、游戏、生活、工具、开发各有细分,每条收录都有详情页写明用途。站内另配起始页、随手记与微言栏目,可当浏览器主页,… Logggos:Logo设计灵感与品牌视觉参考平台 趣站分享 Logggos:Logo设计灵感与品牌视觉参考平台 对于设计师、品牌创意人员和创业者来说,设计一个合适的 Logo,往往需要经历大量案例研究与视觉探索。从行业定位、字体选择到品牌配色,每个细节都会影响标志传达的信… MP3Paw:免费MP3音乐搜索工具在线查找歌曲与音频下载指南 趣站分享 MP3Paw:免费MP3音乐搜索工具在线查找歌曲与音频下载指南 对于喜欢听音乐的用户来说,找到想听的歌曲、了解音频质量,并在合适的情况下保存音乐文件,是日常听歌过程中经常遇到的需求。MP3Paw 是一款以 MP3 音乐搜索为… 地图书:人文知识管理与专题地图制作工具 趣站分享 地图书:人文知识管理与专题地图制作工具 地图书是一款将人文知识整理、地理信息展示与数据可视化相结合的在线平台,适合需要研究历史文化、整理地理资料、制作专题地图或分享知识内容的用户。它尝试把分散的文字、… HQ JSON Formatter:免费在线JSON格式化与语法验证工具 趣站分享 HQ JSON Formatter:免费在线JSON格式化与语法验证工具 处理API返回数据、配置文件或接口响应时,JSON内容经常会因为压缩、嵌套层级较多而变得难以阅读。尤其是开发调试过程中,一段没有缩进的JSON数据不仅不方便查看… 简单教程:编程语言学习与开发教程资源平台 趣站分享 简单教程:编程语言学习与开发教程资源平台 对于刚开始学习编程的人来说,真正困难的往往不是找到某一种语言的资料,而是不清楚应该从哪里开始,以及不同技术之间有什么联系。简单教程围绕编程学习与开发实践整理了较…

发现资源问题?请选择反馈类型后提交,我们会尽快核实处理。

  • 文中的资源、工具或下载链接可能随发布时间变旧而失效,遇到打不开、已下架等情况,可在「反馈」中告诉我们。
  • 部分资源受地区或网络限制,访问失败时可以先切换网络(如 Wi-Fi 与流量互换)或稍后重试。
  • 教程类内容请按文中步骤操作,涉及第三方软件时以该软件官方说明为准,注意甄别付费与广告信息。
  • 建议使用 Safari、Chrome、Edge 等主流浏览器的最新版本浏览,避免出现排版错乱或跳转异常。
必备 枫叶起始页(必备)