BLACK HOLE / MODEL GUIDE

OpenMOSS:语音与具身模型

OpenMOSS 是上海创智学院的研究团队,与复旦大学、模思智能开展合作。本专题按语音对话、文字环境规划、动作策略、多模态操作与人形全身动作介绍五个任务家族。RoboOmni 另有新加坡国立大学合作作者;各项目保留自己的研发归属。OpenETA 仅作可替换规划器与工具的框架背景,不另计模型。

资料核对:2026-10-25 · 整理:黑洞智能体

本页目录

按任务选择

  1. 1

    对录音进行对话回应,先看 MOSS-Speech;已有声音的转写分析、文字朗读与音效生成,继续查看相关 MOSI 和 MOSS 专题。

  2. 2

    先确认任务环境:Planner-R1 面向文字模拟交互,EasyWAM 的所选策略面向 LIBERO 动作预测;RoboOmni 研究语音与视觉操作上下文;FRoM-W1 先生成人体动作,再经重定向与策略跟踪用于特定机器人。

  3. 3

    框架、上游骨干、任务策略与 Codec 分开核对。代码许可、所选权重许可、数据条款和实际设备运行条件分别检查。

模型条目与用途

MOSS-Speech

原始资料专题 · 本站目录未列入该条目

面向中英文语音对话,可接受文字或语音并生成文字或语音;直接语音回应流程不要求先生成文字指导。

研发归属
上海创智学院 OpenMOSS Team / 复旦大学 / 模思智能
获取方式
所选公开修订列有四个 safetensors 权重分片、模型卡与配置。模型卡示例仍引用 fnlp 命名空间与配套 Codec,部署时需核对匹配组件。
使用条件

主项目明确将代码置于 Apache-2.0;所选权重卡没有许可标签或 LICENSE 文件,不能把代码条款直接外推至全部权重、Codec 或数据。

所读主项目 README 仍将 Gradio 流式输出列为后续工作;编解码器的流式设计不等于演示已支持流式回应。本站未运行合成或对话。

Embodied Planner-R1

原始资料专题 · 本站目录未列入该条目

通过环境反馈进行多轮任务规划,所选两个发布对应 ALFWorld 与 ScienceWorld 文字模拟环境。

相关名称与分支

  • Embodied_R1-ScienceWorld
  • Embodied_Planner-R1-Alfworld
研发归属
复旦大学 / 上海创智学院 OpenMOSS 团队
获取方式
作者主项目链接 ALFWorld 与 ScienceWorld 两个同名 fnlp 检查点并提供训练、评测流程;本次核对 OpenMOSS-Team 下所选公开修订的文件清单。旧入口与部署路径需另行确认。
使用条件

主项目代码声明 Apache-2.0,两个所选模型卡仅列 CC-BY-4.0 标签;论文的 CC-BY-NC-SA-4.0 是文章许可,不能代替权重或数据条款。

结果来自文字交互模拟任务,不证明可直接控制实体机器人。本次未运行环境或模型;模型卡信息不足之处保留说明。

EasyWAM 任务策略系列

原始资料专题 · 本站目录未列入该条目

在统一研究框架中训练与评测动作策略。所选 EasyWAM-MoT-Wan22 面向 LIBERO:推理时预测动作,不生成未来视频。

相关名称与分支

  • EasyWAM-MoT-Wan22
  • EasyWAM-Unified
  • EasyWAM-MoT
  • EasyWAM-MoT-Joint
  • EasyWAM-MoT-IDM
  • EasyWAM-Hidden
研发归属
上海创智学院 OpenMOSS 团队及项目作者
获取方式
所选 MoT-Wan22 发布列有全参及 LoRA 检查点和归一化统计;LoRA 不含完整 Wan2.2 骨干,需匹配基础权重与任务配方。
使用条件

研究框架代码采用 MIT,保留原许可的第三方文件除外;所选检查点明确采用 CC-BY-NC-4.0 并受基座与数据条款约束。

Unified、MoT、MoT-Joint、MoT-IDM 与 Hidden 是架构选择,Wan、Cosmos 与 FLUX 是上游骨干;本次仅核对 MoT-Wan22 文件清单,没有评测策略或运行机器人。

RoboOmni

原始资料专题 · 本站目录未列入该条目

利用语音、环境声音和视觉上下文推断操作意图,并在 Perceiver–Thinker–Talker–Executor 设计中结合确认交互与动作生成。

相关名称与分支

  • RoboOmni Base
  • RoboOmni-LIBERO-Spatial
  • RoboOmni-LIBERO-Goal
  • RoboOmni-LIBERO-Object
  • RoboOmni-LIBERO-Long
研发归属
复旦大学 / 上海创智学院 / 新加坡国立大学合作研究
获取方式
已核对 Base 与 LIBERO-Spatial 两个公开修订的模型卡和文件元数据,均列有 safetensors 权重;Base 配置与索引对应 Thinker。Goal、Object、Long 仅保留为作者文档分支名,其 README 链接共用同一地址,未分别确认可下载修订。
使用条件

所选权重卡标注 CC-BY-NC-4.0,本次读取范围未确定单独代码许可。论文的 CC-BY-NC-ND-4.0 仅针对文章,不能外推至代码、数据或全部组件,也不声称不受限商用。

语音交互是作者 Perceiver–Thinker–Talker–Executor 架构的研究方向。所选 Base 索引未见 Talker 命名,配置和文件元数据不能证明完整语音合成、动作解码与机器人执行链可直接部署。

作者报告仿真与实机实验;本站未运行模型、语音或机器人,未复现性能排名,也未验证本站 API 或任务端点。

FRoM-W1

原始资料专题 · 本站目录未列入该条目

H-GPT 先把语言指令映射为人体全身动作表示;H-ACT 再进行重定向、机器人动作跟踪与执行。人体动作生成与特定机器人控制是不同阶段。

相关名称与分支

  • H-GPT
  • H-GPT w.o. CoT
  • H-GPT++
  • H-GPT++ w.o. CoT
  • H-ACT
研发归属
复旦大学 FudanNLP / 上海创智学院 OpenMOSS 人形智能团队
获取方式
所选公开修订列有四份 H-GPT LoRA、一个 VQ-VAE 动作 Tokenizer 检查点,以及 H1、G1 各 Full/Clean 两份 H-ACT 学生策略。LoRA 需另备 Llama-3.1-8B 与匹配动作 Tokenizer;教师策略在作者表格中仍为 TBD。
使用条件

框架根目录代码声明 Apache-2.0;所选模型卡标注 llama3.1 并指明 Llama 基座,同时保留 Apache 徽章,不能把混合仓库全部权重与数据视为 Apache。控制器、SMPL/MANO 与上游数据条款需分别核对。

两份已读取的 CoT 适配器配置使用 LoRA 并保存 embed_tokens/lm_head,不能凭文件体积认定完整基座。所选修订仅核到一份 VQ-VAE 权重,不代表文档中全部 Tokenizer 配置均有对应发布。

作者说明受许可限制,无法公开全部数据。HF 的 H-ACT 子目录说明为空,部署解释依赖主项目文档;本站未运行合成、仿真、控制器或机器人,也未验证本站可调用端点。

接入方式与本站目录

本站目录未列入本专题家族。请按下方作者项目、所选检查点与配套组件说明分别确认获取方式。

使用前需要核对

  • 这些条目记录具名任务家族或策略系列,不表示新增独立基础模型。仅核对下列公开资料与所选文件清单,未下载权重、运行模型或操作机器人。
  • OpenMOSS 的合作关系不表示每个项目均由同一企业独家研发;旧 MOSS 与 MOSI 条目保留原网址、家族身份和各自来源。
  • RoboOmni 所选 Thinker 文件元数据不等于完整 Talker 与执行链已验证;FRoM-W1 的四份 H-ACT 文件为学生策略,教师发布仍待作者补充。代码、所选卡片、上游基座和数据许可各自适用。

原始资料

继续了解