BLACK HOLE / MODEL GUIDE

UniDiffuser 图文扩散模型中心

UniDiffuser 用统一扩散框架处理图像与文字的联合生成和条件生成。官方实现提供文生图、图生文及图文配对等不同采样模式,适合比较同一框架下的跨模态生成路径。

资料核对:2026-10-22 · 整理:黑洞智能体

本页目录

按任务选择

  1. 1

    比较文生图与图生文时,分别使用对应采样模式,并固定测试文字与图片。

  2. 2

    研究图文配对生成时,同时检查图片内容与生成文字是否对应。

  3. 3

    复现实验前,核对自编码器、文本解码器和 U-ViT 权重是否齐全。

模型条目与用途

UniDiffuser

官方资料专题 · 本站目录未列入该条目

研究文字生图、图片描述与图文成对生成。

研发归属
UniDiffuser 论文作者与 thu-ml 项目团队
获取方式
官方仓库列出 v0/v1 下载说明和推理脚本。下载组件、权重版本和采样模式需要对应;本次未下载权重或运行模型。
使用条件

项目以 U-ViT 预测联合噪声,并使用预训练图像自编码器、CLIP 编码器及微调后的 GPT-2 文本解码器;这些组件来源不能等同于完整模型的基座来源。

仓库标注 AGPL-3.0;具体检查点及第三方组件许可仍需分别核对。

接入方式与本站目录

本站当前目录未列出本专题家族的接入型号。请从下方相应研发方资料确认产品、接口或研究制品的获取条件。

使用前需要核对

  • 图生文样例可用于比较图像描述,不能直接作为复杂文档识别或多轮视觉问答的验收结果。

官方资料

继续了解