昆仑万维「Skywork UniPic 2.0」开源，统一多模态模型再迎新突破

游戏天地 2025年08月14日 18:01 1 admin

8月11日，昆仑万维SkyWork AI技术发布周正式启动。8月11日至8月15日，我们每天发布一款新模型，连续五天，覆盖多模态AI核心场景的前沿模型。截至目前，我们已经发布SkyReels-A3、Matrix-Game 2.0、Matrix-3D模型。

8月13日，昆仑万维正式开源「Skywork UniPic 2.0」模型——面向统一多模态建模的高效训练和推理框架，围绕生成和编辑模块轻量化、连接多模态理解模型进行联合训练，构建了理解、生图、编辑一体化的核心能力，旨在实现“高效、高质、统一”的多模态生成模型。

当前，「Skywork UniPic 2.0」及其系列模型已全面开源，涵盖模型权重、推理代码、强化策略等，助力开发者与研究者快速上手并构建多模态应用。

「Skywork UniPic 2.0」由三个核心模块组成：

生图编辑（下图中）：基于 SD3.5-Medium 架构将原本只支持文本输入的模型改进成也接受文本图像同时输入，然后通过高质量图像生成和编辑数据的训练将原本生图能力扩展成生图、编辑双能力。

统一模型能力（下图左侧与中间）：通过冻结生图编辑模块，多模态模型（Qwen2.5-VL-7B），Pre-Train连接器来构建出理解生成编辑一体化能力，再通过连接器和生图编辑模块一起联合微调，实现最终的一体化理解、生图、编辑模型。

生图编辑后训练（下图右）：为提升生图编辑整体性能，设计了基于Flow-GRPO的渐进式双任务强化策略，实现了生成与编辑任务在不互相干扰下的协同优化，在预训练的基础上进一步提升了模型性能。

图丨昆仑万维Skywork UniPic 2.0核心组成模块

升级后的「Skywork UniPic 2.0」具备以下核心优势：

生成模块轻量高效，性能拉满

生成模块基于2B参数的SD3.5-Medium 架构训练，生图和编辑指标超越生成模块具有7B参数的bagel，4B参数的OmniGen2，12B参数的UniWorld-V1和Flux-kontext模型。

引入强化学习，效果显著

基于Flow-GRPO首创渐进式双任务强化策略，有效提升模型对复杂指令的理解能力与图像生成和编辑的一致性，两大任务协同优化、互不干扰。

一体化灵活切换，拓展能力强

将生图编辑的Kontext模型与多模态模型端到端整合，微调轻量连接器，即可快速构建统一理解-生成-编辑模型，并且生图和编辑的性能进一步提升。

UniPic2-SD3.5M-Kontext作为单一模型，虽然只有2B的参数量，但生图指标超越了具有12B参数量的Flux.dev、编辑效果超越了同样具有12B参数量的Flux-Kontext。同样超越了几乎所有统一模型的生图和编辑效果，包括19B的UniWorld-V1和14B的Bagel。

此外，将UniPic2-SD3.5M-Kontext拓展成统一模型UniPic2-Metaquery后，效果得到了进一步的提升。

图丨昆仑万维Skywork UniPic 2.0系列模型评测结果

在优秀的理解、生成和编辑能力背后，昆仑万维Skywork团队在预训练、联合训练和后训练阶段均作出创新性优化。

深开鸿携Arm闯开源鸿蒙！6家企业已入局能打破芯片瓶颈吗？

发表评论