昆仑万维发布并开源Matrix-Game 2.0、Matrix-3D AI模型

抖音推荐 2025年08月12日 09:31 1 admin

IT之家 8 月 12 日消息，昆仑万维 SkyWork AI 技术发布周于 8 月 11 日启动，连续五天每天发布一款模型，覆盖多模态 AI 核心场景。

今日，昆仑万维带来了自研世界模型 Matrix 系列中 Matrix-Game 交互世界模型的升级版本 ——「Matrix-Game 2.0」，号称是实现了通用场景下的交互式实时长序列生成的世界模型。

并且为促进交互式世界模型领域的发展，「Matrix-Game 2.0」全面开源，号称是业内首个在通用场景上实现实时长序列交互式生成的世界模型开源方案。

「Matrix-Game 2.0」号称在实时生成和长序列能力上实现了“质的飞跃”。相较于上一版本，2.0 版本更加侧重低延迟、高帧率的长序列交互性能，能够以 25 FPS 的速度，在多种复杂场景中稳定生成连续视频内容，且生成时长可扩展至分钟级，大幅提升了连贯性与实用性。

在推理速度显著提升的同时，模型依然保持了对物理规律与场景语义的“精准理解”，支持用户通过简单指令，自由探索、操控并实时构建结构清晰、细节丰富、规则合理的虚拟环境。

昆仑万维发布并开源Matrix-Game 2.0、Matrix-3D AI模型

昆仑万维还开源了 Matrix-3D 大模型，从单图像出发，生成高质量、轨迹一致的全景视频，并直接还原可漫游的三维空间，对标李飞飞 WorldLabs 的生成效果，可实现更大范围的探索空间。

昆仑万维发布并开源Matrix-Game 2.0、Matrix-3D AI模型

Matrix-3D 由以下核心部分组成：

轨迹引导的全景视频生成模块：利用场景 Mesh 渲染图作为条件输入，训练视频扩散模型生成符合给定相机轨迹的全景视频。提升生成视频在空间结构上的一致性，缓解遮挡错误与图像伪影问题。
双路径可选择的全景 3D 重建模块：优化路径，对生成的视频进行超分与 3DGS 优化，获取高质量 3D 结构。前馈网络路径：基于 Transformer 直接回归，从生成视频 Latent 特征快速预测 3D 几何属性，实现高效重建。
Matrix-Pano 数据集：大规模高质量合成数据集，包含 116K 条带有相机轨迹、深度图和文本注释的静态全景视频序列。

IT之家附两个模型的开源地址如下：