Matrix-Game 2.0 - 昆仑万维开源自研的交互式世界模型

Matrix-Game 2.0 是昆仑万维 SkyWork AI 发布的自研交互式世界模型。是业内首个开源的通用场景实时长序列交互式生成模型,模型通过视觉驱动的交互方案,能以 25 FPS 的速度在多种复杂场景中稳定生成连续视频内容,生成时长可扩展至分钟级,显著提升了连贯性和实用性。Matrix-Game 2.0 采用 3D 因果变分自编码器和多模态扩散 Transformer 架构,结合视觉编码器与用户动作指令,逐帧生成物理合理的动态视觉序列。支持用户通过简单指令(如键盘方向键、鼠标操作)自由探索和操控虚拟环境,同时保持对物理规律和场景语义的精准理解。Matrix-Game 2.0 - 昆仑万维开源自研的交互式世界模型

>>展开阅读