8월 12일 소식에 따르면 곤륜만위SkyWork AI 기술게시8 월 11 일에 공식적으로 시작된 주간은 5 일 동안 매일 진행됩니다.게시다중 모드 AI 핵심 장면을 포괄하는 모델.
첫날, 쿤룬완웨이는 자체 연구 세계 모델 Matrix 시리즈 중 Matrix-Game 인터렉션 세계 모델의 업그레이드 버전인"Matrix-Game 2.0"을 가져왔는데, 이 모델은 범용 장면에서의 인터렉션 실시간 긴 시퀀스 생성을 실현했다고 한다.대화형 세계 모델 분야의 발전을 촉진하기 위해,"Matrix-Game 2.0"은 업계 최초로 통용 장면에서 실시간 긴 시퀀스 대화형 생성을 실현하는 세계 모델 오픈 소스 방안이라고 할 수 있다.
"Matrix-Game 2.0"은 실시간 생성 및 긴 시퀀스 능력에서"질적 도약"을 달성했습니다.이전 버전에 비해 2.0 버전은 낮은 지연, 높은 프레임 속도의 긴 시퀀스 인터렉션 성능에 중점을 두어 25FPS의 속도로 다양한 복잡한 장면에서 연속 비디오 콘텐츠를 안정적으로 생성할 수 있으며 생성 시간이 분 단위로 확장되어 콘텐츠의 일관성과 실용성을 대폭 향상시켰다.
특기할 만한 것은 추리 속도가 현저하게 향상되는 동시에 모델은 여전히 물리 법칙과 장면의 의미에 대한"정확한 이해"를 유지하여 사용자가 간단한 지령을 통해 자유롭게 탐색하고 조종하며 실시간으로 구조가 명확하고 세부 사항이 풍부하며 규칙이 합리적인 가상 환경을 구축하는 것을 지지한다.
Matrix-Game 2.0.쿤룬 완웨이뿐만 아니라 Matrix-3D 대형 모델도 오픈소스로 출시되었다.이 모델은 단일 이미지에서 출발하여 고품질, 궤적이 일치하는 파노라마 동영상을 생성하고 로밍이 가능한 3차원 공간을 직접 복원할 수 있으며, 표리비비 WorldLabs의 생성 효과에 대해 더 큰 범위의 탐색 공간을 실현할 수 있다.
Matrix-3D는 다음과 같은 핵심 부분으로 구성됩니다.
轨迹引导的全景视频生成模块：利用场景 Mesh 渲染图作为条件输入，训练视频扩散模型生成符合给定相机轨迹的全景视频。这一模块能提升生成视频在空间结构上的一致性，缓解遮挡错误与图像伪影问题。
双路径可选择的全景 3D 重建模块：包含优化路径和前馈网络路径。优化路径会对生成的视频进行超分与 3DGS 优化，以获取高质量 3D 结构;前馈网络路径则基于 Transformer 直接回归，从生成视频 Latent 特征快速预测 3D 几何属性，实现高效重建。
Matrix-Pano 数据集：这是一个大规模高质量合成数据集，包含 116K 条带有相机轨迹、深度图和文本注释的静态全景视频序列。
此次两款模型的게시与开源，不仅展现了昆仑万维在 AI 多模态领域的技术实力，也为相关领域的开发者提供了有力的工具支持，有望推动交互式世界模型技术的进一步发展与应用落地。
