打造一个有温度、有趣味、专业的全栈式AI&AIGC交流社区,

用心写好每一篇文章!



项目主页-https://3d-models.hunyuan.tencent.com/world/

体验链接-https://3d.hunyuan.tencent.com/sceneTo3D

代码链接-https://github.com/Tencent-Hunyuan/HunyuanWorld-1.0

论文链接-https://arxiv.org/pdf/2507.21809



为什么需要这个算法?--从文本或图像创建沉浸式和可玩的3D世界仍然是计算机视觉和图形领域的一个基本挑战。现有的世界生成方法通常分为两类:基于视频的方法提供了丰富的多样性,但缺乏3D一致性和渲染效率,以及基于3D的方法提供几何一致性,但难以应对有限的训练数据和内存低效的表示。
这个算法能做什么?--HunyuanWorld 1.0是腾讯开源的首个可漫游可仿真3D场景生成模型,同时支持文生/图生3D世界。生成场景可360°沉浸式漫游,支持导出3D mesh场景资产,兼具可交互性与仿真适用性。
这个算法效果如何?--大量实验结果表明:该方法在生成连贯、可探索和交互式3D世界方面取得了最先进的性能,同时在虚拟现实、物理模拟、游戏开发和交互式内容创建方面实现了多功能应用。


资讯配图


01-HunyuanWorld核心优势

    HunyuanWorld 1.0是腾讯刚发布的首个开源的可漫游可仿真3D场景生成模型,同时支持文生/图生3D世界,生成场景可360°沉浸式漫游,支持导出3D mesh场景资产,兼具可交互性与仿真适用性。

    用户可以一键生成360°沉浸式视觉空间,支持文本或者图片输入,精准理解复杂语义,智能推理并延展360°全景视野,构建沉浸式VR体验。它可以无缝接入主流游戏引擎和3D建模软件,实现从创意到产品的无缝衔接。

    该方法有三个关键优势:1)通过全景世界代理提供360°沉浸式体验;2)网格导出功能,与现有的计算机图形管道无缝兼容;3)解开对象表示以增强交互性。该框架的核心是语义分层的3D网格表示,它利用全景图像作为360°世界代理,进行语义感知的世界分解和重建,从而生成多样化的3D世界。

02-HunyuanWorld落地场景

02.01-虚拟现实/全景世界
资讯配图
02.02-物理仿真
资讯配图
02.03-游戏开发
资讯配图
02.04-目标交互
资讯配图

02.05-图生全景图

资讯配图

02.06-文生全景图

资讯配图

03-HunyuanWorld上手指南

资讯配图

步骤1-访问https://3d.hunyuan.tencent.com/sceneTo3D链接,登录微信账号

步骤2-在上图的红框中选择“360度全景场景”或“漫游场景”

步骤3-在上图的绿框中选择“文生全景”或“图生全景”

步骤4-点击上图蓝框中的“立即生成”生成结果

04-HunyuanWorld性能评估

04.01-主观效果评估
资讯配图
    上图展示了该方法与多个SOTA的图生全景图方法(Diffusion360、MVDiff usion)在相同的输入图片下的全景图生成结果。通过观察与分析,我们可以发现:该方法生成的全景图质量更高、拼接的质量更好!
资讯配图
    上图展示了该方法与多个SOTA的文生全景图方法在相同的文本提示下的生成效果。通过观察与分析,我们可以发现:该方法生成的全景图更有意境、拼接的效果更好一些。
04.02-客观指标评估
资讯配图
资讯配图
    上面的表格分别展示了该方法与多个SOTA的图生全景图和文生全景图方法在不同的评估基准上面的多项客观指标。通过观察与分析,我们可以发现:该方法在多项指标上都获得了最佳的得分效果,与第二名之间拉开了较大的差距!
05-HunyuanWorld效果展示



关注我,AI热点早知道,AI算法早精通,AI产品早上线!



资讯配图

禁止私自转载,需要转载请先征求我的同意!

欢迎你的加入,让我们一起交流、讨论与成长!

若二维码失效:关注公众号--》交流分享--》联系我们

资讯配图