一句话生成虚拟世界的时代到来，腾讯混元团队发布3D世界生成框架HunyuanWorld 1.0 原创

“一沙一世界，一花一天堂。

无限掌中置，刹那成永恒。”

这两句诗出自英国诗人威廉·布莱克的《天真的预言》，表达了从微观见宏观的哲学思想，与3D世界生成从局部到完整的思想不谋而合，第一句诗被腾讯混元团队引用放在论文开头。

 

2025年7月29日，腾讯混元团队发布3D世界生成框架HunyuanWorld 1.0，能够仅凭文字描述或单张图片自动创建完整的可探索3D虚拟世界。HunyuanWorld 1.0通过创新的分层网格表示和全景代理机制，实现了360度沉浸体验、标准网格导出和物体级交互功能。这项研究发表在arXiv上，4个相关的LoRa模型开源在HuggingFace上。

就像有一个魔法建筑师，你只需要跟他说"我想要一个有城堡的中世纪小镇"或者给他看一张风景照片，他就能立刻为你建造出一个完整的虚拟世界，你不仅可以在其中自由漫步，还能移动里面的物体，甚至将整个世界导出到游戏引擎中使用。而且这个世界支持360度全方位观看，就像置身于VR环境中。

传统的3D世界生成方法面临着两难选择。一类是基于视频的方法，可以生成丰富多样的内容，但缺乏真正的3D一致性，就像用2D画面拼接成的"假3D"，时间长了会出现画面不协调的问题，而且每一帧都需要单独生成，成本极高。另一类是直接生成3D模型的方法，虽然具有几何一致性，但由于3D训练数据稀缺，生成的内容往往单调有限。

HunyuanWorld 1.0巧妙地结合了两种方法的优势。研究团队采用了一个创新的"分层3D网格表示"系统，将复杂的3D世界分解为多个语义层次。这种设计带来了三个核心特色：首先是通过全景图像代理实现360度沉浸式体验，其次是支持标准3D网格导出，可以无缝接入现有的计算机图形学管道，最后是将场景对象分离建模，实现了物体级别的交互操作。

从文字和图片到全景世界的神奇转换

 

HunyuanWorld 1.0的工作流程就像一个经验丰富的电影导演在构建电影场景。首先，系统会根据用户输入的文字描述或图片，生成一张360度全景图像作为"世界原型"。这个过程使用了专门设计的全景扩散Transformer模型（Panorama-DiT），它基于强大的扩散Transformer架构。

当用户输入文字时，系统首先会用大型语言模型对描述进行优化和细化。比如用户输入"一个美丽的海边城堡"，系统会将其扩展为更详细的描述，包含建筑风格、环境氛围、光照条件等丰富细节。

如果用户提供的是图片，它不会简单地复制图片内容，而是会分析图片中的场景特征，然后"脑补"出360度完整环境。为了避免重复生成图片中已有的物体（比如避免在扩展的全景图中出现多个相同的雕像），系统采用了"场景感知提示策略"，先识别原图中的显著物体，将其设为负面提示，然后生成与原图风格一致但内容互补的周边环境。

生成全景图像的过程中，系统还解决了两个技术难题。一是球面投影带来的几何扭曲问题，二是全景图像边界连接处的不连续问题。为此，研究团队开发了"高程感知增强"和"循环去噪"两项技术。前者通过随机垂直偏移训练样本来增强模型对不同视角的适应性，后者在推理过程中使用循环填充和渐进融合来确保全景图边界的无缝连接。

智能化的世界分层与语义理解

拥有全景图像只是第一步，要创建真正可互动的3D世界，系统需要像一位资深的舞台设计师一样，将复杂场景分解为不同的元素层次。HunyuanWorld 1.0采用了"智能体世界分层"技术，自动将场景分解为天空层、背景层和多个物体层。

这个过程分为三个阶段。首先是实例识别阶段，系统利用视觉语言模型的丰富世界知识来识别场景中需要独立建模的对象。这就像一个经验丰富的导演在观察拍摄现场时，能够迅速识别出哪些是可以移动的道具，哪些是固定的背景布景。

接下来是层次分解阶段。由于传统的视觉定位模型无法直接处理全景图像的空间不连续性（物体可能被分割在全景图的左右边界），研究团队开发了专门的处理流程。他们先对全景图进行循环填充，确保跨边界的物体被视为连续实体，然后使用目标检测器定位物体位置，最后用分割模型生成精确的像素级掩码。

最后是层次补完阶段。系统采用"洋葱剥皮"式的自回归过程，逐层移除识别出的物体并补完被遮挡的区域。这个过程就像考古学家小心翼翼地清理文物，一层层揭露出完整的背景信息。为了实现这一功能，团队还专门训练了层次补完模型，能够根据周围环境信息智能填补缺失区域。

精确的深度估计与3D重建

有了分层的图像，下一步就是将平面图像转换为立体的3D世界。这个过程就像雕塑家根据平面设计图创作立体作品，关键在于准确估计每个像素点的深度信息。

HunyuanWorld 1.0首先为每个图像层预测深度图，然后进行跨层深度对齐。系统先对原始全景图进行深度估计获得基准深度图，前景物体的深度信息直接从基准深度图中提取。对于后续层次（如去除前景物体后的背景层），系统会单独预测深度并通过深度匹配技术与基准深度图对齐，确保不同层次间的几何一致性。

在3D重建阶段，系统为不同类型的层次采用了差异化策略。对于前景物体，提供两种重建方案：一是直接投影法，将带有深度信息的物体掩码通过片状变形转换为3D网格，并加入极点区域平滑和网格边界抗锯齿处理；二是完整3D生成法，提取个体物体实例后使用专门的图像转3D模型生成高质量的3D资产，然后通过自动物体放置算法将其整合到3D场景中。

对于背景层，系统采用自适应深度压缩来处理深度异常值并确保合理的深度分布，然后通过片状变形将背景全景图转换为3D网格。天空层则使用统一深度值重建，深度设置为略大于场景最大深度，确保天空始终显示在最远处。除了传统网格表示，系统还支持3D高斯飞溅表示，为VR应用提供更真实的天空渲染效果。

突破性的远程世界扩展技术

虽然分层世界重建已经能够实现世界探索，但在面对遮挡视角和有限探索范围时仍存在挑战。为了解决这些限制，HunyuanWorld 1.0引入了名为Voyager的创新技术，这是一个基于视频的视角补完模型，能够实现一致的世界外推。

Voyager采用了"世界一致性视频扩散"机制，结合可扩展的世界缓存系统来维持空间一致性并防止视觉幻觉。系统构建一个初始3D点云缓存，然后将缓存投影到目标相机视角为扩散模型提供部分引导。生成的帧会持续更新和扩展世界缓存，形成一个支持任意相机轨迹的闭环系统，同时保持几何一致性。

为了克服单次生成长视频的限制，研究团队提出了结合世界缓存的平滑视频采样方案，实现自回归场景扩展。世界缓存累积所有生成帧的点云信息，配合点云剔除方法移除冗余点以优化内存使用。利用缓存点云作为空间代理，系统开发了平滑采样策略，能够自回归扩展视频序列，同时确保片段间的无缝过渡。

全方位的系统优化与实际应用

为确保实际部署和实时性能，HunyuanWorld 1.0还进行了全面的系统优化。在网格存储方面，团队采用了双重压缩策略适应离线使用和在线部署场景。

对于离线网格使用，采用多阶段管道，包括网格简化、纹理烘焙和UV参数化。团队评估了基于XAtlas的UV参数化解决方案，在保持良好UV质量的同时消除了相比简单参数化方法的渲染接缝。这个压缩管道实现了80%的尺寸缩减，适用于高质量离线内容制作。

对于在线网络部署场景，采用Draco压缩技术，在保持视觉保真度的同时提供卓越的压缩效率。这种方法展现了优越的尺寸缩减能力（90%），保持了与未压缩网格相当的渲染质量。该格式提供原生WebAssembly支持，确保与基于网络的图形管道的无缝集成和广泛的浏览器兼容性。

在模型推理加速方面，采用了基于TensorRT的综合加速框架，配合智能缓存和多GPU并行化。系统将扩散Transformer模型转换为优化的TensorRT引擎，支持缓存和非缓存推理模式，共享内存分配以最小化GPU开销。

丰富的应用场景

HunyuanWorld 1.0的三大核心优势使其能够支持广泛的实际应用。在虚拟现实领域，全景世界代理能够生成完全沉浸式的360度环境，专为Apple Vision Pro和Meta Quest等当代VR平台的虚拟现实部署进行了优化。全面的空间覆盖消除了视觉伪影和边界不连续性，提供无缝的全方位浏览体验。

在物理仿真方面，生成的3D世界和独立的3D物体表示支持直接3D网格导出，确保与现有计算机图形学管道的完全兼容性。这使得与物理引擎的无缝集成成为可能，支持碰撞检测、刚体动力学和流体仿真等应用。

游戏开发是另一个重要应用领域。生成的3D世界涵盖多样化场景和各种美学风格，包括外星景观、中世纪建筑遗迹、历史纪念碑和未来城市环境。这些世界以标准3D网格格式导出，支持与Unity和Unreal Engine等行业标准游戏引擎的无缝集成。

物体交互功能通过分离的物体表示实现场景内精确的物体级操作和交互。用户可以对个体场景组件执行精确的3D变换，如平移、旋转和缩放，同时保持周围环境元素的完整性。

技术评估与性能表现

 

研究团队进行了全面的实验评估，将HunyuanWorld 1.0与现有最先进方法进行了详细比较。在图像到全景生成任务中，与Diffusion360和MVDiffusion相比，HunyuanWorld 1.0在所有评估指标上都实现了显著改进。定量结果显示，HunyuanWorld 1.0在视觉质量评估指标BRISQUE上得分45.2（越低越好），明显优于竞争方法的71.4和47.7分；在图像相似度CLIP-I评估中得分85.1，超过了基线方法的73.9和80.8分。

 

在文字到全景生成评估中，HunyuanWorld 1.0同样表现卓越。与四种先进方法（Diffusion360、MVDiffusion、PanFusion、LayerPano3D）的比较显示，HunyuanWorld 1.0在视觉质量指标上持续领先。定性比较结果进一步证实了这些定量发现，相比经常出现不连续伪影和几何扭曲的基线方法，HunyuanWorld 1.0生成的全景场景具有更强的视觉一致性和美学质量。

 

在3D世界生成评估中，研究团队分别评估了图像到世界和文字到世界的生成能力。图像到世界比较显示，HunyuanWorld 1.0在视觉质量和与输入图像的语义对齐方面都超越了WonderJourney和DimensionX等现有方法。文字到世界比较中，该方法在所有评估指标上都优于LayerPano3D和Director3D，展现了生成高视觉保真度3D世界并与输入文本描述保持强语义对齐的能力。

至顶AI实验室洞见

HunyuanWorld 1.0的核心创新在于巧妙地桥接了2D生成模型的丰富性和3D表示的一致性。通过将全景图像作为世界代理，系统既利用了2D生成模型的强大能力和丰富训练数据，又实现了真正的3D一致性和高效渲染。

语义分层3D网格表示是另一项重要创新。这种表示方法不仅支持高效的内存使用和渲染性能，还实现了实例级别的物体建模，为交互式应用开辟了新的可能性。分层设计使得系统可以针对不同类型的场景元素采用最适合的处理策略，显著提升了生成质量和效率。

智能体世界分层技术展现了将大型语言模型的语义理解能力与计算机视觉技术相结合的巧妙应用。通过利用视觉语言模型的丰富世界知识进行语义物体识别，系统实现了场景的智能化分解，这为后续的3D重建和交互设计提供了坚实基础。

 

数据处理和模型训练方面的创新同样不容忽视。团队建立了完整的全景图像数据处理流程，从商业采购、开源下载到自定义渲染，涵盖了数据获取的各个环节。特别是针对全景图像标注的三阶段流程，有效解决了现有视觉语言模型在处理全景图像时面临的挑战。

HunyuanWorld 1.0代表了3D世界生成技术的一次重大飞跃。它为普通用户提供了一个易用的3D世界创作工具。无论你是游戏开发者、建筑设计师、教育工作者，还是仅仅对虚拟世界充满好奇的普通人，这项技术都有可能彻底改变你创造和体验虚拟内容的方式。

当然，这项技术仍处于发展阶段，在生成质量、处理效率和应用范围方面还有继续优化的空间，但展现了出巨大的潜力。可以预见，随着技术的进一步完善和普及，我们将迎来一个人人都能轻松创造虚拟世界的新时代。

项目地址：
https://3d.hunyuan.tencent.com/sceneTo3D

论文地址：
https://www.arxiv.org/abs/2507.21809

END

本文来自至顶AI实验室，一个专注于探索生成式AI前沿技术及其应用的实验室。致力于推动生成式AI在各个领域的创新与突破，挖掘其潜在的应用场景，为企业和个人提供切实可行的解决方案。

Q&A

Q1：HunyuanWorld 1.0能够处理什么类型的输入？

A：HunyuanWorld 1.0支持两种输入方式：文字描述和图片。文字可以是简单的场景描述，如"海边的中世纪城堡"，系统会自动扩展为详细描述；图片则可以是任意风景照片，系统会基于图片内容生成完整的360度环境。无论哪种输入，最终都能生成可探索的3D世界。

Q2：HunyuanWorld 1.0生成的3D世界能够用于实际项目吗？

A：完全可以。HunyuanWorld 1.0生成的3D世界支持标准网格格式导出，可以直接导入Unity、Unreal Engine等主流游戏引擎。同时支持VR平台部署，能够进行物理仿真，并且场景中的物体可以单独操作。这使得它不仅适用于概念展示，更能满足实际项目开发需求。

Q3：HunyuanWorld 1.0与现有的3D建模软件有什么不同？

A：最大区别在于易用性和自动化程度。传统3D建模需要专业技能和大量时间，而HunyuanWorld 1.0只需要一句话或一张图就能生成完整世界。它结合了2D生成模型的丰富性和3D模型的一致性，既保证了内容质量，又大大降低了使用门槛，让非专业人员也能快速创建专业级的3D环境。