0.这篇文章干了啥？

这篇文章提出了一种名为HPR3D的基于分层代理节点的三维物体表示方法，可实现紧凑、高精度建模以及多粒度级别的可控几何和纹理编辑。现有3D表示如网格、体素、点云和基于NeRF的神经隐式场存在任务特定性，缺乏通用性，且在数据复杂度和保真度之间难以平衡。HPR3D的核心创新在于通过一组稀疏的、分层组织（树状结构）的代理节点来表示物体的形状和纹理，这些节点分布在物体表面和内部，每个节点存储其邻域内的局部形状和纹理信息（由小型MLP隐式编码）。该框架主要包含自适应代理重建、纹理重建和可控编辑三个部分，自适应代理重建基于多级空间划分和误差引导聚类构建代理点；纹理重建通过分配纹理特征、传播特征和优化纹理参数实现；可控编辑可通过操纵代理点位置和纹理特征对目标物体的几何和纹理进行编辑。实验结果表明，在3D重建任务中，该方法在几何重建质量（CD）和纹理重建质量（PSNR和SSIM）上均优于DMTet和FlexiCubes，且所需参数更少；在编辑方面，支持灵活的多尺度形状编辑和高精度纹理编辑，能实现纹理的精确转移。消融研究显示，位置嵌入、基于曲率的聚类准则和多级纹理特征对渲染质量均有显著影响。

下面一起来阅读一下这项工作~

1. 论文信息

• 论文题目：HPR3D: Hierarchical Proxy Representation for High-Fidelity 3D Reconstruction and Controllable Editing
• 作者：Tielong Wang, Yuxuan Xiong, Jinfan Liu, Zhifan Zhang, Ye Chen, Yue Shi, Bingbing Ni
• 作者机构：Shanghai Jiao Tong University Shanghai, China
• 论文链接：https://arxiv.org/pdf/2507.11971v1

2. 摘要

当前诸如网格、体素、点云和基于神经辐射场（NeRF）的神经隐式场等三维表示方式存在显著局限性：它们通常针对特定任务，缺乏在重建、生成、编辑和驱动等方面的通用适用性。虽然网格精度高，但密集的顶点数据使编辑变得复杂；NeRF渲染效果出色，但存在结构模糊性，阻碍了动画制作和操作；所有表示方式本质上都难以在数据复杂性和保真度之间取得平衡。为克服这些问题，我们引入了一种新颖的三维分层代理节点表示法。其核心创新在于通过一组稀疏的、分层组织（树状结构）且分布在物体表面和内部的代理节点来表示物体的形状和纹理。每个节点存储其邻域内的局部形状和纹理信息（由一个小型多层感知机隐式编码）。查询任何三维坐标的属性时，需要从相关的附近节点和父节点进行高效的神经插值和轻量级解码。该框架产生了一种高度紧凑的表示方式，其中节点与局部语义对齐，支持直接拖动编辑操作，并提供可扩展的质量 - 复杂度控制。在三维重建和编辑方面的大量实验证明了我们方法的表达效率、高保真渲染质量和卓越的可编辑性。

3. 效果展示

Objaverse 数据集上的定性对比。图中展示了各方法的重建结果。DMTet（Shen 等人，2021）和 MASH（Li 等人，2025）仅输出几何重建，因为它们不支持纹理建模。相比之下，本文方法与 FlexiCubes（Shen 等人，2023）能够生成包含几何与纹理的完整重建。最后一列可视化了本文方法在 L = 3 时产生的分层代理点结构。推荐课程：基于深度学习的三维重建MVSNet系列 [论文+源码+应用+科研]。

4. 主要贡献

文章提出了一种用于三维物体表示和编辑的分层代理点方法，其主要贡献有以下三点：

• 提出了一种新颖的分层代理表示方法，能够对目标物体进行紧凑而准确的建模，同时支持在多个粒度级别上对几何形状和纹理进行可控编辑。
• 引入了一种高效且自适应的算法，用于构建分层控制点结构，实现快速且语义连贯的组织。
• 大量实验表明，该方法在重建和编辑等任务上达到了最先进的性能。

5. 基本原理是啥？

提出多级代理点的三维表示方法

• 引入基于多级代理点的参数化 3D 表示，利用多级代理点及其关联特征以精确且紧凑的方式表示目标三维对象。给定目标 3D 对象 （可以是多模态的，如网格、点云、隐式场等），用  级代理点和由  参数化的解码函数将特征映射到 RGB 纹理来建模对象，即 ，其中  表示第  级的代理点集合，每个代理点  包含坐标 、法向量  用于表示 3D 对象的几何形状，以及特征  表示纹理。

自适应代理点重建算法

• 基于多级空间划分和误差引导聚类提出自适应代理点构造方法。对输入的多模态对象 ，在三维归一化立方空间中进行  级八叉树网格划分以提取各级代理点，高层代理点可由低层代理点推断。在每个网格单元内，用该区域点的估计法向量构建基于误差的拟合模型来生成该级代理点。通过最小化目标函数  得到拟合中心及其相关拟合误差 ，当误差  低于阈值  时，该拟合中心作为第  级有效代理点；否则，该区域内每个点保留为第  级代理点。先将输入对象  几何重建为网格 ，初始化  为 ，再通过递归关系得到多级代理点  到 。

纹理重建方法

• 自适应代理重建后，为每级代理点  分配纹理特征 。利用层间的分层代理对应关系并结合位置编码，将特征从高层代理点传播到低层代理点，如  是  的代理时， 的最终特征 ，其中  表示代理点对的相对位置偏移。特征从顶层  向下传播到第一层 ，第一层融合后的特征  通过由  参数化的解码函数  解码为 3D 对象的纹理属性（如 RGB 颜色、表面法线或金属粗糙度）。为实现高保真纹理重建，使用多视图渲染损失优化网络，损失函数为 ，优化后可通过修改不同代理级别的特征进行 3D 对象的纹理编辑。

可控编辑机制

• 几何编辑：通过操纵分层控制点的位置实现目标对象的几何编辑。当第  级代理点位移  时，会诱导其关联的低级控制点相应移动，位移通过层次结构递归传播最终影响底层点（对应重建网格的顶点）到新位置 ，其中影响权重 ， 表示两点间的  距离， 是控制顶点变形效果的温度参数。最后应用拉普拉斯编辑实现最终几何编辑效果，可通过修改少量高层代理点进行大规模几何编辑，或操纵低层代理点进行细粒度调整。
• 纹理编辑：通过修改各级代理点的特征实现不同尺度的纹理编辑。修改高层代理点特征可影响更广泛区域，进行大规模纹理编辑；精确控制低层代理点特征可进行细粒度渲染。还可通过在同一级代理点间迁移特征实现 3D 对象不同区域间的可控纹理转移，将两个同级别代理点区域在 3D 空间中刚性对齐并进行线性插值，将一个区域代理点的特征转移到目标区域，通过解码函数  得到转移后的纹理。

6. 实验结果

3D 重建对比实验

• 定量结果：
• 与 DMTet 和 FlexiCubes 相比，该方法在几何重建质量（CD）和纹理重建质量（PSNR 和 SSIM）方面均有显著提升。
• 在几何和联合几何 - 纹理重建中所需的参数更少，体现了其在表示 3D 对象时的紧凑性和高效性。
• MASH 在调整参数后能在 Objaverse 数据集上取得较强的重建性能，但计算成本和重建时间大幅增加；该方法仅需 30 秒即可完成联合几何和纹理重建，而 MASH 优化几何需要约 1.5 小时，且 MASH 不适用于纹理重建。
• 定性结果：与同样支持纹理重建的 FlexiCubes 相比，该方法生成的纹理更清晰、细节更丰富，这得益于其使用的多级纹理特征和基于 MLP 的解码方案。

3D 编辑实验

• 形状编辑：
• 该方法通过简单拖动代理点即可实现 3D 对象的直观形状编辑，且由于代理点的分层结构，不同层级的代理点可影响不同空间范围的表面区域，支持多尺度几何编辑。
• 与传统的拉普拉斯编辑方法相比，该方法只需少量直观的拖动操作就能实现灵活的多尺度形状编辑，而拉普拉斯编辑每次变形都需要大量手动操作，且每次编辑只能在单一尺度上进行，切换尺度时需要反复重新选择区域和手柄。
• 纹理编辑：
• 该方法能够通过精确调整少量代理点的特征，对复杂 3D 对象的特定感兴趣区域进行高精度纹理编辑，其核心优势在于能够操作代理点的局部特征，实现对纹理变换和转移的精确控制。
• 通过迁移代理点的特征可以实现纹理的精确转移，能够将所选区域的纹理准确地转移到目标区域，且不会出现失真或变形，这得益于代理点的精确对齐和基于距离的插值技术。

消融实验

• 移除任何一个关键组件（位置嵌入、基于曲率的聚类准则和多级纹理特征）都会导致渲染质量明显下降。
• 位置嵌入为解码函数提供了不同层级代理点之间的精确相对位置信息，使多级纹理特征能够更准确地融合。
• 基于曲率的聚类准则有助于在表面变化较大的区域分配更多的代理点，从而更好地捕捉局部几何复杂性。
• 多级纹理特征设计不仅支持分层纹理编辑，还显著提高了纹理重建的质量。

7. 总结 & 未来工作

本文提出了一种基于分层代理点的三维物体表示方法，能够实现紧凑、高精度的建模，并支持在多个粒度级别上进行可控的几何和纹理编辑。通过操纵不同层次的代理点，该方法支持粗粒度和细粒度的重建与编辑。高层代理点可实现高效的全局更改，而低层代理点则允许进行局部细化，使编辑过程更加灵活且应用范围更广。一种自适应算法会根据几何和纹理特征进一步优化代理点的分布，提高建模效率并降低计算成本。总体而言，该方法为三维建模和编辑提供了一种新颖、精确且灵活的解决方案，随着相关技术的发展，具有广泛应用的巨大潜力。

3D视觉硬件，官网：www.3dcver.com

3D视觉学习圈子

「3D视觉从入门到精通」知识星球(点开有惊喜) ！星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

3D视觉全栈学习课程：www.3dcver.com

3D视觉交流群成立啦，微信：cv3d001