Siggraph Asia 2024 | Adobe发布MagicClay：可通过文字引导去对3D模型中的特定部分进行雕刻

今天给大家介绍一篇来自Adobe研究人员在Siggraph Asia 2024上发表的最新工作MagicClay，它是一款结合网格和距离场(SDF)的混合式工具，可以通过文字引导去对3D模型中的特定部分进行雕刻。允许艺术家通过文字提示进行局部网格编辑，支持生成具纹理的三维模型，且不影响其他区域。

 

相关链接

论文：https://arxiv.org/pdf/2403.02460

代码：https://github.com/amirbarda/MagicClay

主页：https://amirbarda.github.io/MagicClay.github.io

论文阅读

 

 

概述

神经场的最新发展为形状生成领域带来了惊人的能力，但它们缺乏关键特性，例如增量控制——这是艺术作品的基本要求。另一方面，三角网格是大多数几何相关任务的首选表示，提供效率和直观的控制，但不适合神经优化。为了支持下游任务，以前的技术通常提出一种两步方法，首先使用神经场生成形状，然后提取网格进行进一步处理。相反，在本文中，我们介绍了一种混合方法，该方法始终保持网格和有向距离场 (SDF) 表示。使用这种表示，我们引入了 MagicClay——一种艺术家友好的工具，可根据文本提示雕刻网格区域，同时保持其他区域不变。

方法

混合优化概述。我们根据输入提示联合优化网格、SDF 和共享外观 MLP。我们可以优化整个几何图形，也可以仅优化用户选择的网格部分，以进行迭代 3D 建模工作流。我们还可以保留网格未选定部分上的现有纹理，或者让扩散模型为整个网格生成纹理。我们首先对两种表示进行可区分的渲染，并强制它们的一致性。由于它们保持同步，我们使用网格有效地采样体积射线，以节省内存的方式从 SDF 渲染高分辨率地图。在这些高分辨率渲染上应用 SDS 类型的损失可以捕获更精细的细节。我们通过对 RGB 像素、图像不透明度和表面法线的多视图一致性约束来同步网格和 SDF。使用 ROAR [Barda et al. 2023]，在创建几何图形的地方分割三角形，并在需要的地方折叠边缘。此外，我们利用特定于表示的 损失来规范优化：SDF 上的 Eikonal 损失和网格上的平滑度损失。

实验结果

MagicClay 使用混合网格-SDF 表示，允许对网格进行非破坏性的局部编辑

应用：对同一网格进行顺序编辑

应用：保留原始三角剖分的属性。

 

结论

MagicClay是一款由我们新的混合 SDF 和网格表示支持的生成雕刻工具。生成过程成功的关键是我们的新渲染策略，该策略利用混合表示的网格部分来定位 SDF 体积渲染中采样的光线。我们相信 MagicClay 是将文本到图像的最新进展转变为艺术家在迭代工作流程中可以使用的实际建模工具的重要一步。 

限制。 我们的方法本质上受到 SDS 梯度质量的限制。每个视图都将优化引向不同的方向，从而增加噪音并使精细细节的出现更加困难。其次，MagicClay 不是交互式的，例如在 A100 GPU 上运行 MagicClay 每次提示需要 1 小时，瓶颈是 SDS 损失 

未来的工作。 我们看到了利用修复和深度条件扩散模型来加速 SDS 收敛的机会。确实，这个生成过程会在每次渲染中转换整个对象，而很明显，生成的图像的某些部分应该保持不变，因为 3D 编辑是局部的。我们认为，利用这种洞察力可以减少 SDS 固有的噪声量。