当前位置: 首页 > news >正文

Siggraph Asia 2024 | Adobe发布MagicClay:可通过文字引导去对3D模型中的特定部分进行雕刻

今天给大家介绍一篇来自Adobe研究人员在Siggraph Asia 2024上发表的最新工作MagicClay,它是一款结合网格和距离场(SDF)的混合式工具,可以通过文字引导去对3D模型中的特定部分进行雕刻。允许艺术家通过文字提示进行局部网格编辑,支持生成具纹理的三维模型,且不影响其他区域。

 

相关链接

论文:https://arxiv.org/pdf/2403.02460

代码:https://github.com/amirbarda/MagicClay

主页:https://amirbarda.github.io/MagicClay.github.io

论文阅读

 

 

概述

神经场的最新发展为形状生成领域带来了惊人的能力,但它们缺乏关键特性,例如增量控制——这是艺术作品的基本要求。另一方面,三角网格是大多数几何相关任务的首选表示,提供效率和直观的控制,但不适合神经优化。为了支持下游任务,以前的技术通常提出一种两步方法,首先使用神经场生成形状,然后提取网格进行进一步处理。相反,在本文中,我们介绍了一种混合方法,该方法始终保持网格和有向距离场 (SDF) 表示。使用这种表示,我们引入了 MagicClay——一种艺术家友好的工具,可根据文本提示雕刻网格区域,同时保持其他区域不变。

方法

混合优化概述。我们根据输入提示联合优化网格、SDF 和共享外观 MLP。我们可以优化整个几何图形,也可以仅优化用户选择的网格部分,以进行迭代 3D 建模工作流。我们还可以保留网格未选定部分上的现有纹理,或者让扩散模型为整个网格生成纹理。我们首先对两种表示进行可区分的渲染,并强制它们的一致性。由于它们保持同步,我们使用网格有效地采样体积射线,以节省内存的方式从 SDF 渲染高分辨率地图。在这些高分辨率渲染上应用 SDS 类型的损失可以捕获更精细的细节。我们通过对 RGB 像素、图像不透明度和表面法线的多视图一致性约束来同步网格和 SDF。使用 ROAR [Barda et al. 2023],在创建几何图形的地方分割三角形,并在需要的地方折叠边缘。此外,我们利用特定于表示的 损失来规范优化:SDF 上的 Eikonal 损失和网格上的平滑度损失。

实验结果

MagicClay 使用混合网格-SDF 表示,允许对网格进行非破坏性的局部编辑

应用:对同一网格进行顺序编辑

应用:保留原始三角剖分的属性。

 

结论

MagicClay是一款由我们新的混合 SDF 和网格表示支持的生成雕刻工具。生成过程成功的关键是我们的新渲染策略,该策略利用混合表示的网格部分来定位 SDF 体积渲染中采样的光线。我们相信 MagicClay 是将文本到图像的最新进展转变为艺术家在迭代工作流程中可以使用的实际建模工具的重要一步。 

限制。 我们的方法本质上受到 SDS 梯度质量的限制。每个视图都将优化引向不同的方向,从而增加噪音并使精细细节的出现更加困难。其次,MagicClay 不是交互式的,例如在 A100 GPU 上运行 MagicClay 每次提示需要 1 小时,瓶颈是 SDS 损失 

未来的工作。 我们看到了利用修复和深度条件扩散模型来加速 SDS 收敛的机会。确实,这个生成过程会在每次渲染中转换整个对象,而很明显,生成的图像的某些部分应该保持不变,因为 3D 编辑是局部的。我们认为,利用这种洞察力可以减少 SDS 固有的噪声量。


http://www.mrgr.cn/news/75121.html

相关文章:

  • 【开源免费】基于SpringBoot+Vue.JS高校学科竞赛平台(JAVA毕业设计)
  • JavaScript高级程序设计基础(四)
  • 基于深度学习的路面裂缝检测算法matlab仿真
  • 第三十三篇——用变化的眼光看最大值和最小值
  • 【FreeRL】MAPPO的简单复现
  • Java中的集合
  • 【今天的乐子】你真懂代码吗?挑战这10个笑话,程序员专属梗了解一下
  • C++《继承》
  • 企业运营的智能化升级:AI助理与SOP的融合之道
  • java八股-jvm入门-程序计数器,堆,元空间,虚拟机栈,本地方法栈,类加载器,双亲委派,类加载执行过程
  • 线程的状态有哪些?它是如何工作的?
  • SMA-BP基于黏菌算法优化BP神经网络时间序列预测
  • 解析安卓镜像包和提取DTB文件的操作日志
  • 探索AutoDL与CodeWithGPU:深度学习之旅的新起点
  • 时序论文20|ICLR20 可解释时间序列预测N-BEATS
  • 【算法一周目】双指针(2)
  • JavaScript总结
  • Path.Combine容易被忽略的细节
  • DAPP迎启动契机,Scroll 生态全面启动为 Pencils Protocol 赋能
  • C++函数的返回值在内存中的传递过程
  • 第4章-计划 4.4 范围管理
  • Python基础学习-07不可重复的set集合
  • 常用的生物医药专利查询数据库及网站(很全!)
  • Jetpack 之 Ink API初探
  • qt QQuickView详解
  • 《DPT: Deformable Patch-based Transformer for Visual Recognition》论文翻译