ComfyUI使用Era3D生成3D网格
ComfyUI 3D Pack 是一套全面的节点，可增强 ComfyUI 使用 3DGS 和 NeRF 等高级算法以及 Era3D、InstantMesh 和 TripoSR 等模型处理 3D 输入的能力。
Era3D 模型的突出之处在于它能够从单个输入生成高质量、一致的多视图图像，利用基于扩散的相机预测、逐行注意和高分辨率输出。借助 ComfyUI Era3D 工作流程，用户可以无缝生成和操作 3D 内容，从创建多视图图像到执行详细的网格重建。
本指南全面介绍了如何使用“Era3D”模型创建 3D 内容，利用“ComfyUI 3D Pack”节点的高级功能简化工作流程并提高输出质量。
1、ComfyUI 3D Pack 简介
ComfyUI 3D Pack 是一个综合的节点套件，使 ComfyUI 能够使用尖端算法和模型处理 3D 输入，例如网格和 UV 纹理。它集成了先进的 3D 处理算法，如 3DGS（高斯溅射）和 NeRF（神经辐射场），以及最先进的模型，包括 Hunyuan3D**、**StableFast3D、InstantMesh、CRM、TripoSR 等。
使用 ComfyUI 3D Pack，用户可以在直观的 ComfyUI 界面中导入、操作和生成高质量的 3D 内容。它支持多种 3D 文件格式，如 OBJ、PLY、GLB，可轻松集成现有 3D 模型。这个套件还包括强大的网格处理实用程序，用于编辑、清理和优化 3D 几何图形。
其中一个主要亮点是集成了 NeRF 技术，该技术允许从 2D 图像进行逼真的 3D 重建。3DGS 节点支持点云渲染和风格化。InstantMesh 和 TripoSR 模型允许高分辨率升级和 3D 网格的超分辨率。CRM（卷积重建模型）支持从多视图图像和 CCM（色彩校正图）中恢复 3D 形状。
ComfyUI 3D Pack 由 MrForExample 开发，有关详细信息，请参阅 ComfyUI 3D Pack。
2、Era3D简介
Era3D 是一种最先进的多视图扩散方法，可从单个输入图像生成高质量、高分辨率的多视图图像。它解决了现有多视图生成方法的几个限制，例如不一致的相机先验、低效的多视图注意和低输出分辨率。与基线方法相比，Era3D 实现了卓越的 3D 重建质量。
Era3D 由来自香港科技大学、香港大学、DreamTech、北京大学和 LightIllusion 的研究人员团队开发。他们在多视图扩散和 3D 重建领域的贡献和进步功不可没。有关详细信息，请参阅 Era3D。
Era3D 背后的技术包括：
- 基于扩散的相机预测模块：Era3D 估计输入图像的焦距和仰角，即使输入图像由具有不同内在特性的相机捕获，它也能生成没有形状扭曲的图像。
- 逐行多视图注意：Era3D 引入了一个有效的注意层，可在多视图扩散过程中强制极线先验。通过在标准相机设置中将极线与图像行对齐，与密集多视图注意相比，Era3D 显著降低了计算复杂度和内存消耗。
- 高分辨率输出：Era3D 可以生成分辨率高达 512×512 的多视图图像，从而能够重建更详细的 3D 网格。
Era3D 的优势包括：
- 处理具有任意相机内在函数和视点的输入图像
- 高效的逐行多视图注意功能，可加快训练和推理速度
- 生成高分辨率 (512×512) 多视图图像，用于详细的 3D 重建
- 在单视图 3D 重建中实现最先进的性能
Era3D的潜在局限性：
- 由于生成的视图数量有限，难以生成诸如薄结构之类的复杂几何体
- 由于使用神经 SDF 进行重建，因此无法重建具有开放表面的网格
3、在 ComfyUI 中使用 Era3D
ComfyUI 3D Pack 无缝集成了 Era3D 模型，使用户可以从单个输入图像生成高质量的 3D 网格。工作流程包括以下步骤：
使用 [Comfy3D] Load Diffusers Pipeline节点加载预先训练的 Era3D 扩散管道：
使用 LoadImage节点加载输入图像及其对应的蒙版。使用 InvertMask节点反转蒙版以确保正确的背景处理：
使用 [Comfy3D] Era3D MVDiffusion Model 节点从输入图像和蒙版生成多视图图像、法线图和轨道相机姿势。此节点利用预先训练的 Era3D 模型生成高分辨率、一致的多视图输出：
使用 [Comfy3D] InstantMesh Reconstruction Model 节点从生成的多视图图像和轨道相机姿势重建 3D 网格。此节点利用 InstantMesh 的强大功能创建高质量的 3D 网格。
如果需要的话，可以使用 [Comfy3D] Switch Mesh Axis节点调整网格方向，以确保 3D 模型正确对齐。
4、结束语
通过利用 Era3D 模型和 ComfyUI 3D Pack 节点，用户可以轻松地从单个输入图像生成高质量的 3D 网格。将 Era3D 集成到 ComfyUI 中可以为单视图 3D 重建提供强大而高效的工作流程。
汇智网翻译整理，转载请标明出处