upper的重建结果与作者一致，但是lower重建结果只有一半

[tianleiSHI]

您好，使用您提供的’1832_lower_cond_000_000_000_000.png‘图像执行instant-nsr-pl中的run.py，命令如下：
python run.py --img /workspace/TeethDreamer/example/images/1832_lower_cond_000_000_000_000.png --cpu 4 --dir /workspace/TeethDreamer/example/results --normal

执行结束后，重建结果很不理想，如下：

it20000-test.mp4

但是upper的结果是比较正常的：

请问是什么原因呢？
另外，重建后的mesh不是很光滑，顶点和面片数目非常多，是不是还需要其它的后处理步骤呢？

[Xcf-xcf]

You can check whether the generation normal maps and processed normal maps for instant-nsr-pl is same. The rembg package is unable to segment the complete foreground mask sometimes. This may cause the incomplete result. And you can follow the step 5 in inference to fix it. If you need a simplified reconstruction or a smooth result, you can increase training steps (trainer.max_steps), the weight of smooth loss (system.lambda_3d_normal_smooth) and decrease the inference resolution (model.geometry.isosurface.resolution) in config file (instant-nsr-pl/configs/neus-blender-normal.yaml).

[kate88xt]

您好，使用您提供的’1832_lower_cond_000_000_000_000.png‘图像执行instant-nsr-pl中的run.py，命令如下： python run.py --img /workspace/TeethDreamer/example/images/1832_lower_cond_000_000_000_000.png --cpu 4 --dir /workspace/TeethDreamer/example/results --normal

执行结束后，重建结果很不理想，如下：

it20000-test.mp4

但是upper的结果是比较正常的：

请问是什么原因呢？ 另外，重建后的mesh不是很光滑，顶点和面片数目非常多，是不是还需要其它的后处理步骤呢？

请问解决了吗？我和您面临同样的问题，期待您的回复

[Xcf-xcf]

You can check if the background removal works well on generated RGB and normal images because the absence of the foreground results in missing teeth. You can find the input images for reconstruction in the path /workspace/TeethDreamer/example/results/ 1832_lower_cond_000_000_000_000/train

[Xcf-xcf]

To make the reconstruction smoother, you can increase the loss weight of smoothing normal (lambda_3d_normal_smooth) in /your/path/to/instant-nsr-pl/configs/Teethdreamer.yaml or post-processing the mesh.

[kate88xt]

您可以检查背景去除在生成的 RGB 和正常图像上是否效果良好，因为没有前景会导致牙齿缺失。您可以在路径 /workspace/TeethDreamer/example/results/ 1832_lower_cond_000_000_000_000/train 中找到用于重建的输入图像
非常感谢您的回复，我查看了您提到的用于重建的输入图像，确实有缺失，刚才按照您建议，做了推理步骤5中的手动前景分割，现在的问题是：分割结果如何添加到neus重建呢？运行run.py文件时链接还是在代码中修改路径呢？若执行推理步骤5，是否意味着train中的内容将会变成我手动分割的结果呢？

[Xcf-xcf]

You can replace the original path of the input image (--img) with the manual segmentation result in Step 6 and remove the command --rembg.

[kate88xt]

您可以将输入图像的原始路径（--img）替换为步骤6中的手动分割结果，并删除命令--rembg。
按照您的建议手动分割前景，psnr提升4db，下颌牙依旧有一半缺失，请问您有其他解决建议吗？

[Xcf-xcf]

Can you check the input of reconstruction is totally correct and the name of manually segmented image file include "lower"? If all is right, can you show me the result of 3D reconstructed mesh?

[kate88xt]

您能否检查重建的输入是否完全正确，并且手动分割的图像文件的名称包含“lower”？如果一切正常，您能给我展示 3D 重建网格的结果吗？

将分割掩码放在与生成多视图的同一目录下，并运行命令python run.py --img ../example/results2_seg_foreground/oral2_lower_cond_000_000_000_000.png --cpu 8 --dir ../example/results2_seg_foreground/reconstruction --normal --rembg,之后可以看到TeethDreamer/example/results2_seg_foreground/reconstruction/oral2_lower_cond_000_000_000_000/train中个别图片牙齿有缺失

下面是neus/save/it20000-mc512.obj

[Xcf-xcf]

The image 012 lacks a significant amount of foreground, which causes inconsistency with other images. This leads to the incomplete reconstruction.

[kate88xt]

图像 012 缺少大量的前景，这会导致与其他图像不一致。这导致了不完全的重建。

您说的对，但是导致012缺少大量前景的原因会是什么呢？

[Xcf-xcf]

I think it can be attributed to your manual segmentation. You can segment it again and be careful to maintain more foreground.

[kate88xt]

我认为这可以归因于您的手动细分。您可以再次对其进行分割，并小心保持更多的前景.

非常感激您耐心的回复，我将采取您的建议继续寻找原因

[kate88xt]

增加了前景分割，下牙结构缺失问题确实解决了！非常感谢作者的建议与回复！

[Universe-dust]

增加了前景分割，下牙结构缺失问题确实解决了！非常感谢作者的建议与回复！

请问您方便把您在fork成功后的python各种版本的库发一下吗