中科大团队让AI用两张照片就能“看懂”整个3D世界

B站影视 内地电影 2025-09-02 22:08 1

摘要:想象一下,你正在网上购买一件家具,卖家只提供了两张不同角度的照片。传统的3D重建技术就像一个缺乏经验的木匠,试图仅凭这两张图片就制作出一模一样的家具,结果往往是惨不忍睹的。而MeshSplat技术就像一位经验丰富的工匠,不仅能够准确理解家具的整体结构,还能推断

想象一下,你正在网上购买一件家具,卖家只提供了两张不同角度的照片。传统的3D重建技术就像一个缺乏经验的木匠,试图仅凭这两张图片就制作出一模一样的家具,结果往往是惨不忍睹的。而MeshSplat技术就像一位经验丰富的工匠,不仅能够准确理解家具的整体结构,还能推断出那些照片中看不到的细节,最终制作出几乎完美的复制品。

这项技术的突破性在于,它首次将2D高斯散点技术成功应用到了稀疏视角的3D表面重建任务中。如果把传统的3D重建比作用粘土捏塑雕像,需要不断从各个角度调整细节,那么MeshSplat就像是用一张特殊的"魔法纸",只需要两个关键视角的信息,就能自动"展开"成完整的3D表面。

研究团队发现,关键问题在于如何让计算机学会像人类一样进行"几何推理"。他们巧妙地利用2D高斯散点作为桥梁,将新视角图像合成任务与几何先验知识学习相结合。这就好比教会计算机一套"几何语法",让它能够从有限的视觉信息中推断出完整的3D结构规律。

一、革命性的技术架构:从"看图说话"到"立体想象"

传统的3D重建技术面临的最大困境,就像是让一个从未见过大象的人仅凭摸到大象的两条腿就描绘出完整的大象。现有的方法要么需要大量的输入图像,要么重建出的3D模型质量极差。MeshSplat技术的革命性突破在于,它完全改变了计算机"理解"3D世界的方式。

这套新技术的核心思路可以这样理解:如果把3D重建比作拼图游戏,传统方法需要收集到几乎所有的拼图片段才能开始工作。而MeshSplat就像是一个拼图高手,只需要看到几个关键的拼图片段,就能推断出整幅图画的样子,然后"脑补"出缺失的部分。

研究团队选择了2D高斯散点(2DGS)作为3D场景的表示方法,这个选择堪称妙笔。传统的3D高斯散点就像用一个个小气球来堆叠3D物体,虽然渲染效果不错,但在表示薄薄的表面时总是显得笨拙。而2D高斯散点更像是用一张张纸片来构建3D世界,这些"纸片"可以完美贴合各种表面,特别适合重建真实世界中那些墙壁、桌面这样的薄表面结构。

更重要的是,2D高斯散点天生就具有方向性。每张"纸片"都有明确的正面和背面,这意味着它能够更准确地表示真实物体的表面法向量。这就好比用纸片搭建房屋模型,每张纸片的朝向都有明确意义,而不像用小球堆积那样模糊不清。

然而,将2D高斯散点应用到稀疏视角重建中并非易事。研究团队发现,2D高斯散点对位置和方向的预测极其敏感。就像搭建纸牌屋一样,每张纸片的位置和角度都必须精确无误,否则整个结构就会崩塌。在只有两个视角的情况下,这种敏感性被进一步放大,任何微小的误差都可能导致重建失败。

为了解决这个问题,研究团队设计了一套完整的端到端学习框架。这个框架的工作流程就像是训练一个"3D想象力"系统。首先,系统从两张输入图像中提取特征信息,就像人眼观察物体时大脑提取的关键视觉特征。然后,通过多视角Transformer网络进行信息交换,让两个视角的信息能够相互"对话",补充彼此的盲区。

接下来是关键的成本体积构建步骤。这个过程就像是在3D空间中撒下一张密密麻麻的网格,每个网格点都对应一个可能的深度值。通过平面扫描技术,系统能够计算出每个像素在不同深度上的匹配置信度,就像用声呐探测海底地形一样,逐层扫描整个3D空间。

有了这些基础信息,高斯预测网络就能开始它的"魔法表演"了。这个网络包含两个关键组件:深度细化网络和法向预测网络。深度细化网络负责精确定位每个2D高斯散点的空间位置,而法向预测网络则负责确定每个散点的朝向。这就像是一个3D雕塑师,不仅要知道在哪里放置每一片"纸片",还要知道每片"纸片"应该朝向哪个方向。

整个系统最终能够输出像素对齐的2D高斯散点集合,每个散点都包含位置、尺度、旋转、透明度和颜色等完整属性。这些散点不仅可以用来渲染新视角图像,更重要的是可以直接提取出高质量的3D网格模型。

二、加权距离约束:让"猜测"变得更准确

在稀疏视角3D重建中,最大的挑战之一就是如何确保从不同视角预测的3D点能够在空间中正确对应。这个问题就像是两个人分别站在房间的两端描述同一个物体,如何确保他们描述的确实是同一个东西?

传统的倒角距离(Chamfer Distance)损失函数就像是一个"和事佬",试图让两个点云尽可能靠近。但这种方法有个致命缺陷:它对所有点都一视同仁。在实际场景中,有些区域的匹配信息非常可靠,比如纹理丰富的墙面,而有些区域则充满不确定性,比如光滑的玻璃表面或者被遮挡的角落。

研究团队提出的加权倒角距离损失就像是引入了一个"智能评判员"。这个评判员能够识别哪些区域的匹配是可信的,哪些区域存在较大不确定性,然后相应地调整约束强度。具体来说,系统会从成本体积中提取置信度图,这个置信度图就像是一张"可信度地图",标明了每个像素的匹配可靠程度。

置信度的计算过程颇为巧妙。系统通过对成本体积进行Softmax操作,计算出每个深度候选的概率分布,然后取最大值作为该像素的匹配置信度。这就像是在多选题中,如果某个选项的得分远高于其他选项,那么这个选择就更可信;反之,如果几个选项得分接近,说明存在较大的不确定性。

有了置信度图,加权倒角距离损失就能发挥作用了。在高置信度区域,比如纹理丰富的桌面或者有明显几何特征的墙角,系统会施加更强的约束,确保两个视角的预测结果严格对应。而在低置信度区域,比如均匀的白墙或者反光表面,系统会放松约束,避免强行匹配导致的错误。

这种加权策略的效果就像是在拼图时优先处理那些特征明显的片段,而对于颜色单一、难以确定位置的片段则保持更大的灵活性。实验结果显示,这种策略能够显著提高重建精度,特别是在处理室内场景的平坦表面时效果尤为明显。

更重要的是,这种加权机制是自适应的,不需要人工设定任何阈值。系统能够根据每个场景的具体情况自动调整权重分布,这就像是一个经验丰富的工匠,能够根据材料的不同特性灵活调整工艺参数。

三、法向预测网络:让表面"站"得更直

在2D高斯散点重建中,每个散点的方向预测比位置预测更加关键。这就像是贴壁纸时,不仅要知道在哪里贴,更要知道应该朝哪个方向贴。如果方向错了,整面墙看起来就会凹凸不平。

研究团队设计了一个专门的法向预测网络来解决这个问题。这个网络的工作原理就像是训练一个"方向感"专家,能够从图像特征中推断出每个点的最佳朝向。网络输入包括细化后的成本体积、多视角特征图以及不同尺度的原始RGB图像,输出则是旋转四元数和不确定性参数。

特别值得一提的是不确定性参数kappa的引入。这个参数就像是给每个预测结果标注一个"信心指数"。kappa值越大,说明网络对该点法向预测越有把握;kappa值越小,说明该点的法向存在较大不确定性。这种设计让系统能够"知道自己不知道什么",这在机器学习中是一种非常有价值的能力。

为了训练这个网络,研究团队使用了不确定性引导的负对数似然损失函数。这个损失函数的设计理念非常巧妙:对于高置信度的预测,如果结果准确,奖励会更大,如果结果错误,惩罚也更严厉;对于低置信度的预测,奖励和惩罚都会相应降低。这就像是一个考试评分系统,对于学生明确表示有把握的题目,答对得高分,答错扣大分;对于学生表示不确定的题目,则采用更宽松的评分标准。

更重要的是,系统使用了Omnidata单目法向估计器作为伪真值监督。这就像是请了一位"家教老师"来指导训练过程。虽然这位"老师"也不是完美的,但它具有丰富的先验知识,能够为网络提供合理的学习目标。

训练过程中还采用了基于不确定性的采样策略。系统不会对所有像素都施加相同强度的监督,而是优先关注那些kappa值较低的像素,也就是网络认为最不确定的区域。这种策略就像是老师重点辅导学习困难的学生,能够更高效地提升整体性能。

实验结果表明,这个法向预测网络能够显著改善2D高斯散点的方向精度,从而大幅提升最终重建出的网格质量。特别是在处理室内场景的墙面、地面等大面积平坦区域时,法向的准确预测对于生成平滑、连续的表面至关重要。

四、实验验证:从数字到现实的全面测试

为了验证MeshSplat技术的实际效果,研究团队进行了大规模的实验测试,就像是给一个新发明的工具进行全方位的"体检"。测试数据集包括Re10K、ScanNet和Replica三个具有代表性的室内场景数据集,覆盖了从真实家庭环境到合成场景的各种情况。

Re10K数据集来源于YouTube上的家庭漫游视频,包含67,477个训练场景和7,289个测试场景,可以说是最接近普通人日常拍摄情况的数据。ScanNet则是真实世界的室内扫描数据,包含更精确的几何信息。Replica是合成的室内数据集,虽然是人工制作的,但几何结构非常精确,适合作为"标准答案"来评估算法性能。

实验设置就像是一场公平的竞赛。所有方法都使用相同的输入(两张稀疏视角图像)和相同的评估指标。为了确保比较的公正性,研究团队还将一些原本用于新视角合成的方法改造成表面重建方法,使用TSDF融合技术提取网格。

评估指标包括倒角距离(CD)、精确度(Precision)、召回率(Recall)和F1分数。这些指标就像是从不同角度评估一个产品的质量。倒角距离衡量重建网格与真实网格的整体偏差,就像测量两个物体的相似程度;精确度评估重建出的点中有多少是正确的,类似于查准率;召回率评估真实表面中有多少被成功重建,类似于查全率;F1分数则是精确度和召回率的调和平均,提供了一个综合评价。

实验结果令人振奋。在Re10K数据集上,MeshSplat在所有指标上都显著超越了现有方法。具体来说,倒角距离从MVSplat的0.4015降低到0.3566,F1分数从0.3100提升到0.3758。这些数字背后意味着重建质量的显著提升,特别是在表面细节和整体结构的准确性方面。

在ScanNet数据集上的表现更加突出,MeshSplat的倒角距离达到0.2606,而最强的竞争对手MVSplat为0.3748,这意味着重建精度提升了约30%。F1分数也从0.2095大幅提升到0.3824,几乎翻了一倍。

为了验证算法的泛化能力,研究团队还进行了跨数据集测试,就像是让一个在中文环境中训练的翻译系统去翻译英文文档。他们用在Re10K上训练的模型直接测试ScanNet和Replica数据集,结果显示MeshSplat仍然保持了良好的性能,证明了其强大的泛化能力。

定性结果同样令人印象深刻。从视觉对比中可以清楚地看到,传统方法重建的网格往往千疮百孔,表面凹凸不平,而MeshSplat重建的网格则平滑连续,细节丰富。特别是在处理室内场景的墙面、地面这些大面积平坦区域时,MeshSplat能够生成几乎完美的平面,而其他方法往往会产生明显的噪声和伪影。

五、消融实验:解剖技术的每个细节

为了理解MeshSplat成功的关键因素,研究团队进行了详细的消融实验,就像是医生通过解剖来理解人体各个器官的功能。这些实验通过逐步移除或替换系统的各个组件,来评估每个部分对最终性能的贡献。

首先是2D高斯散点与3D高斯散点的对比。实验结果清楚地显示了2D高斯散点在表面重建任务中的优势。当使用3D高斯散点时,倒角距离为0.3748,而切换到2D高斯散点后,这个数值立即降低到0.2948。这个差异就像是用正确的工具和错误的工具干活的区别,2D高斯散点天生更适合表示薄表面结构。

加权倒角距离损失的效果同样显著。在移除这个组件后,倒角距离从0.2642上升到0.2769,看似变化不大,但在3D重建领域,这种程度的改善已经相当可观。更重要的是,定性结果显示,没有加权约束的版本在某些区域会出现明显的几何错误,特别是在纹理较少的平坦表面。

法向预测网络的贡献最为突出。完整的系统达到0.2606的倒角距离,而移除法向预测网络后这个数值跃升至0.2769。从视觉效果来看,差异更加明显。没有法向预测网络的版本重建出的表面往往扭曲变形,特别是在墙面和地面的交界处会出现不自然的弯曲。

研究团队还专门分析了高斯法向的渲染质量。他们发现,2D高斯散点在没有正确法向监督的情况下,其法向预测会出现严重偏差,导致表面看起来凹凸不平。而在引入法向预测网络后,渲染出的法向图变得平滑连贯,更接近真实表面的法向分布。

深度和法向预测质量的定量评估进一步证实了系统的有效性。在深度预测方面,MeshSplat的绝对相对误差(AbsRel)为0.0910,显著优于MVSplat的0.1692。在法向预测方面,平均角度误差从57.16度降低到33.84度,30度以内准确率从13.57%提升到60.26%。

这些数字背后反映的是系统几何理解能力的根本性提升。更准确的深度预测意味着3D结构的位置更精确,而更准确的法向预测则意味着表面的方向理解更正确。两者结合起来,就能够重建出更加真实可信的3D模型。

六、技术细节与实现智慧

MeshSplat的成功不仅在于其创新的整体架构,更在于大量精心设计的技术细节。这些细节就像是一件精密仪器中的每个小零件,看似微不足道,但却对整体性能起着关键作用。

在网络架构设计方面,研究团队采用了与MVSplat相同的主干网络结构,确保了公平的比较基础。但在此基础上,他们新增了专门的法向预测分支。这个分支使用了10个卷积层的轻量级设计,既保证了预测精度,又避免了计算开销的大幅增加。网络能够同时预测三个不同尺度(1/4、1/2和全分辨率)的法向图,这种多尺度设计就像是用不同焦距的镜头拍照,能够捕获从全局结构到局部细节的各种信息。

成本体积的构建采用了128个深度候选,这个数量的选择经过了精心权衡。太少的深度候选会导致精度不足,太多则会增加计算复杂度。128这个数值在精度和效率之间找到了最佳平衡点,就像是调节相机的对焦精度,既要足够细致又不能过度复杂。

训练策略的设计同样体现了研究团队的深思熟虑。他们使用Adam优化器,最大学习率设置为2×10^-4,这个数值经过了大量实验验证。损失函数的权重设置也经过了精心调整:光度损失权重为1.0,加权倒角距离损失权重为5.0×10^-3,法向损失权重为5.0×10^-3。这些看似简单的数字实际上代表了不同损失项之间的精确平衡。

在不确定性引导采样中,研究团队设置β=0.7,意味着70%的采样点来自低置信度区域,30%来自随机采样。这种分配比例确保了训练过程既关注困难样本,又保持了整体的统计平衡。采样点数量设置为图像大小的40%,这个比例在计算效率和训练效果之间达到了理想的平衡。

模型的效率分析显示,MeshSplat相比MVSplat仅增加了约1.3M参数(从12.0M增加到13.3M),参数增量不到11%。在渲染时间方面,MeshSplat需要0.102秒,相比MVSplat的0.072秒仅增加了30毫秒,这个增加完全可以接受。相比之下,基于NeRF的方法如MVSNeRF需要0.76秒,SparseNeuS更是需要7.05秒,MeshSplat在保持高质量的同时实现了显著的效率提升。

数据处理方面,研究团队针对不同数据集采用了不同的策略。在Re10K上,输入图像裁剪为256×256分辨率,训练20万步,批大小为12。在ScanNet上,考虑到场景的复杂性,将分辨率提升到512×384,但减少训练步数到7.5万步,批大小降至4以适应GPU内存限制。这种灵活的参数调整策略确保了在不同数据集上都能获得最佳性能。

七、突破与局限:技术发展的双面性

MeshSplat技术虽然取得了显著突破,但研究团队也诚实地承认了当前技术的一些局限性。这种实事求是的态度反映了优秀研究者的科学精神,也为未来的改进指明了方向。

最主要的局限出现在弱纹理区域的处理上。当场景中存在大面积的单色墙面、光滑地板或者反光表面时,系统有时会预测出不连续的深度图。这个问题的根源在于特征匹配的天然局限性:在没有明显纹理特征的区域,即使是最先进的匹配算法也难以建立可靠的对应关系。这就像是在一张白纸上找参照点,无论怎么努力都很难确定精确位置。

虽然系统渲染的RGB图像在这些区域看起来仍然很真实,但底层的几何结构可能存在一定程度的不准确性。这种现象在室内场景中特别常见,因为现代室内设计往往追求简洁的风格,大面积使用单一颜色的材料。

另一个重要局限是系统无法重建输入视角看不到的区域。这个限制是所有基于视觉的重建方法都面临的共同挑战,就像是盲人摸象,永远无法感知到没有接触的部分。在实际应用中,这意味着房间的背面、家具的内部等区域无法被准确重建。

研究团队提出,未来可能需要引入生成式方法来解决这个问题。这种思路就像是让系统不仅能"看",还能"想象",基于已有经验推断出看不见的部分应该是什么样子。这个方向虽然充满挑战,但也蕴含着巨大的潜力。

尽管存在这些局限,MeshSplat在稀疏视角表面重建领域仍然实现了显著突破。相比传统方法需要数十张图像才能获得可用结果,两张图像就能实现高质量重建已经是巨大进步。而且,系统的泛化能力使其能够处理训练时未见过的新场景,这对实际应用来说极其重要。

从技术发展趋势来看,MeshSplat代表了3D重建技术的一个重要发展方向。它成功地将2D高斯散点这一新兴表示方法应用到稀疏视角重建任务中,为后续研究开辟了新的道路。同时,其端到端的学习框架也为融合更多先验知识和约束条件提供了灵活的平台。

更重要的是,这项技术的成功验证了一个重要观点:在数据稀缺的情况下,巧妙的网络设计和合适的几何约束比简单的堆叠更多数据更有效。这个启示对整个3D视觉领域都具有重要意义,可能会影响未来相关技术的发展方向。

八、实际应用前景:从实验室走向生活

MeshSplat技术的突破不仅具有学术价值,更重要的是它为众多实际应用场景打开了新的可能性。这些应用场景涵盖了从个人娱乐到专业服务的各个层面,有望在不久的将来改变我们与3D世界互动的方式。

在房地产领域,这项技术可能会彻底改变房屋展示的方式。传统的房产展示需要专业摄影师从多个角度拍摄大量照片,或者使用昂贵的3D扫描设备。而有了MeshSplat,房产中介只需要用普通智能手机拍摄两张照片,就能生成完整的3D房屋模型。潜在买家可以在电脑前"走进"房屋,从任意角度观察房间布局,这种体验远比传统的平面照片更加直观真实。

电商领域同样有望受益匪浅。网购时最大的困扰就是无法真实感受商品的立体效果,特别是家具、装饰品这类对空间感要求较高的商品。MeshSplat技术使得商家可以用最低的成本创建商品的3D模型,消费者可以将虚拟家具"摆放"在自己家中,直观地评估尺寸、颜色和风格的匹配程度。

在文化遗产保护方面,这项技术的价值可能更加深远。许多珍贵的历史文物和建筑由于保护需要,无法让公众近距离接触。传统的3D数字化保护需要昂贵的专业设备和复杂的操作流程。MeshSplat技术的简单易用特性使得文物保护工作者可以用更低的成本、更高的效率完成数字化建档工作。同时,生成的3D模型可以用于虚拟博物馆、教育展示等用途,让更多人能够"触摸"到历史。

对于建筑和室内设计行业,这项技术提供了全新的设计验证工具。设计师可以快速将设计草图转换为3D模型,客户可以在虚拟环境中体验设计效果,提前发现问题并进行调整。这种快速原型制作能力大大缩短了设计迭代周期,提高了设计质量和客户满意度。

在增强现实(AR)和虚拟现实(VR)领域,MeshSplat为内容创作提供了强大工具。传统的AR/VR内容制作需要专业的3D建模师花费大量时间创建虚拟场景。而现在,普通用户只需要拍摄两张照片,就能将真实环境快速转换为虚拟场景,为AR/VR应用的普及扫清了重要障碍。

教育领域的应用潜力也不容忽视。在几何学、建筑学、艺术史等课程中,3D模型是重要的教学工具。MeshSplat技术使得教师可以轻松创建各种3D教学素材,学生也可以通过拍摄身边的物体来理解空间几何概念。这种互动式学习方式比传统的平面教材更加生动有趣,有助于提高学习效果。

当然,技术的广泛应用还需要时间。目前MeshSplat仍然需要一定的计算资源,在普通移动设备上的实时运行还有待优化。但随着移动芯片性能的不断提升和算法的进一步优化,这些限制有望在未来几年内得到解决。

九、技术演进的深层意义

MeshSplat技术的出现不仅仅是一个孤立的技术突破,它实际上反映了整个3D视觉领域发展的几个重要趋势,这些趋势可能会深刻影响未来技术的发展方向。

首先是从"数据驱动"到"知识引导"的转变。早期的3D重建方法往往依赖于大量的输入数据来弥补算法的不足,这就像是用"人海战术"解决问题。而MeshSplat成功地证明了,通过引入合适的几何先验知识和巧妙的网络设计,可以在数据极其稀少的情况下获得高质量结果。这种思路对于其他计算机视觉任务也具有重要启发意义。

其次是表示方法的创新带来的连锁反应。2D高斯散点这种表示方法的成功应用,展示了选择合适的数据表示对算法性能的重要影响。这提醒研究者们,有时候解决问题的关键不是设计更复杂的算法,而是找到更适合问题本质的表示方法。这种思维方式可能会催生更多创新的几何表示方法。

第三是端到端学习范式在3D视觉中的深入应用。MeshSplat展示了如何将传统的多步骤处理流程整合为一个统一的学习框架,这种整合不仅提高了效率,还使得各个组件能够协同优化,获得更好的整体性能。这种思路正在成为现代计算机视觉系统设计的主流方向。

不确定性建模的重要性也在这项工作中得到了很好的体现。通过引入kappa参数来量化预测的不确定性,系统能够更智能地处理困难样本,这种"知道自己不知道什么"的能力对于构建可靠的AI系统至关重要。随着AI技术在更多关键应用中的部署,不确定性建模将变得越来越重要。

从更宏观的角度看,MeshSplat代表了3D视觉技术民主化的重要一步。传统的3D重建技术往往需要专业设备和专业技能,普通用户很难接触和使用。而基于少量普通照片的重建技术大大降低了使用门槛,使得3D内容创作不再是专业人士的专利。这种技术民主化趋势可能会催生全新的应用模式和商业生态。

此外,这项工作还展示了学术研究与实际应用需求结合的重要性。研究团队选择稀疏视角重建这个问题,正是因为它符合现实世界的使用场景。这种问题导向的研究方式比单纯追求理论创新更容易产生实际影响,也更容易获得产业界的认可和支持。

最后,MeshSplat的成功也反映了跨学科融合的价值。这项工作结合了计算机图形学中的几何表示方法、计算机视觉中的深度学习技术、以及数值优化中的不确定性建模方法。这种跨学科的融合往往能够产生单一学科难以达到的突破性成果。

说到底,这项由中科大团队完成的研究不仅解决了一个具体的技术问题,更重要的是为我们展示了AI技术发展的一种新模式:用更少的数据做更多的事情,用更巧妙的方法解决更复杂的问题。在AI技术日益成熟的今天,这种"四两拨千斤"的智慧可能比单纯的算力提升更有价值。正如研究团队在论文中提到的,未来的工作可能会探索更高效的网络架构来进一步提升2D高斯散点预测的精度,这个方向充满了无限可能。对于那些希望深入了解技术细节的读者,完整的研究论文可以通过arXiv:2508.17811获取,项目主页https://hanzhichang.github.io/meshsplat_web/也提供了更多的演示资料。

Q&A

Q1:MeshSplat技术是什么?它能做什么?

A:MeshSplat是由中科大团队开发的3D重建技术,它的核心能力是仅用两张不同角度的照片就能生成完整的3D场景模型。这项技术特别适合重建室内场景,比如房间、办公室等,生成的3D模型可以用于虚拟现实、房产展示、电商等多个领域。

Q2:MeshSplat相比传统3D重建技术有什么优势?

A:传统方法通常需要几十张照片才能重建出质量尚可的3D模型,而且经常出现破洞、表面不平等问题。MeshSplat只需要两张照片就能生成高质量、表面平滑的3D模型,重建精度比现有最好的方法提升了约30%,同时保持了很快的处理速度。

Q3:普通人能使用MeshSplat技术吗?有什么限制?

A:目前MeshSplat还是一个研究阶段的技术,需要一定的计算资源运行,主要在实验室环境中使用。不过随着技术优化和硬件发展,未来很可能会集成到手机APP中。当前的主要限制是在处理纯色墙面等缺乏纹理的区域时精度会有所下降,而且无法重建照片中看不到的区域。

来源:码客人生一点号

相关推荐