SAM 3D Objects：图像转 3D 技术与基准测试

什么是 SAM 3D？

SAM 3D（也常以 SAM3D 搜索）是 Meta 根据图像重建 3D 的模型系列。SAM 3D Objects 估计物体几何、纹理和布局。SAM 3D Body 是用于人体形状与姿态的独立模型。Segmentit 的物体工作流程专注于 Objects。

Meta · SAM 3D ↗

SAM 3

图像 → 2D 蒙版

SAM 3D Objects

图像 + 蒙版 → 3D 物体

精确选区与立体重建解决不同需求。先选择正确的主体，再处理形状、纹理与场景构图。探索 SAM 3.

参与比较的模型

组织及合作团队所在的国家。每个模型均链接至官方项目。

SAM 3D Objects 还是 Body？

物体与场景

SAM 3D Objects

根据图像重建物体的几何、外观和位置。

人物与姿态

SAM 3D Body

估计人体形状和姿态。针对不同任务的独立模型。

先选择，再重建

SAM 3 → SAM 3D

在 2D 中识别主体，再用其蒙版引导物体重建。

选择你的创作流程

从游戏道具、场景装饰物，或想换个角度观察的产品开始。清晰的参考图像更便于评估生成的形状。

选择物体创建 3D 下载与导出

SAM 3D如何运作？

图像 + 蒙版

原始图像提供上下文，蒙版指定要重建的物体。

几何 + 姿态

第一生成阶段估计形状和位置。隐藏表面根据已学习的视觉规律进行推断。

纹理 + 细化

第二阶段细化外观与细节。研究流程支持网格和高斯表示。

研究模型架构。应用中提供的视频功能、表示形式和工具可能有所不同。官方代码 ↗

SAM 3D 与早期图像转 3D 方法对比

SA-3DAO · 形状重建 · F1@0.01 · 越高越好

F1@0.01 · 0 → 0.25

TRELLIS

0.1475

Hunyuan3D-2.1

0.1399

Hunyuan3D-2.0

0.1574

Direct3D-S2

0.1513

TripoSG

0.1533

Hi3DGen

0.1629

SAM 3D

0.2344

数据与指标

SA-3DAO · Table 2
模型	F1@0.01 ↑	vIoU ↑	Chamfer ↓	EMD ↓
TRELLIS	0.1475	0.1392	0.0902	0.2131
Hunyuan3D-2.1	0.1399	0.1266	0.1126	0.2432
Hunyuan3D-2.0	0.1574	0.1504	0.0866	0.2049
Direct3D-S2	0.1513	0.1465	0.0962	0.2160
TripoSG	0.1533	0.1445	0.0844	0.2057
Hi3DGen	0.1629	0.1531	0.0937	0.2134
SAM 3D	0.2344	0.2311	0.0400	0.1211