SAM 3D Objects: 이미지에서 3D로 변환하는 기술 및 벤치마크

SAM 3D란 무엇인가요?

SAM3D로도 검색되는 SAM 3D는 이미지에서 3D를 재구성하는 Meta 모델 제품군이에요. SAM 3D Objects는 오브젝트의 지오메트리, 텍스처, 배치를 추정해요. SAM 3D Body는 인체 형태와 자세를 다루는 별도 모델이에요. Segmentit의 오브젝트 작업 과정은 Objects에 중점을 둬요.

Meta · SAM 3D ↗

SAM 3

이미지 → 2D 마스크

SAM 3D Objects

이미지 + 마스크 → 3D 오브젝트

정확한 선택과 입체 재구성은 서로 다른 요구를 해결해요. 형태, 텍스처, 장면 구성에 앞서 올바른 대상을 선택해야 해요. 살펴보기 SAM 3.

비교한 모델

기관 및 공동 연구진의 국가예요. 각 모델에서 공식 프로젝트로 이동할 수 있어요.

SAM 3D Objects와 Body 중 무엇을 선택할까요?

오브젝트 및 장면

SAM 3D Objects

이미지에서 오브젝트의 지오메트리, 외관, 배치를 재구성해요.

인물 및 자세

SAM 3D Body

인체 형태와 자세를 추정해요. 다른 작업을 위한 별도 모델이에요.

재구성에 앞선 선택

SAM 3 → SAM 3D

2D에서 대상을 식별하고 마스크로 오브젝트 재구성을 안내해요.

창작 방식 선택

게임용 소품, 장면에 쓸 장식품, 다른 각도에서 살펴볼 제품으로 시작하세요. 선명한 레퍼런스 이미지를 사용하면 생성된 형태를 평가하기 쉬워요.

오브젝트 선택 3D로 창작 다운로드 및 내보내기

SAM 3D의 작동 방식은 무엇인가요?

이미지 + 마스크

원본 이미지는 맥락을 제공하고 마스크는 재구성할 오브젝트를 지정해요.

지오메트리 + 자세

첫 생성 단계에서 형태와 배치를 추정해요. 보이지 않는 표면은 학습된 시각 패턴으로부터 추론해요.

텍스처 + 세부 조정

두 번째 단계에서 외관과 디테일을 다듬어요. 연구 파이프라인은 메시와 가우시안 표현을 지원해요.

연구 모델의 아키텍처예요. 애플리케이션에서 제공하는 영상 기능, 표현 방식, 도구는 다를 수 있어요. 공식 코드 ↗

SAM 3D와 기존 이미지 기반 3D 방식 비교

SA-3DAO · 형태 재구성 · F1@0.01 · 높을수록 좋음

F1@0.01 · 0 → 0.25

TRELLIS

0.1475

Hunyuan3D-2.1

0.1399

Hunyuan3D-2.0

0.1574

Direct3D-S2

0.1513

TripoSG

0.1533

Hi3DGen

0.1629

SAM 3D

0.2344

데이터 및 지표

SA-3DAO · Table 2
모델	F1@0.01 ↑	vIoU ↑	Chamfer ↓	EMD ↓
TRELLIS	0.1475	0.1392	0.0902	0.2131
Hunyuan3D-2.1	0.1399	0.1266	0.1126	0.2432
Hunyuan3D-2.0	0.1574	0.1504	0.0866	0.2049
Direct3D-S2	0.1513	0.1465	0.0962	0.2160
TripoSG	0.1533	0.1445	0.0844	0.2057
Hi3DGen	0.1629	0.1531	0.0937	0.2134
SAM 3D	0.2344	0.2311	0.0400	0.1211