3D 가우시안 스플래팅은 디지털 환경을 만들고 상호 작용하는 방식을 혁신할 수 있는 독특한 기술입니다. 사진 측량 및 신경 방사장(NeRF)과 같은 기존 방식에 대한 혁신적인 대안을 제시하는 이 기술은 건축부터 게임, 가상 현실, 과학 시각화에 이르기까지 광범위한 애플리케이션의 가능성을 열어주었습니다.

이 글에서는 3D 가우시안 스플래팅이 무엇인지, 그 장점과 용도는 무엇인지, 다른 기법과 어떻게 비교되는지 자세히 살펴보겠습니다. 또한 이 방법을 사용하여 3D 디자인을 만드는 데 사용할 수 있는 도구도 살펴볼 것입니다.

3D 가우시안 스플래팅이란?

3D 가우시안 스플래팅은 컴퓨터 그래픽에서 2D 이미지에서 3D 장면을 생성하는 데 사용되는 방법입니다. 한 물체를 각기 다른 각도에서 촬영한 여러 장의 사진이 있다고 상상해 보세요. 가우시안 스플래팅은 이러한 이미지를 모두 가져와서 블렌딩하여 해당 물체의 상세한 3차원 표현을 만들어냅니다.

'가우시안 스플래팅'이라는 이름은 종 모양의 곡선을 닮은 수학 공식의 일종인 가우시안 함수를 사용했기 때문에 붙여진 이름입니다. 이 함수는 이미지의 픽셀에 가중치를 할당하는 데 사용되며, 서로 다른 시점 간에 부드럽고 매끄러운 전환을 보장하는 데 도움이 됩니다. 최종 결과물은 물리적 세계의 실제 물체처럼 어느 각도에서나 볼 수 있는 3D 모델입니다.

이 기술은 3D 모델을 빠르고 효율적으로 제작할 수 있는 방법으로, 처리해야 할 데이터가 많을 때 특히 유용합니다. 또한 매우 다재다능하여 비디오 게임에서 의료 영상에 이르기까지 다양한 분야에서 사용할 수 있습니다. 따라서 그래픽 디자이너, 게임 개발자, 과학자 등 누구에게나 3D 가우시안 스플래팅은 유용한 툴킷이 될 수 있습니다.

3D 가우시안 스플래팅의 프로세스

가우시안 스플래팅을 사용하여 3D 모델을 생성하려면 여러 단계를 거쳐야 합니다:

• 모션에서 구조 활용하기: 이 초기 단계에서는 모션으로부터의 구조(SfM) 기법을 사용하여 이미지 세트에서 3D 포인트 클라우드를 생성합니다. 이 기법은 2D 이미지 데이터에서 3D 표현을 생성하는 데 효과적입니다.

• 가우시안으로 변환: 포인트 클라우드가 확보되면 각 포인트는 가우시안으로 변환되어 래스터화할 수 있습니다. 그러나 이 단계에서는 SfM 데이터에서 위치와 색상 정보만 유추할 수 있습니다. 더 나은 결과를 얻으려면 추가 학습이 필요합니다.

• 훈련: 이 단계에서는 신경망과 유사하지만 레이어링이 없는 확률적 경사 하강이 사용됩니다. 훈련 과정에는 차등 가우스 래스터화를 사용하여 가우시안 이미지를 이미지로 래스터화하고, 래스터화된 이미지와 기준 이미지 간의 차이를 기반으로 손실을 계산하고, 손실에 따라 가우스 파라미터를 조정하고, 마지막으로 자동화된 고밀도화 및 가지치기를 구현하는 단계가 포함됩니다.

• 차별적인 가우시안 래스터화 구현하기: 3D 가우시안 스플래팅은 데이터를 화면에 투사하는 래스터화 방법을 사용합니다. 이 방법은 빠르고 차별화할 수 있다는 점에 유의해야 합니다. 래스터화 프로세스에는 카메라의 관점에서 각 가우시안들을 2D로 투영하고, 가우시안들을 깊이별로 정렬하고, 모든 픽셀에 대해 각 가우시안들을 앞뒤로 블렌딩하는 작업이 포함됩니다.

가우스 함수의 모습

3D 가우스 스플래팅의 핵심은 가우스 함수로, 종 모양의 곡선 모양이 특징입니다. 이 함수는 불연속적인 점을 생동감 있고 응집력 있는 파노라마로 변환하는 데 중추적인 역할을 합니다. 3D 가우시안 스플랫이 가우시안 함수를 활용하는 방법은 다음과 같습니다:

이미지 출처: mathworld.wolfram.com

• 위치(XYZ): 3D 공간 내 모든 점의 정확한 위치를 결정합니다. 

• 공분산(3x3 행렬): 각 점이 어떻게 확대 또는 축소되는지를 결정하여 형태와 크기에 영향을 줍니다. 

• 색상(RGB): 각 포인트의 음영을 결정하여 시각적 다양성에 기여합니다. 

• 알파(α): 투명도 수준을 조절하여 장면의 사실감을 높입니다. 

3D 가우시안 스플래팅의 실제 사용 사례

3D 가우시안 스플래팅은 다양한 산업 분야에 걸쳐 폭넓게 활용되고 있으며, 3D 모델 제작 및 시각화에서 다용도 툴로 활용되고 있습니다. 가우스 스플래팅의 고유한 특징과 이러한 분야에서 가우스 스플래팅이 제공하는 뚜렷한 이점에 대해 자세히 알아보겠습니다.

• 건축 및 건설: 건축가와 건설 전문가는 3D 가우시안 스플래팅을 사용하여 사실적인 건물 모델을 만들어 고객이 실제 시공에 들어가기 전에 최종 결과물을 시각화할 수 있습니다. 이를 통해 잠재적인 설계 결함을 조기에 파악하여 시간과 리소스를 절약할 수 있습니다.

• 이커머스: 온라인 리테일러는 3D 가우시안 스플래팅을 사용하여 제품을 더욱 사실적이고 매력적인 방식으로 보여줌으로써 고객이 다양한 각도와 관점에서 상품을 볼 수 있도록 할 수 있습니다. 또한 제품과의 가상 상호작용을 통해 고객 만족도를 높이고 반품을 줄일 수 있습니다.

• 교육 및 훈련: 3D 가우시안 스플래팅을 사용하면 교육 목적으로 실제와 같은 시뮬레이션을 만들 수 있어 의학, 항공, 군사 훈련과 같은 분야에서 특히 유용하게 사용할 수 있습니다. 이를 통해 실제 위험 없이 안전하고 효율적으로 연습할 수 있습니다.

• 가상 현실과 게임: 가상 현실과 게임에서 3D 가우시안 스플래팅을 사용하면 더욱 몰입감 있고 사실적인 환경을 구현하여 사용자의 전반적인 경험을 향상시킬 수 있습니다. 또한 동적 조명 효과를 구현하여 깊이감과 사실감을 더할 수 있습니다.

• 제품 디자인 및 프로토타이핑: 3D 가우시안 스플래팅을 사용하면 디자이너가 아이디어를 사실적인 방식으로 쉽게 시각화하여 빠르고 정확하게 반복할 수 있습니다. 이를 통해 제품 디자인 및 프로토타이핑 프로세스의 속도를 크게 높일 수 있습니다.

• 가상 이벤트 및 전시회: 최근 가상 이벤트로의 전환에 따라 3D 가우시안 스플래팅을 활용하여 전시회, 컨퍼런스, 무역 박람회를 위한 실제와 같은 가상 환경을 만들 수 있습니다. 이를 통해 참석자에게 인터랙티브하고 매력적인 경험을 제공할 수 있습니다.

3D 가우시안 스플래팅과 사진측량 및 NeRP 비교

3D 모델을 만들 때는 3D 가우시안 스플래팅, 사진 측량, NeRP(신경 방사점) 등 여러 가지 기법을 사용할 수 있습니다. 각 방법에는 고유한 장단점이 있지만 다음과 같은 몇 가지 주요 차이점이 있습니다.

정확도

3D 가우시안 스플래팅은 정확도 측면에서 다른 방법보다 뛰어난 성능을 발휘하는 경우가 많습니다. 가우스 스플래팅은 수학적 함수를 사용하여 각 복셀의 색상과 불투명도를 추정하므로 매우 정밀하고 세밀한 3D 모델을 생성할 수 있습니다. 반면 사진 측량은 여러 장의 사진에 의존하기 때문에 특히 복잡한 질감이나 패턴이 있는 영역에서는 세밀한 디테일을 정확하게 포착하지 못할 수 있습니다. NeRP는 AI를 사용하여 3D 장면을 구성하는 인상적인 기술이지만, 학습 데이터에 의존하기 때문에 다양한 장면에서 일관된 정확도를 제공하는 데 어려움을 겪을 수 있습니다.

속도

3D 가우시안 스플래팅이 빛을 발하는 또 다른 요소는 속도입니다. 빠르고 효율적인 계산이 가능하므로 실시간 렌더링이나 인터랙티브 시각화가 필요한 애플리케이션에 탁월한 선택이 될 수 있습니다. 사진 측량은 여러 이미지를 처리해야 하고 오류를 수정하거나 누락된 데이터를 채우기 위해 수작업이 필요한 경우가 많기 때문에 시간이 더 많이 소요될 수 있습니다. NeRP는 효율적이기는 하지만 상당한 컴퓨팅 리소스가 필요하며 실시간 애플리케이션에는 적합하지 않을 수 있습니다.

적용 가능성

적용 가능성 측면에서 세 가지 방법 모두 고유한 사용 사례가 있습니다. 3D 가우시안 스플래팅은 매우 다재다능하며 의료 영상, 시각화, VR/AR 등 다양한 애플리케이션에 사용할 수 있습니다. 사진측량학은 실제 사물과 환경을 재구성하는 데 탁월하여 문화유산 보존, 건축, 고고학에 이상적입니다. 최근에 개발된 NeRP는 컴퓨터 그래픽과 시각 효과, 특히 데이터 세트를 사용하여 모델을 학습시킬 수 있는 시나리오에서 큰 가능성을 보여주었습니다.

3D 가우시안 스플래팅을 위한 툴

Luma AI와 Polycam은 iO, Android 또는 웹 플랫폼에서 3D 가우시안 스플래팅을 생성하는 데 사용하기 쉬운 두 가지 도구입니다.

이러한 앱을 사용하면 이러한 모델을 약 30분 이내에 신속하게, 그리고 비용 효율적으로 제작할 수 있습니다. 3D로 제품을 선보이고자 하는 온라인 판매자와 장면에 깊이와 사실감을 더하고자 하는 영화 특수효과 제작자에게 편리한 도구입니다.

Polycam을 사용한 이 가우시안 스플랫 캡처를 살펴보세요.

결론

3D 가우시안 스플래팅은 단순한 렌더링 기술을 넘어 3D 렌더링에 대한 우리의 이해를 변화시키고 도전합니다. 실시간으로 실행하고 높은 수준의 결과물을 제작할 수 있다는 점에서 주목해야 할 기술입니다. 3D 그래픽, 게임 개발 또는 우수한 실시간 렌더링이 필요한 모든 분야에 관심이 있다면 가우시안 스플래팅을 반드시 고려해야 합니다.