Sara Fridovich-Keil, Giacomo Meanti, Frederik Rahbæk Warburg, Benjamin Recht, Angjoo Kanazawa

CVPR2023

Abstract

K-planes : 임의 차원의 Radiance field에 대한 white-box 모델

• $(^d_2)$(”d-choose-2”) 평면을 사용해 d차원 scene을 표현 = 평면 인수분해 → static에서 dynamic scene으로의 원활한 이동 방법 제공 (d=3→d=4)
• Dimension-specific priors (temporal smoothness, multi-resolution spatial structure) 쉽게 추가 가능

Scene의 Static and dynamic components 자연스럽게 분해 가능

• 학습된 color basis가 있는 Linear feature decoder 사용 → non-linear black-box MLP decoder와 유사한 성능 제공
• 낮은 메모리 사용량 + 좋은 충실도 + full 4D grid에서 1000배의 compression 달성 + fast optimization

Introduction

4D volume representation이 요구되고 있다. ⇒ 차원의 저주로 비용이 엄청 든다.

Static radiance field에 대해 3차원 volume을 인수분해하는 몇 가지 방법들이 제안됐지만 3차원을 넘어서 고차원으로 쉽게 확장되지 않았다.

따라서, simple, interpretable, compact, fast training, fast rendering 제공하는 4차원 volume 인수분해를 제안한다. d)를 봤을 때 처음 3개 평면은 3차원 공간을, 이후 3개의 평면을 시공간 변화를 나타내도록 공간과 시공간을 분할했다. 이를 통해 동적 물체는 시공간 평면에서 볼 수 있고, 정적 물체는 공간 평면에만 나타나서 모델을 해석할 수 있다. 이것이 시간과 공간에서 dimension-specific prior가 가능하게 한다.

본 논문의 방식은 모든 차원을 2차원 평면으로 인수분해를 선택하는 간단하고 규범적인 방법을 제공한다.

$$ k=(^d_2)("d-choose-2")planes\\ = {_dC_2}\space planes $$

예를 들어 4D는 hex-plane으로, 3D는 tri-plane으로 축소한다. k개 이상의 평면을 사용하면 불필요한 메모리를 사용하게 되고 k개보다 적게 사용하면 차원 간의 잠재적 상호작용을 표현하기 어려워진다.

저자들은 white-box 모델을 원한다.

2가지 설계 선택이 이전의 black-box 모델과 경쟁하거나 그 이상의 재구성 품질을 유지하면서 white-box 모델이 될 수 있도록 한다.

1. 이전 작업들과 달리 k-planes에서 feature들을 multiplied하도록 한다.(이전에는 added)
2. Linear feature decoder가 learned color basis를 사용한다.