跳转至

DAS3R

311 个字 预计阅读时间 1 分钟

Introduction

问题导向

动态视频的场景分解和静态背景重建,特别是动态物体占据场景比例较大。

解决方案

与先前方法提供的静态置信度相比,DAS3R MonST3R 为基座,通过训练得到更准确的运动掩码,并将静态性作为高斯属性,实现静态场景建模为具有动态感知优化的高斯点云。

Method

Dynamic region segmentation

  • 与语义分割网络不同,DAS3R 依赖于对两个重叠图像帧的推理,直接从图像训练动态分割掩码。
  • 为减少计算量,仅对第一帧预测动态掩码,动态掩码预测采用 DPT head
DAVIS Sintel

Staticness

  • 为高斯球添加静态属性 s,每个三维高斯与它累积的动态概率 M 相关联,该属性量化了高斯球属于静态区域的可能性 su,v,t=1Mu,vt,[0,1]s_{u,v,t} = 1 - \mathrm{M}_{u, v}^t,\in [0,1]
  • 渲染过程中, s 被纳入 α\alpha-blend 计算中 Cu,v=i=1Ncisiαij=1i1(1sjαj)\mathcal{C}_{\mathrm{u,v}}=\sum_{i=1}^N\vec{c}_is_i\cdot\alpha_i\prod_{j=1}^{i-1}(1-s_j\cdot\alpha_j)

Experiments

Reference


最后更新: 2025年5月9日 15:51:31
创建日期: 2023年8月26日 15:00:56
回到页面顶部