TK-Planes: Tiered K-Planes with High Dimensional Feature Vectors for Dynamic UAV-based Scenes

要約

この論文では、無人航空機 (UAV) ベースの知覚のための合成データと現実世界のデータの間の領域ギャップを埋めるための新しいアプローチを紹介します。
私たちのフォーミュラは、小さな動く物体や人間の動作で構成される動的なシーン向けに設計されています。
我々は、アルゴリズムが階層化された特徴ベクトルのセットを保存する K-Planes Neural Radiance Field (NeRF) の拡張を提案します。
階層化された特徴ベクトルは、シーンに関する概念的な情報と、出力特徴マップを RGB 画像に変換する画像デコーダを効果的にモデル化するために生成されます。
私たちの技術は、シーン内の静的オブジェクトと動的オブジェクトの両方の情報を活用し、高地ビデオの顕著なシーン属性をキャプチャできます。
Okutama Action や UG2 などの困難なデータセットでそのパフォーマンスを評価したところ、最先端のニューラル レンダリング手法と比較して精度が大幅に向上していることが観察されました。

要約(オリジナル)

In this paper, we present a new approach to bridge the domain gap between synthetic and real-world data for unmanned aerial vehicle (UAV)-based perception. Our formulation is designed for dynamic scenes, consisting of small moving objects or human actions. We propose an extension of K-Planes Neural Radiance Field (NeRF), wherein our algorithm stores a set of tiered feature vectors. The tiered feature vectors are generated to effectively model conceptual information about a scene as well as an image decoder that transforms output feature maps into RGB images. Our technique leverages the information amongst both static and dynamic objects within a scene and is able to capture salient scene attributes of high altitude videos. We evaluate its performance on challenging datasets, including Okutama Action and UG2, and observe considerable improvement in accuracy over state of the art neural rendering methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google