L4P: Low-Level 4D Vision Perception Unified

要約

ビデオのピクセル間の時空間的関係は、低レベルの4D認識タスクの重要な情報をもたらします。
それについて推論する単一のモデルは、そのようないくつかのタスクをうまく解決できるはずです。
しかし、ほとんどの最先端の方法は、手元のタスクに特化したアーキテクチャに依存しています。
統一されたフレームワークで低レベルの4D認識タスクを解決するフィードフォワードの汎用アーキテクチャであるL4Pを提示します。
L4Pは、事前に訓練されたVITベースのビデオエンコーダーを活用し、軽量であるため、大規模なトレーニングを必要としないタスクあたりのヘッドと組み合わせます。
一般的かつフィードフォワードの定式化にもかかわらず、私たちの方法は、深さや光の流れの推定など、2D/3D追跡などのスパースタスクなど、両方の密なタスクで既存の特殊な方法のパフォーマンスと一致または上回ります。
さらに、シングルタスクメソッドのタスクに匹敵する時間に一度にすべてのタスクを解決します。

要約(オリジナル)

The spatio-temporal relationship between the pixels of a video carries critical information for low-level 4D perception tasks. A single model that reasons about it should be able to solve several such tasks well. Yet, most state-of-the-art methods rely on architectures specialized for the task at hand. We present L4P, a feedforward, general-purpose architecture that solves low-level 4D perception tasks in a unified framework. L4P leverages a pre-trained ViT-based video encoder and combines it with per-task heads that are lightweight and therefore do not require extensive training. Despite its general and feedforward formulation, our method matches or surpasses the performance of existing specialized methods on both dense tasks, such as depth or optical flow estimation, and sparse tasks, such as 2D/3D tracking. Moreover, it solves all tasks at once in a time comparable to that of single-task methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google