GTA: A Geometry-Aware Attention Mechanism for Multi-View Transformers

要約

トランスフォーマーは入力トークンの順列と等価であるため、多くのタスクではトークンの位置情報のエンコードが必要です。
ただし、既存の位置エンコーディング スキームは当初 NLP タスク用に設計されているため、通常、データ内で異なる構造特性を示す視覚タスクへの適合性には疑問があります。
私たちは、既存の位置エンコード方式は、その基礎となる 3D 幾何学的構造を尊重していないため、3D 視覚タスクには次善であると主張します。
この仮説に基づいて、クエリとキーと値のペアの間の幾何学的関係によって決定される相対変換としてトークンの幾何学的構造をエンコードする、幾何学を意識したアテンション メカニズムを提案します。
まばらなワイドベースラインのマルチビュー設定で複数の新規ビュー合成 (NVS) データセットを評価することにより、幾何学的変換アテンション (GTA) と呼ばれる注意が学習効率と最先端の変換器のパフォーマンスを向上させることを示します。
-ベースの NVS モデル。追加の学習パラメーターはなく、わずかな計算オーバーヘッドのみです。

要約(オリジナル)

As transformers are equivariant to the permutation of input tokens, encoding the positional information of tokens is necessary for many tasks. However, since existing positional encoding schemes have been initially designed for NLP tasks, their suitability for vision tasks, which typically exhibit different structural properties in their data, is questionable. We argue that existing positional encoding schemes are suboptimal for 3D vision tasks, as they do not respect their underlying 3D geometric structure. Based on this hypothesis, we propose a geometry-aware attention mechanism that encodes the geometric structure of tokens as relative transformation determined by the geometric relationship between queries and key-value pairs. By evaluating on multiple novel view synthesis (NVS) datasets in the sparse wide-baseline multi-view setting, we show that our attention, called Geometric Transform Attention (GTA), improves learning efficiency and performance of state-of-the-art transformer-based NVS models without any additional learned parameters and only minor computational overhead.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google