Analogy-Forming Transformers for Few-Shot 3D Parsing

要約

タイトル：Few-Shot 3Dパーシングのための類推形成トランスフォーマー

要約：
– Analogical Networksは、構造化されたラベル付き3Dシーンのコレクション内のドメイン知識を明示的に符号化するモデルであり、モデルパラメータとして暗黙的に符号化することもできます。
– このモデルは、類推的推論を使用して3Dオブジェクトシーンをセグメンテーションします。つまり、モデルは直接シーンをパーツに分割するのではなく、まず参照シーンとそれに対応するパーツ構造をメモリから取得し、入力シーンに対して類似したパーツ構造を予測します。
– メモリから複数の参照を条件とされている場合、構造の合成も予測されます。つまり、複数の参照メモリからパーツをミックス・マッチした構造を予測することができます。
– Analogical Networksは、一回、数回、多回の学習を1つの方法で処理できます。適切なメモリビーコンを使用して、単一、少数、または多数のメモリエグザンプラーから受信した場合に、類似した解析を推論します。
– Analogical Networksは、多数のショット設定では最先端の3Dセグメンテーショントランスフォーマーと競合し、少数のショット設定では、メタ学習と少数の学習の既存のパラダイムを上回る性能を発揮します。
– Analogical Networksは、重みの更新なしにメモリを拡張するだけで、新しいオブジェクトカテゴリのインスタンスを正常にセグメンテーションします。
– コードとモデルは、プロジェクトのWebページ：http://analogicalnets.github.io/で公開されています。

要約(オリジナル)

We present Analogical Networks, a model that encodes domain knowledge explicitly, in a collection of structured labelled 3D scenes, in addition to implicitly, as model parameters, and segments 3D object scenes with analogical reasoning: instead of mapping a scene to part segments directly, our model first retrieves related scenes from memory and their corresponding part structures, and then predicts analogous part structures for the input scene, via an end-to-end learnable modulation mechanism. By conditioning on more than one retrieved memories, compositions of structures are predicted, that mix and match parts across the retrieved memories. One-shot, few-shot or many-shot learning are treated uniformly in Analogical Networks, by conditioning on the appropriate set of memories, whether taken from a single, few or many memory exemplars, and inferring analogous parses. We show Analogical Networks are competitive with state-of-the-art 3D segmentation transformers in many-shot settings, and outperform them, as well as existing paradigms of meta-learning and few-shot learning, in few-shot settings. Analogical Networks successfully segment instances of novel object categories simply by expanding their memory, without any weight updates. Our code and models are publicly available in the project webpage: http://analogicalnets.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI