Contextualising Implicit Representations for Semantic Tasks

要約

これまでの研究では、再構成タスク専用にトレーニングされた暗黙的表現では、通常、意味論的なタスクには役に立たないエンコーディングが生成されることが実証されています。
この研究では、暗黙的表現のエンコードを文脈化して、元のトレーニング データやエンコード ネットワークへのアクセスを必要とせずに、下流のタスク (セマンティック セグメンテーションなど) での使用を可能にする方法を提案します。
コンテキスト化モジュールは、再構成タスク専用にトレーニングされた暗黙的表現を使用して、再構成専用にトレーニングされたエンコーディングを取得し、再構成のパフォーマンスを損なうことなく、エンコーディングに隠されている意味のある意味情報を明らかにします。
私たちが提案したモジュールを使用すると、より大きなデータセットで暗黙的表現を事前トレーニングすることが可能になり、ラベル付きデータセットでのセグメンテーションのパフォーマンスを維持しながら、より小さなラベル付きデータセットのみでのトレーニングと比較して再構成パフォーマンスが向上します。
重要なのは、私たちの方法により、エンコーダーやデータセットの可用性に関係なく、将来の基盤となる暗黙的表現モデルを目に見えないタスクで微調整できるようになります。

要約(オリジナル)

Prior works have demonstrated that implicit representations trained only for reconstruction tasks typically generate encodings that are not useful for semantic tasks. In this work, we propose a method that contextualises the encodings of implicit representations, enabling their use in downstream tasks (e.g. semantic segmentation), without requiring access to the original training data or encoding network. Using an implicit representation trained for a reconstruction task alone, our contextualising module takes an encoding trained for reconstruction only and reveals meaningful semantic information that is hidden in the encodings, without compromising the reconstruction performance. With our proposed module, it becomes possible to pre-train implicit representations on larger datasets, improving their reconstruction performance compared to training on only a smaller labelled dataset, whilst maintaining their segmentation performance on the labelled dataset. Importantly, our method allows for future foundation implicit representation models to be fine-tuned on unseen tasks, regardless of encoder or dataset availability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google