Transformers as Meta-Learners for Implicit Neural Representations

要約

近年、陰的神経表現（Implicit Neural Representation: INR）が登場し、離散的な表現と比較してその利点を示している。しかし、与えられた観測値にINRを当てはめるには、通常、ゼロから勾配降下法で最適化する必要があり、効率が悪く、疎な観測値にはうまく一般化できない。この問題に対処するため、先行研究の多くは、INRの重みを調節するために単一のベクトルを生成するハイパーネットワークを学習させるが、この単一のベクトルが情報ボトルネックとなり、出力INRの再構成精度を制限している。最近の研究では、勾配に基づくメタ学習により、単一ベクトルのボトルネックなしにINRの重みの全セットを正確に推測できることが示されている。我々は、勾配に基づくメタ学習の一般化された定式化に動機付けられ、INRのハイパーネットワークとしてTransformersを用いる定式化を提案する。ここでは、集合対集合のマッピングとして特化したTransformersを用いてINRの重みの集合全体を直接構築することが可能である。我々は、2D画像回帰や3Dオブジェクトのビュー合成など、異なるタスクやドメインにおいてINRを構築するための我々の手法の有効性を実証する。また、Transformerのハイパーネットワークと勾配に基づくメタ学習アルゴリズムの間の接続を示し、生成されたINRを理解するためのさらなる分析を提供します。コードを含むプロジェクトのページは、 \url{https://yinboc.github.io/trans-inr/} にあります。

要約(オリジナル)

Implicit Neural Representations (INRs) have emerged and shown their benefits over discrete representations in recent years. However, fitting an INR to the given observations usually requires optimization with gradient descent from scratch, which is inefficient and does not generalize well with sparse observations. To address this problem, most of the prior works train a hypernetwork that generates a single vector to modulate the INR weights, where the single vector becomes an information bottleneck that limits the reconstruction precision of the output INR. Recent work shows that the whole set of weights in INR can be precisely inferred without the single-vector bottleneck by gradient-based meta-learning. Motivated by a generalized formulation of gradient-based meta-learning, we propose a formulation that uses Transformers as hypernetworks for INRs, where it can directly build the whole set of INR weights with Transformers specialized as set-to-set mapping. We demonstrate the effectiveness of our method for building INRs in different tasks and domains, including 2D image regression and view synthesis for 3D objects. Our work draws connections between the Transformer hypernetworks and gradient-based meta-learning algorithms and we provide further analysis for understanding the generated INRs. The project page with code is at \url{https://yinboc.github.io/trans-inr/} .

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL