Learning Large-scale Neural Fields via Context Pruned Meta-Learning

要約

自動化されたオンライン コンテキスト ポイント選択を通じて大幅なメモリ節約を実現することで、大規模なニューラル フィールド トレーニングのための効率的な最適化ベースのメタ学習手法を導入します。
これは、モデル品質の即時改善が最も期待されるデータのサブセットに各学習ステップを集中させることによって達成され、その結果、グローバル構造のほぼ瞬時のモデリングとその後の高周波の詳細の改善が実現します。
ブートストラップ補正を導入することで、メタ学習による初期化の品質をさらに向上させます。その結果、コンテキスト セットの削減によってもたらされるエラーが最小限に抑えられ、同時に最適化ベースのメタ学習のよく知られた近視眼的な問題も軽減されます。
最後に、メタテスト時の勾配再スケーリングにより、大幅に短縮された最適化手順で非常に高品質なニューラル フィールドの学習がどのように可能になるかを示します。
私たちのフレームワークはモデルに依存せず、直観的で実装が簡単で、幅広い信号の再構成が大幅に改善されています。
私たちは、複数のモダリティにわたる 9 つのデータセットに対する広範な実証的評価を提供し、最先端の結果を実証するとともに、メソッドを構成するアルゴリズム コンポーネントの慎重な分析を通じて追加の洞察を提供します。
コードは https://github.com/jihoontack/GradNCP で入手できます。

要約(オリジナル)

We introduce an efficient optimization-based meta-learning technique for large-scale neural field training by realizing significant memory savings through automated online context point selection. This is achieved by focusing each learning step on the subset of data with the highest expected immediate improvement in model quality, resulting in the almost instantaneous modeling of global structure and subsequent refinement of high-frequency details. We further improve the quality of our meta-learned initialization by introducing a bootstrap correction resulting in the minimization of any error introduced by reduced context sets while simultaneously mitigating the well-known myopia of optimization-based meta-learning. Finally, we show how gradient re-scaling at meta-test time allows the learning of extremely high-quality neural fields in significantly shortened optimization procedures. Our framework is model-agnostic, intuitive, straightforward to implement, and shows significant reconstruction improvements for a wide range of signals. We provide an extensive empirical evaluation on nine datasets across multiple multiple modalities, demonstrating state-of-the-art results while providing additional insight through careful analysis of the algorithmic components constituting our method. Code is available at https://github.com/jihoontack/GradNCP

arxiv情報

提供元, 利用サービス

arxiv.jp, Google