LIFT: Latent Implicit Functions for Task- and Data-Agnostic Encoding

要約

暗黙の神経表現（INR）は、多様なデータドメイン全体でタスクモデリングを統合する上で強力なパラダイムであることが証明されており、メモリ効率や解像度の独立性などの重要な利点を提供します。
従来の深い学習モデルは通常、モダリティ依存性であり、多くの場合、さまざまな種類の信号に対してカスタムアーキテクチャと目標が必要です。
ただし、既存のINRフレームワークは、グローバルな潜在性のベクトルに依存することがよくあるか、より幅広い適用性を制限する計算の非効率性を示します。
Meta-Learningを通じてマルチスケール情報をキャプチャすることにより、これらの課題に対処する斬新で高性能のフレームワークであるLiftを紹介します。
リフトは、階層的潜在ジェネレーターと一緒に複数の平行な局所的な暗黙的関数をレバレッジし、ローカル、中間、およびグローバルな特徴に及ぶ統一された潜在表現を生成します。
このアーキテクチャは、ローカル地域間のスムーズな移行を促進し、推論効率を維持しながら表現力を高めます。
さらに、残留接続と表現力のある周波数エンコーディングを組み込んだリフトの強化されたバリアントであるReliftを紹介します。
この簡単なアプローチにより、Reliftは同等の方法で見つかった収束容量のギャップに効果的に対処し、容量を改善し、収束を高速化するための効率的で強力なソリューションを提供します。
経験的結果は、リフトが生成モデリングおよび分類タスクで最先端（SOTA）パフォーマンスを達成し、計算コストを顕著に削減することを示しています。
さらに、シングルタスクの設定では、合理化されたReliftアーキテクチャは、信号表現と逆問題タスクに効果的であることが証明されています。

要約(オリジナル)

Implicit Neural Representations (INRs) are proving to be a powerful paradigm in unifying task modeling across diverse data domains, offering key advantages such as memory efficiency and resolution independence. Conventional deep learning models are typically modality-dependent, often requiring custom architectures and objectives for different types of signals. However, existing INR frameworks frequently rely on global latent vectors or exhibit computational inefficiencies that limit their broader applicability. We introduce LIFT, a novel, high-performance framework that addresses these challenges by capturing multiscale information through meta-learning. LIFT leverages multiple parallel localized implicit functions alongside a hierarchical latent generator to produce unified latent representations that span local, intermediate, and global features. This architecture facilitates smooth transitions across local regions, enhancing expressivity while maintaining inference efficiency. Additionally, we introduce ReLIFT, an enhanced variant of LIFT that incorporates residual connections and expressive frequency encodings. With this straightforward approach, ReLIFT effectively addresses the convergence-capacity gap found in comparable methods, providing an efficient yet powerful solution to improve capacity and speed up convergence. Empirical results show that LIFT achieves state-of-the-art (SOTA) performance in generative modeling and classification tasks, with notable reductions in computational costs. Moreover, in single-task settings, the streamlined ReLIFT architecture proves effective in signal representations and inverse problem tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google