Recursive KL Divergence Optimization: A Dynamic Framework for Representation Learning

要約

現代の表現学習目標の一般化を提案し、ローカライズされた条件分布を介した再帰的発散アライメントプロセスとしてそれらを再構成することにより、情報対照学習のような最近のフレームワークは、固定近隣条件間のKLの発散を通じて複数の学習パラダイムを統合することを統合します。
再帰KL Divergence Optimization rkdoは、データ周辺でのKL発散の進化として表現学習が組み立てられる動的な形式主義を紹介します。
この定式化は、モデルの安定性と局所的適応への新しいパスを提供しながら、静的なスライスとして、コントラストのクラスタリングと次元削減方法をキャプチャします。
私たちの実験は、RKDOが3つの異なるデータセットにわたる静的アプローチと比較して、約30％低い損失値と、同等の結果を達成するために必要な計算リソースの60〜80％の減少を提供することを示しています。
これは、RKDOSの再帰的更新メカニズムが、リソース制約のあるアプリケーションに重要な意味を持つ表現学習のための基本的により効率的な最適化ランドスケープを提供することを示唆しています。

要約(オリジナル)

We propose a generalization of modern representation learning objectives by reframing them as recursive divergence alignment processes over localized conditional distributions While recent frameworks like Information Contrastive Learning I-Con unify multiple learning paradigms through KL divergence between fixed neighborhood conditionals we argue this view underplays a crucial recursive structure inherent in the learning process. We introduce Recursive KL Divergence Optimization RKDO a dynamic formalism where representation learning is framed as the evolution of KL divergences across data neighborhoods. This formulation captures contrastive clustering and dimensionality reduction methods as static slices while offering a new path to model stability and local adaptation. Our experiments demonstrate that RKDO offers dual efficiency advantages approximately 30 percent lower loss values compared to static approaches across three different datasets and 60 to 80 percent reduction in computational resources needed to achieve comparable results. This suggests that RKDOs recursive updating mechanism provides a fundamentally more efficient optimization landscape for representation learning with significant implications for resource constrained applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google