Harnessing Hierarchical Label Distribution Variations in Test Agnostic Long-tail Recognition

要約

この論文では、テストに依存しないロングテール認識について検討します。これは、テストラベルの分布が未知であり、任意に不均衡である場合の困難なロングテールタスクです。
私たちは、これらの分布の変動はグローバルレベルとローカルレベルに階層的に分類できると主張します。
グローバルなものは幅広い多様性を反映していますが、ローカルなものは通常、特定の近隣諸国に焦点を当てた、より穏やかな変化から生じます。
従来の方法では、主に専門家混合 (MoE) アプローチが使用され、大幅な世界的変動を示す少数の固定されたテストラベル分布が対象となります。
ただし、局所的な変動は考慮されません。
この問題に対処するために、我々は新しい MoE 戦略 $\mathsf{DirMixE}$ を提案します。これは、ラベル分布の異なるディリクレ メタ分布に専門家を割り当て、それぞれが局所変動の特定の側面を対象としています。
さらに、これらのディリクレ メタ分布間の多様性は、本質的にグローバルな変動を捉えます。
この二重レベルのアプローチは、より安定した目的関数にもつながり、さまざまなテスト分布をより適切にサンプリングして、パフォーマンス結果の平均と分散を定量化できるようになります。
理論的には、分散ベースの正則化による強化された一般化から、提案した目的が恩恵を受けることを示します。
複数のベンチマークにわたる包括的な実験により、$\mathsf{DirMixE}$ の有効性が確認されています。
コードは \url{https://github.com/scongl/DirMixE} で入手できます。

要約(オリジナル)

This paper explores test-agnostic long-tail recognition, a challenging long-tail task where the test label distributions are unknown and arbitrarily imbalanced. We argue that the variation in these distributions can be broken down hierarchically into global and local levels. The global ones reflect a broad range of diversity, while the local ones typically arise from milder changes, often focused on a particular neighbor. Traditional methods predominantly use a Mixture-of-Expert (MoE) approach, targeting a few fixed test label distributions that exhibit substantial global variations. However, the local variations are left unconsidered. To address this issue, we propose a new MoE strategy, $\mathsf{DirMixE}$, which assigns experts to different Dirichlet meta-distributions of the label distribution, each targeting a specific aspect of local variations. Additionally, the diversity among these Dirichlet meta-distributions inherently captures global variations. This dual-level approach also leads to a more stable objective function, allowing us to sample different test distributions better to quantify the mean and variance of performance outcomes. Theoretically, we show that our proposed objective benefits from enhanced generalization by virtue of the variance-based regularization. Comprehensive experiments across multiple benchmarks confirm the effectiveness of $\mathsf{DirMixE}$. The code is available at \url{https://github.com/scongl/DirMixE}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google