HMOE: Hypernetwork-based Mixture of Experts for Domain Generalization

要約

ドメイン シフトが原因で、機械学習システムは通常、トレーニング データのドメインとは異なるドメインに適切に一般化できません。これは、ドメインの一般化 (DG) が対処しようとしている問題です。
ただし、ほとんどの主流の DG アルゴリズムは解釈可能性に欠けており、多くの現実のシナリオでは利用できないドメイン ラベルが必要です。
この作業では、ドメイン ラベルを必要とせず、より解釈しやすい、新しい DG メソッド HMOE: ハイパーネットワーク ベースの専門家の混合 (MoE) を提案します。
ハイパーネットワークを使用して専門家の重みを生成し、専門家が有用なメタ知識を共有できるようにします。
MoE は、データ内の異種パターンの検出と識別に長けていることが証明されています。
DG の場合、異質性はまさにドメイン シフトから生じます。
公平で統一されたベンチマーク DomainBed の下で、HMOE を他の DG アルゴリズムと比較します。
広範な実験により、HMOE は混合ドメインのデータから潜在的なドメインの発見を実行し、元のドメイン ラベルよりも驚くほど人間の直感と一致する個別のクラスターに分割できることが示されています。
他の DG メソッドと比較して、HMOE は競争力のあるパフォーマンスを示し、場合によってはドメイン ラベルを使用せずに SOTA の結果を達成します。

要約(オリジナル)

Due to the domain shift, machine learning systems typically fail to generalize well to domains different from those of training data, which is the problem that domain generalization (DG) aims to address. However, most mainstream DG algorithms lack interpretability and require domain labels, which are not available in many real-world scenarios. In this work, we propose a novel DG method, HMOE: Hypernetwork-based Mixture of Experts (MoE), that does not require domain labels and is more interpretable. We use hypernetworks to generate the weights of experts, allowing experts to share some useful meta-knowledge. MoE has proven adept at detecting and identifying heterogeneous patterns in data. For DG, heterogeneity exactly arises from the domain shift. We compare HMOE with other DG algorithms under a fair and unified benchmark-DomainBed. Extensive experiments show that HMOE can perform latent domain discovery from data of mixed domains and divide it into distinct clusters that are surprisingly more consistent with human intuition than original domain labels. Compared to other DG methods, HMOE shows competitive performance and achieves SOTA results in some cases without using domain labels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google