HMOE: Hypernetwork-based Mixture of Experts for Domain Generalization

要約

ドメインの移行により、機械学習システムは通常、トレーニング データとは異なる新しいドメインにうまく一般化するのに苦労します。これがドメイン一般化 (DG) の目的です。
さまざまな DG 手法が提案されていますが、そのほとんどは解釈可能性に欠けており、現実世界の多くのシナリオでは利用できないドメイン ラベルを必要とします。
この文書では、ドメイン ラベルに依存せず、より解釈しやすい、HMOE: Hypernetwork-based Mixture of Experts (MoE) と呼ばれる新しい DG 手法を紹介します。
MoE は、データ内の異種パターンを識別するのに効果的であることが証明されています。
DG 問題の場合、異質性はまさにドメインのシフトから生じます。
HMOE は、ベクトルを入力として受け取るハイパーネットワークを使用して専門家の重みを生成します。これにより、専門家間の知識共有が促進され、低次元ベクトル空間での類似点の探索が可能になります。
当社は、公正な評価フレームワークである DomainBed の下で、他の DG 手法に対して HMOE をベンチマークします。
私たちの広範な実験により、HMOE は混合ドメイン データを、元のドメイン ラベルよりも驚くほど人間の直観と一致する個別のクラスターに効果的に分離できることがわかりました。
HMOE は、自己学習されたドメイン情報を使用して、ほとんどのデータセットで最先端の結果を達成し、すべてのデータセットの平均精度において他の DG 手法を大幅に上回ります。

要約(オリジナル)

Due to domain shifts, machine learning systems typically struggle to generalize well to new domains that differ from those of training data, which is what domain generalization (DG) aims to address. Although a variety of DG methods have been proposed, most of them fall short in interpretability and require domain labels, which are not available in many real-world scenarios. This paper presents a novel DG method, called HMOE: Hypernetwork-based Mixture of Experts (MoE), which does not rely on domain labels and is more interpretable. MoE proves effective in identifying heterogeneous patterns in data. For the DG problem, heterogeneity arises exactly from domain shifts. HMOE employs hypernetworks taking vectors as input to generate the weights of experts, which promotes knowledge sharing among experts and enables the exploration of their similarities in a low-dimensional vector space. We benchmark HMOE against other DG methods under a fair evaluation framework — DomainBed. Our extensive experiments show that HMOE can effectively separate mixed-domain data into distinct clusters that are surprisingly more consistent with human intuition than original domain labels. Using self-learned domain information, HMOE achieves state-of-the-art results on most datasets and significantly surpasses other DG methods in average accuracy across all datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google