GDO: Gradual Domain Osmosis

要約

このホワイトペーパーでは、段階的なドメイン適応（GDA）におけるソースドメインからターゲットドメインへのスムーズな知識移行の問題を解決することを目的とした段階的ドメイン浸透と呼ばれる新しい方法を提案します。
従来の漸進的なドメイン適応方法中間ドメインと自己訓練戦略を導入することにより、ドメインバイアスを緩和しますが、多くの場合、非効率的な知識移行または中間ドメインの欠落データの課題に直面しています。
このホワイトペーパーでは、ソースとターゲットドメインの損失重量と動的にバランスをとることにより、ハイパーパラメーター$ \ lambda $に基づいた最適化フレームワークを設計します。これにより、モデルは知識移行の強度を徐々に調整できます（$ \ lambda $の増分は0から増加することができます。
1）トレーニングプロセス中に、クロスドメインの一般化をより効率的に達成します。
具体的には、この方法には、擬似ラベルを生成するためのセルフトレーニングを組み込み、中間ドメインでの進行性適応中に安定性と堅牢性を確保するために加重損失関数を最小限に抑えることにより、モデルを繰り返し更新します。
実験的な部分は、回転したMNIST、色シフトMNIST、ポートレートデータセット、フォレストカバータイプデータセットに対するメソッドの有効性を検証し、結果は既存のベースラインメソッドよりも優れていることを示しています。
このペーパーでは、ハイパーパラメーター$ \ lambda $の動的調整戦略がアブレーション実験を通じてパフォーマンスに与える影響をさらに分析し、ドメインバイアスを緩和し、モデルの一般化能力を強化する際の進行性ドメイン浸透の利点を確認します。
この研究は、漸近ドメイン適応のための理論的サポートと実用的なフレームワークを提供し、動的環境での応用の可能性を拡大します。

要約(オリジナル)

In this paper, we propose a new method called Gradual Domain Osmosis, which aims to solve the problem of smooth knowledge migration from source domain to target domain in Gradual Domain Adaptation (GDA). Traditional Gradual Domain Adaptation methods mitigate domain bias by introducing intermediate domains and self-training strategies, but often face the challenges of inefficient knowledge migration or missing data in intermediate domains. In this paper, we design an optimisation framework based on the hyperparameter $\lambda$ by dynamically balancing the loss weights of the source and target domains, which enables the model to progressively adjust the strength of knowledge migration ($\lambda$ incrementing from 0 to 1) during the training process, thus achieving cross-domain generalisation more efficiently. Specifically, the method incorporates self-training to generate pseudo-labels and iteratively updates the model by minimising a weighted loss function to ensure stability and robustness during progressive adaptation in the intermediate domain. The experimental part validates the effectiveness of the method on rotated MNIST, colour-shifted MNIST, portrait dataset and forest cover type dataset, and the results show that it outperforms existing baseline methods. The paper further analyses the impact of the dynamic tuning strategy of the hyperparameter $\lambda$ on the performance through ablation experiments, confirming the advantages of progressive domain penetration in mitigating the domain bias and enhancing the model generalisation capability. The study provides a theoretical support and practical framework for asymptotic domain adaptation and expands its application potential in dynamic environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google