Gradual Fine-Tuning with Graph Routing for Multi-Source Unsupervised Domain Adaptation

要約

マルチソースの教師なしドメイン適応は、複数のソース ドメインからのラベル付きデータを活用して、ラベルなしでターゲット ドメイン上で適切に一般化できるように機械学習モデルをトレーニングすることを目的としています。
ソース ドメインの選択は、モデルのパフォーマンスを決定する上で重要な役割を果たします。
これは、ソース ドメインとターゲット ドメイン間の類似性に依存します。
それにもかかわらず、ソース ドメインを選択するための既存の作業には、特に多数のソース ドメインを処理し、その中から最適なものを特定する必要がある場合に、大量の計算手順が含まれることがよくあります。
このペーパーでは、複数のソース ドメイン上の機械学習モデルの段階的微調整 (GFT) のためのフレームワークを紹介します。
複数のソース ドメインを無向重み付きグラフとして表します。
次に、グラフ内の任意のパスに沿って GFT の新しい汎化誤差限界を与えます。これは、最適なトレーニング順序に対応する最適なパスを決定するために使用されます。
この定式化により、エラー限界を最小限に抑える傾向のある 3 つの軽量のグラフ ルーティング戦略を導入します。
私たちの最良の戦略は、自然言語推論 (NLI) タスクで最先端の精度と比べて $2.3\%$ 向上し、感情分析 (SA) タスクで競合するパフォーマンスを達成します。特に、より多様なタスクでは $3.9\%$ の向上を達成します。
SA に使用するデータのサブセット。

要約(オリジナル)

Multi-source unsupervised domain adaptation aims to leverage labeled data from multiple source domains for training a machine learning model to generalize well on a target domain without labels. Source domain selection plays a crucial role in determining the model’s performance. It relies on the similarities amongst source and target domains. Nonetheless, existing work for source domain selection often involves heavyweight computational procedures, especially when dealing with numerous source domains and the need to identify the best ones from them. In this paper, we introduce a framework for gradual fine tuning (GFT) of machine learning models on multiple source domains. We represent multiple source domains as an undirected weighted graph. We then give a new generalization error bound for GFT along any path within the graph, which is used to determine the optimal path corresponding to the optimal training order. With this formulation, we introduce three lightweight graph-routing strategies which tend to minimize the error bound. Our best strategy improves $2.3\%$ of accuracy over the state-of-the-art on Natural Language Inference (NLI) task and achieves competitive performance on Sentiment Analysis (SA) task, especially a $3.9\%$ improvement on a more diverse subset of data we use for SA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google