Learning List-Level Domain-Invariant Representations for Ranking

要約

ドメイン適応は、(データが豊富な) ソース ドメインで学習した知識を (リソースの少ない) ターゲット ドメインに転送することを目的としています。一般的な方法は、特徴空間上のデータ分布を照合して揃える不変表現学習です。
この方法は広範囲に研究され、分類問題や回帰問題に適用されていますが、ランキング問題への採用は散発的であり、いくつかの既存の実装には理論的根拠が欠けています。
この論文では、ランキングのための不変表現学習を再検討します。
以前の研究をレビューしたところ、それらは、すべてのリストからランク付けされているアイテムの分布を集計して整列させる、アイテムレベルの整列と呼ばれるものを実装していることがわかりましたが、リストの構造は無視されています。
ただし、リスト構造は、項目自体ではなくデータとメトリクスがリスト上で定義および計算されるランク付け問題に本質的に依存するため、リスト構造を活用する必要があります。
この矛盾を埋めるために、リストレベルの調整、つまりリストの上位レベルでドメイン不変表現を学習することを提案します。
利点は 2 つあります。つまり、ランキングに向けた最初のドメイン適応一般化につながり、提案された方法の理論的サポートが得られます。また、パッセージの再ランキングを含むランキング タスクにおける教師なしドメイン適応の経験的転送パフォーマンスが向上します。

要約(オリジナル)

Domain adaptation aims to transfer the knowledge learned on (data-rich) source domains to (low-resource) target domains, and a popular method is invariant representation learning, which matches and aligns the data distributions on the feature space. Although this method is studied extensively and applied on classification and regression problems, its adoption on ranking problems is sporadic, and the few existing implementations lack theoretical justifications. This paper revisits invariant representation learning for ranking. Upon reviewing prior work, we found that they implement what we call item-level alignment, which aligns the distributions of the items being ranked from all lists in aggregate but ignores their list structure. However, the list structure should be leveraged, because it is intrinsic to ranking problems where the data and the metrics are defined and computed on lists, not the items by themselves. To close this discrepancy, we propose list-level alignment — learning domain-invariant representations at the higher level of lists. The benefits are twofold: it leads to the first domain adaptation generalization bound for ranking, in turn providing theoretical support for the proposed method, and it achieves better empirical transfer performance for unsupervised domain adaptation on ranking tasks, including passage reranking.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google