Understanding the Effects of the Baidu-ULTR Logging Policy on Two-Tower Models

要約

ULTR (Unbiased Learning to Rank) タスクの 2 タワー モデルは人気があるにもかかわらず、最近の研究では、このモデルが業界アプリケーションでの崩壊につながる可能性のある大きな制限、つまりロギング ポリシーの混乱の問題に悩まされていることが示唆されています。
いくつかの潜在的な解決策も提案されています。
ただし、これらの手法の評価はほとんどが半合成シミュレーション実験を使用して行われました。
この論文は、現実世界最大のデータセットである Baidu-ULTR の交絡問題を調査することにより、理論と実践の間のギャップを埋めます。
私たちの主な貢献は次の 3 つです。1) 交絡問題の条件が Baidu-ULTR で与えられていることを示し、2) 交絡問題は 2 塔モデルに大きな影響を与えず、3) 2 塔モデル間の潜在的な不一致を指摘しました。
専門家の注釈、ULTR の黄金標準、およびユーザーのクリック動作。

要約(オリジナル)

Despite the popularity of the two-tower model for unbiased learning to rank (ULTR) tasks, recent work suggests that it suffers from a major limitation that could lead to its collapse in industry applications: the problem of logging policy confounding. Several potential solutions have even been proposed; however, the evaluation of these methods was mostly conducted using semi-synthetic simulation experiments. This paper bridges the gap between theory and practice by investigating the confounding problem on the largest real-world dataset, Baidu-ULTR. Our main contributions are threefold: 1) we show that the conditions for the confounding problem are given on Baidu-ULTR, 2) the confounding problem bears no significant effect on the two-tower model, and 3) we point to a potential mismatch between expert annotations, the golden standard in ULTR, and user click behavior.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google