Identifiability Matters: Revealing the Hidden Recoverable Condition in Unbiased Learning to Rank

要約

Unbiased Learning to Rank (ULTR) は、ユーザー行動の生成プロセスを明示的にモデル化し、調査仮説に基づいてクリック データをフィッティングすることにより、偏ったクリック ログから不偏ランキング モデルをトレーニングすることを目的としています。
これまでの研究では、真の潜在的な関連性は、完全なクリック フィッティングによってほとんど回復可能であることが経験的にわかっています。
ただし、これが常に達成できるわけではなく、ランキングのパフォーマンスが大幅に低下することがわかりました。
この研究では、クリック データから関連性を基礎レベルで回復できる条件を調査します。
最初に、スケーリング変換までの真の関連性を回復できる場合、ランキング モデルを識別可能であると特徴付けます。これは、ペアごとのランキングの目的に十分な基準です。
続いて、グラフ接続性テスト問題として表現された識別可能性の等価条件を調査します。データセットの基礎となる構造から導出された識別可能性グラフ (IG) が接続されている場合にのみ、関連性の回復が可能です。
切断された IG が存在すると、ケースの劣化やランキングのパフォーマンスが最適化されなくなる可能性があります。
この課題に取り組むために、データセットを変更して IG の接続を復元するように設計された 2 つの方法、つまりノード介入とノード マージを導入します。
シミュレートされたデータセットと 2 つの現実世界の LTR ベンチマーク データセットから得られた経験的結果は、提案した定理を検証するだけでなく、関連性モデルが特定できない場合のデータ バイアスの軽減における私たちの方法の有効性も示しています。

要約(オリジナル)

Unbiased Learning to Rank (ULTR) aims to train unbiased ranking models from biased click logs, by explicitly modeling a generation process for user behavior and fitting click data based on examination hypothesis. Previous research found empirically that the true latent relevance is mostly recoverable through perfect click fitting. However, we demonstrate that this is not always achievable, resulting in a significant reduction in ranking performance. This research investigates the conditions under which relevance can be recovered from click data at a foundational level. We initially characterize a ranking model as identifiable if it can recover the true relevance up to a scaling transformation, a criterion sufficient for the pairwise ranking objective. Subsequently, we investigate an equivalent condition for identifiability, articulated as a graph connectivity test problem: the recovery of relevance is feasible if and only if the identifiability graph (IG), derived from the underlying structure of the dataset, is connected. The presence of a disconnected IG may lead to degenerate cases and suboptimal ranking performance. To tackle this challenge, we introduce two methods, namely node intervention and node merging, designed to modify the dataset and restore the connectivity of the IG. Empirical results derived from a simulated dataset and two real-world LTR benchmark datasets not only validate our proposed theorems but also demonstrate the effectiveness of our methods in alleviating data bias when the relevance model is unidentifiable.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google