Identifiability Matters: Revealing the Hidden Recoverable Condition in Unbiased Learning to Rank

要約

Unbiased Learning to Rank (ULTR) のアプリケーションは、偏ったクリック ログから不偏のランキング モデルをトレーニングするための最新のシステムで広く普及しています。
重要なのは、ユーザーの行動の生成プロセスを明示的にモデル化し、調査仮説に基づいてクリック データを当てはめることです。
これまでの研究では、クリックが完全に適合している限り、ほとんどの場合、真の潜在的な関連性を回復できることが経験的にわかっています。
ただし、これが常に達成できるわけではなく、ランキングのパフォーマンスが大幅に低下することがわかりました。
この研究では、ULTR 分野の基礎的な問題である、クリック データから真の関連性を回復できるかどうか、いつ回復できるかについて答えることを目的としています。
まず、スケーリング変換までの真の関連性を回復できる場合、ランキング モデルを識別可能であると定義します。これは、ペアごとのランキングの目的には十分です。
次に、グラフ接続性テスト問題として新規に表現できる識別可能性の同等の条件を探索します。データセットの基礎となる構造に基づいて構築されたグラフ (つまり、識別可能性グラフ、または IG) が接続されている場合に限り、次のことを保証できます。
関連性を正しく回復できます。
IG が接続されていない場合、ランキング パフォーマンスの低下につながる悪いケースが発生する可能性があります。
この問題に対処するために、データセットを変更して IG の接続を復元するための 2 つの方法、つまりノード介入とノードのマージを提案します。
シミュレーション データセットと 2 つの LTR ベンチマーク データセットで得られた実験結果は、提案した定理の妥当性を確認し、関連性モデルが特定できない場合のデータ バイアスの軽減における私たちの方法の有効性を示しています。

要約(オリジナル)

The application of Unbiased Learning to Rank (ULTR) is widespread in modern systems for training unbiased ranking models from biased click logs. The key is to explicitly model a generation process for user behavior and fit click data based on examination hypothesis. Previous research found empirically that the true latent relevance can be recovered in most cases as long as the clicks are perfectly fitted. However, we demonstrate that this is not always achievable, resulting in a significant reduction in ranking performance. In this work, we aim to answer if or when the true relevance can be recovered from click data, which is a foundation issue for ULTR field. We first define a ranking model as identifiable if it can recover the true relevance up to a scaling transformation, which is enough for pairwise ranking objective. Then we explore an equivalent condition for identifiability that can be novely expressed as a graph connectivity test problem: if and only if a graph (namely identifiability graph, or IG) constructed on the underlying structure of the dataset is connected, we can guarantee that the relevance can be correctly recovered. When the IG is not connected, there may be bad cases leading to poor ranking performance. To address this issue, we propose two methods, namely node intervention and node merging, to modify the dataset and restore connectivity of the IG. Empirical results obtained on a simulation dataset and two LTR benchmark datasets confirm the validity of our proposed theorems and show the effectiveness of our methods in mitigating data bias when the relevance model is unidentifiable.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google