Whole Page Unbiased Learning to Rank

要約

情報検索システムにおけるページ表示の偏り、特にクリック動作における偏りは、暗黙のユーザー フィードバックによるランキング モデルのパフォーマンスの向上を妨げるよく知られた課題です。
次に、バイアスされたクリック データを使用して不偏ランキング モデルを学習するために、Unbiased Learning to Rank~(ULTR) アルゴリズムが提案されます。
しかし、既存のアルゴリズムのほとんどは、検索結果ページ表示 (SERP) の他の機能によって引き起こされるバイアスを考慮せずに、位置関連のバイアス (信頼バイアスなど) を軽減するように特別に設計されています。
マルチメディアによって引き起こされる魅力的なバイアス。
残念ながら、こうしたバイアスは産業システムに広く存在しており、満足のいく検索エクスペリエンスが得られない可能性があります。
したがって、ページ全体のSERP機能によって引き起こされるバイアスを同時に処理することを目的とした、新しい問題、つまりページ全体のUnbiased Learning to Rank(WP-ULTR)を導入します。
これには大きな課題があります。(1) 適切なユーザー行動モデル (ユーザー行動仮説) を見つけるのは難しい場合があります。
(2) 複雑なバイアスは既存のアルゴリズムでは処理できません。
上記の課題に対処するために、BAL と呼ばれる、バイアスに依存しない全ページ不偏学習ランキング アルゴリズムを提案します。これは、因果関係の発見によりユーザー行動モデルを自動的に見つけ、特定の設計を持たない複数の SERP 機能によって引き起こされるバイアスを軽減します。
現実世界のデータセットでの実験結果により、BAL の有効性が検証されます。

要約(オリジナル)

The page presentation biases in the information retrieval system, especially on the click behavior, is a well-known challenge that hinders improving ranking models’ performance with implicit user feedback. Unbiased Learning to Rank~(ULTR) algorithms are then proposed to learn an unbiased ranking model with biased click data. However, most existing algorithms are specifically designed to mitigate position-related bias, e.g., trust bias, without considering biases induced by other features in search result page presentation(SERP), e.g. attractive bias induced by the multimedia. Unfortunately, those biases widely exist in industrial systems and may lead to an unsatisfactory search experience. Therefore, we introduce a new problem, i.e., whole-page Unbiased Learning to Rank(WP-ULTR), aiming to handle biases induced by whole-page SERP features simultaneously. It presents tremendous challenges: (1) a suitable user behavior model (user behavior hypothesis) can be hard to find; and (2) complex biases cannot be handled by existing algorithms. To address the above challenges, we propose a Bias Agnostic whole-page unbiased Learning to rank algorithm, named BAL, to automatically find the user behavior model with causal discovery and mitigate the biases induced by multiple SERP features with no specific design. Experimental results on a real-world dataset verify the effectiveness of the BAL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google