Learning to Rank when Grades Matter

要約

等級付きラベルは、現実世界のランク付け学習アプリケーション、特に人間が評価した関連性データで広く普及しています。
従来のランク付け学習手法は、ドキュメントのランク付け順序を最適化することを目的としています。
ただし、通常、実際の成績の予測は無視されます。
これにより、「品質の悪い」ドキュメントをフィルタリングするなど、グレードが重要なアプリケーションでの採用が妨げられます。
良好なランキングパフォーマンスと良好な成績予測パフォーマンスの両方を達成することは、まだ検討されていない問題です。
既存の研究は、モデルの出力を調整せずにパフォーマンスのランク付けのみに焦点を当てているか、ラベルが線形スケール上にあると仮定して等級を数値として扱い、順序等級情報を活用できていません。
この論文では、順位付けのパフォーマンスと成績の予測パフォーマンスの両方が重要である、成績による順位付けの学習について厳密な研究を行います。
成績の非スカラー予測を使用してランキングを実行する方法についての正式な議論を提供し、ランキングと成績予測の両方を共同で最適化するための多目的定式化を提案します。
実験では、いくつかの公開データセットで、私たちの方法がランキングとグレード予測パフォーマンスの間のトレードオフのパレートフロンティアを押し上げることができることを検証し、序数グレード情報を活用する利点を示しています。

要約(オリジナル)

Graded labels are ubiquitous in real-world learning-to-rank applications, especially in human rated relevance data. Traditional learning-to-rank techniques aim to optimize the ranked order of documents. They typically, however, ignore predicting actual grades. This prevents them from being adopted in applications where grades matter, such as filtering out “poor” documents. Achieving both good ranking performance and good grade prediction performance is still an under-explored problem. Existing research either focuses only on ranking performance by not calibrating model outputs, or treats grades as numerical values, assuming labels are on a linear scale and failing to leverage the ordinal grade information. In this paper, we conduct a rigorous study of learning to rank with grades, where both ranking performance and grade prediction performance are important. We provide a formal discussion on how to perform ranking with non-scalar predictions for grades, and propose a multiobjective formulation to jointly optimize both ranking and grade predictions. In experiments, we verify on several public datasets that our methods are able to push the Pareto frontier of the tradeoff between ranking and grade prediction performance, showing the benefit of leveraging ordinal grade information.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google