Multi-Layer Ranking with Large Language Models for News Source Recommendation

要約

ニュースイベントの信頼できる情報源を探すために、専門家による推​​薦という新しいタスクを導入します。これは、以前に引用された発言に基づいて信頼できる情報源を特定することを目的としています。
これを達成するために、ニュース記事のコレクションから取得した 23,571 の引用と発言者のペアで構成される、NewsQuote と呼ばれる新しいデータセットを構築しました。
特定のクエリに関連する可能性に基づいて専門家を検索するという推奨タスクを定式化します。
また、推奨パフォーマンスを向上させるために、大規模言語モデルを採用した多層ランキング フレームワークも提案します。
私たちの結果は、インコンテキスト学習ベースの LLM ランカーと多層ランキングベースのフィルターを採用することで、レコメンダー システムの予測品質と動作品質の両方が大幅に向上することを示しています。

要約(オリジナル)

To seek reliable information sources for news events, we introduce a novel task of expert recommendation, which aims to identify trustworthy sources based on their previously quoted statements. To achieve this, we built a novel dataset, called NewsQuote, consisting of 23,571 quote-speaker pairs sourced from a collection of news articles. We formulate the recommendation task as the retrieval of experts based on their likelihood of being associated with a given query. We also propose a multi-layer ranking framework employing Large Language Models to improve the recommendation performance. Our results show that employing an in-context learning based LLM ranker and a multi-layer ranking-based filter significantly improve both the predictive quality and behavioural quality of the recommender system.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google