MA4DIV: Multi-Agent Reinforcement Learning for Search Result Diversification

要約

検索結果の多様化（SRD）は、ランキングリストのドキュメントが幅広いサブトピックをカバーすることを保証することを目的としており、情報検索とWeb検索で重要かつ広く研究されている問題です。
既存の方法は、主に「貪欲な選択」のパラダイムを利用します。つまり、一度に最高の多様性スコアを持つ1つのドキュメントを選択するか、目的関数の近似を最適化します。
これらのアプローチは非効率的である傾向があり、最適ではない状態に簡単に閉じ込められます。
これらの課題に対処するために、MA4DIVと呼ばれる検索結果の多様性のためにマルチエージェント強化学習（MARL）を紹介します。
このアプローチでは、各ドキュメントはエージェントであり、検索結果の多様化は複数のエージェント間の協同タスクとしてモデル化されています。
SRDランキングの問題を協同組合のMARL問題としてモデル化することにより、このアプローチにより、$ \ alpha $ -NDCGなどの多様性メトリックを直接最適化し、高いトレーニング効率を達成します。
公開TRECデータセットで実験と、産業環境で大規模なデータセットを実施しました。
経験界は、MA4DIVが既存のベースライン、特に産業データセットよりも有効性と効率の両方を大幅に改善していることを示しています。
MA4DIVのコードは、https：//github.com/chenyiqun/ma4divで見ることができます。

要約(オリジナル)

Search result diversification (SRD), which aims to ensure that documents in a ranking list cover a broad range of subtopics, is a significant and widely studied problem in Information Retrieval and Web Search. Existing methods primarily utilize a paradigm of ‘greedy selection’, i.e., selecting one document with the highest diversity score at a time or optimize an approximation of the objective function. These approaches tend to be inefficient and are easily trapped in a suboptimal state. To address these challenges, we introduce Multi-Agent reinforcement learning (MARL) for search result DIVersity, which called MA4DIV. In this approach, each document is an agent and the search result diversification is modeled as a cooperative task among multiple agents. By modeling the SRD ranking problem as a cooperative MARL problem, this approach allows for directly optimizing the diversity metrics, such as $\alpha$-NDCG, while achieving high training efficiency. We conducted experiments on public TREC datasets and a larger scale dataset in the industrial setting. The experiemnts show that MA4DIV achieves substantial improvements in both effectiveness and efficiency than existing baselines, especially on the industrial dataset. The code of MA4DIV can be seen on https://github.com/chenyiqun/MA4DIV.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google