Fine-grained large-scale content recommendations for MSX sellers

要約

Microsoft 販売者の最も重要なタスクの 1 つは、プロアクティブな取り組みとカスタマイズされたソリューションを通じて、潜在的なビジネス チャンスを細心の注意を払って追跡し、育成することです。
レコメンダー システムは、販売者の目標達成を支援する中心的な役割を果たします。
このペーパーでは、販売者が顧客と共有したり、自己学習に使用したりできるさまざまなタイプのコンテンツ (技術文書、競合製品との比較、顧客の成功事例など) を表面化するコンテンツ推奨モデルを紹介します。
このモデルは、可能な限り低い粒度であり、売り手にとって最も関連性の高い機会レベルで動作します。
これは、コンテンツのメタデータと慎重に選択された機会の属性との間のセマンティック マッチングに基づいています。
Microsoft などの組織における販売者が管理する商談の量を考慮して、非常に多くの商談とコンテンツの組み合わせに対して効率的なセマンティック マッチングを実行する方法を示します。
主な課題は、合計 $\約 40,000 ドルの公開コンテンツの中から、各機会に関連する上位 5 つのコンテンツが確実に推奨されるようにすることです。
私たちは、さまざまなモデル アーキテクチャを徹底的に比較し、機能を選択することでこの目標を達成します。
最後に、人間の領域の専門家の組み合わせと、最近提案された「裁判官としてのLLM」フレームワークを使用して、定量的な方法で推奨事項の品質をさらに検査します。

要約(オリジナル)

One of the most critical tasks of Microsoft sellers is to meticulously track and nurture potential business opportunities through proactive engagement and tailored solutions. Recommender systems play a central role to help sellers achieve their goals. In this paper, we present a content recommendation model which surfaces various types of content (technical documentation, comparison with competitor products, customer success stories etc.) that sellers can share with their customers or use for their own self-learning. The model operates at the opportunity level which is the lowest possible granularity and the most relevant one for sellers. It is based on semantic matching between metadata from the contents and carefully selected attributes of the opportunities. Considering the volume of seller-managed opportunities in organizations such as Microsoft, we show how to perform efficient semantic matching over a very large number of opportunity-content combinations. The main challenge is to ensure that the top-5 relevant contents for each opportunity are recommended out of a total of $\approx 40,000$ published contents. We achieve this target through an extensive comparison of different model architectures and feature selection. Finally, we further examine the quality of the recommendations in a quantitative manner using a combination of human domain experts as well as by using the recently proposed ‘LLM as a judge’ framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google