Explicit and Implicit Semantic Ranking Framework

要約

多くの現実世界のアプリケーションにおける中心的な課題は、変更可能で有限な候補セットの中から、問い合わせを最適なドキュメントと照合することです。
既存の業界ソリューション、特に遅延に制約のあるサービスは、速度のために品質を犠牲にする類似性アルゴリズムに依存していることがよくあります。
この論文では、一般的なセマンティック学習からランク付けのフレームワークであるセルフトレーニング セマンティック クロスアテンション ランキング (sRank) を紹介します。
このトランスフォーマー ベースのフレームワークは、変更可能なトレーニング バッチ サイズで線形ペアワイズ損失を使用し、品質の向上と高効率を実現します。また、実際の大規模なデータ セットに対する Microsoft の 2 つの業界タスクの利益を示すために効果的に適用されています: Smart Reply (SR)
) およびアンビエント臨床インテリジェンス (ACI)。
Smart Reply では、sRank は、消費者およびサポート エージェントのメッセージに基づいて、事前定義されたソリューションから最適な返信を選択することで、実際の顧客のテクニカル サポートを支援します。
以前のシステムと比較して、SR タスクのオフライン トップ 1 精度で 11.7% の向上を達成し、2021 年 1 月の一般リリース以来記録されたテレメトリのメッセージ作成時間を 38.7% 削減できました。ACI タスクでは、sRank が関連する履歴データを選択します。
高品質の医療メモを生成するためのテキスト要約モデルのガイダンスとして機能する医師テンプレート。
生成された医療ノートでは、トップ 1 精度が 35.5% 向上し、ROUGE-L が相対的に 46% 向上しました。

要約(オリジナル)

The core challenge in numerous real-world applications is to match an inquiry to the best document from a mutable and finite set of candidates. Existing industry solutions, especially latency-constrained services, often rely on similarity algorithms that sacrifice quality for speed. In this paper we introduce a generic semantic learning-to-rank framework, Self-training Semantic Cross-attention Ranking (sRank). This transformer-based framework uses linear pairwise loss with mutable training batch sizes and achieves quality gains and high efficiency, and has been applied effectively to show gains on two industry tasks at Microsoft over real-world large-scale data sets: Smart Reply (SR) and Ambient Clinical Intelligence (ACI). In Smart Reply, sRank assists live customers with technical support by selecting the best reply from predefined solutions based on consumer and support agent messages. It achieves 11.7% gain in offline top-one accuracy on the SR task over the previous system, and has enabled 38.7% time reduction in composing messages in telemetry recorded since its general release in January 2021. In the ACI task, sRank selects relevant historical physician templates that serve as guidance for a text summarization model to generate higher quality medical notes. It achieves 35.5% top-one accuracy gain, along with 46% relative ROUGE-L gain in generated medical notes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google