Explainable LLM-driven Multi-dimensional Distillation for E-Commerce Relevance Learning

要約

効果的なクエリ項目関連性モデリングは、電子商取引検索システムにおけるユーザー エクスペリエンスを向上させ、ユーザーの満足度を保護するために極めて重要です。
最近、大規模言語モデル (LLM) アプローチは、固有の膨大な知識の恩恵を受けて、以前のニューラルベースの特殊な関連性学習方法と比較して、強力なパフォーマンスとロングテール汎化能力を実証しています。
現在の LLM ベースの手法は有望ではありますが、実際には次のような不十分な点に直面しています。 まず、膨大なパラメーターと計算要求があるため、オンラインでの展開が困難です。
第 2 に、LLM モデルをオンライン モデルに抽出することは実現可能な方向ですが、LLM 関連性モデリングはブラック ボックスであり、その豊富な固有の知識をオンラインで抽出して適用するのは困難です。
LLM の解釈可能性を向上させ、LLM を介したオンライン関連性モデルのパフォーマンスを向上させるために、電子商取引関連性学習のための Explainable LLM 主導の多次元蒸留フレームワークを提案します。このフレームワークは、2 つのコア コンポーネントで構成されます。 (1) 関連性のための Explainable LLM
モデリング (ELLM-rele)。関連性学習を中間ステップに分解し、関連性学習を思考連鎖 (CoT) 推論としてモデル化することで、解釈可能性と
LLMのパフォーマンス。
(2) 関連性スコア分布と CoT 推論の両方の側面から、ELLM の知識を現在展開可能な対話ベースおよび表現ベースの学生モデルに転送する多次元知識蒸留 (MKD) アーキテクチャ。
MKD は、確率的および CoT 推論の知識を抽出することにより、学生モデルの意味論的な相互作用とロングテール一般化能力の両方を向上させます。
タオバオ検索広告シーンにおける広範なオフライン評価とオンライン実験により、私たちが提案したフレームワークが電子商取引関連性の学習パフォーマンスとユーザーエクスペリエンスを大幅に向上させることが実証されました。

要約(オリジナル)

Effective query-item relevance modeling is pivotal for enhancing user experience and safeguarding user satisfaction in e-commerce search systems. Recently, benefiting from the vast inherent knowledge, Large Language Model (LLM) approach demonstrates strong performance and long-tail generalization ability compared with previous neural-based specialized relevance learning methods. Though promising, current LLM-based methods encounter the following inadequacies in practice: First, the massive parameters and computational demands make it difficult to be deployed online. Second, distilling LLM models to online models is a feasible direction, but the LLM relevance modeling is a black box, and its rich intrinsic knowledge is difficult to extract and apply online. To improve the interpretability of LLM and boost the performance of online relevance models via LLM, we propose an Explainable LLM-driven Multi-dimensional Distillation framework for e-commerce relevance learning, which comprises two core components: (1) An Explainable LLM for relevance modeling (ELLM-rele), which decomposes the relevance learning into intermediate steps and models relevance learning as a Chain-of-Thought (CoT) reasoning, thereby enhancing both interpretability and performance of LLM. (2) A Multi-dimensional Knowledge Distillation (MKD) architecture that transfers the knowledge of ELLM-rele to current deployable interaction-based and representation-based student models from both the relevance score distribution and CoT reasoning aspects. Through distilling the probabilistic and CoT reasoning knowledge, MKD improves both the semantic interaction and long-tail generalization abilities of student models. Extensive offline evaluations and online experiments on Taobao search ad scene demonstrate that our proposed framework significantly enhances e-commerce relevance learning performance and user experience.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google