Improved Content Understanding With Effective Use of Multi-task Contrastive Learning

要約

LinkedIn のコア コンテンツ推奨モデルを強化する場合、意味理解能力を向上させることが大きな課題となります。
この論文では、さまざまな分野で有望な方法であるマルチタスク学習を活用して、この問題に対処します。
さまざまなセマンティック ラベリング タスクからのデータを使用したマルチタスク対比学習を使用して、事前トレーニング済みのトランスフォーマー ベースの LLM を微調整します。
それぞれのタスクを個別にトレーニングする場合と比較して、すべてのタスクにわたって優れたパフォーマンスをもたらすポジティブな転移が観察されています。
私たちのモデルは、ゼロショット学習のベースラインを上回り、改善された多言語サポートを提供し、より広範な応用の可能性を強調しています。
私たちのモデルによって生成された特殊なコンテンツ エンベディングは、Linkedin データセットおよびタスクに対して OpenAI によって提供される一般化されたエンベディングよりも優れたパフォーマンスを発揮します。
この作業により、LinkedIn 全体の垂直チームが特定のアプリケーションに合わせて LLM をカスタマイズおよび微調整するための堅牢な基盤が提供されます。
私たちの取り組みは、この分野の構築に役立つ洞察とベスト プラクティスを提供します。

要約(オリジナル)

In enhancing LinkedIn core content recommendation models, a significant challenge lies in improving their semantic understanding capabilities. This paper addresses the problem by leveraging multi-task learning, a method that has shown promise in various domains. We fine-tune a pre-trained, transformer-based LLM using multi-task contrastive learning with data from a diverse set of semantic labeling tasks. We observe positive transfer, leading to superior performance across all tasks when compared to training independently on each. Our model outperforms the baseline on zero shot learning and offers improved multilingual support, highlighting its potential for broader application. The specialized content embeddings produced by our model outperform generalized embeddings offered by OpenAI on Linkedin dataset and tasks. This work provides a robust foundation for vertical teams across LinkedIn to customize and fine-tune the LLM to their specific applications. Our work offers insights and best practices for the field to build on.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google