Towards Unified Task Embeddings Across Multiple Models: Bridging the Gap for Prompt-Based Large Language Models and Beyond

要約

タスク埋め込みは、タスク固有の情報を取得するメタ学習手法であり、特にマルチタスク学習、モデル編集、解釈可能性などの分野で人気が高まっています。
しかし、勾配のない方法で動作するプロンプトガイド付き大規模言語モデル (LLM) の出現により、課題に直面しています。
既存のタスク埋め込み手法は、微調整されたタスク固有の言語モデルに依存しているため、多様なモデル、特にプロンプ​​トベースの LLM にわたるタスク埋め込みの適応性が妨げられています。
LLM の時代におけるタスク埋め込みの可能性を強化するために、単一のベクトル空間内で、より小さな言語モデルやさまざまなプロンプトを持つ LLM を含むさまざまなモデルからのタスク埋め込みを調和させる、統合タスク埋め込み (FUTE) のフレームワークを提案します。
このような均一性により、異なるモデル間の類似性の比較と分析が可能になり、アーキテクチャ固有の手法と同等のパフォーマンスを維持しながら、マルチモデル シナリオにおける既存のタスク埋め込み手法の範囲と実用性が広がります。

要約(オリジナル)

Task embedding, a meta-learning technique that captures task-specific information, has gained popularity, especially in areas such as multi-task learning, model editing, and interpretability. However, it faces challenges with the emergence of prompt-guided Large Language Models (LLMs) operating in a gradient-free manner. Existing task embedding methods rely on fine-tuned, task-specific language models, which hinders the adaptability of task embeddings across diverse models, especially prompt-based LLMs. To hardness the potential of task embeddings in the era of LLMs, we propose a framework for unified task embeddings (FUTE), harmonizing task embeddings from various models, including smaller language models and LLMs with varied prompts, within a single vector space. Such uniformity enables comparison and analysis of similarities amongst different models, broadening the scope and utility of existing task embedding methods in multi-model scenarios, while maintaining their performance comparable to architecture-specific methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google