Continuous Prompt Generation from Linear Combination of Discrete Prompt Embeddings

要約

継続的なプロンプトの気まぐれな品質は、特に履歴書審査などの人間に敏感なタスクを自動化する大規模な言語モデルのコンテキストにおいて、予期せぬ予測不可能な動作がトレーニング後に現れるため、その解釈可能性の重要性を強調します。
この論文では、離散プロンプト埋め込みを介して連続プロンプトを構築する新しい方法を紹介し、連続プロンプトの解釈可能性と推論精度の改善を評価します。
手動で設計された一連の離散プロンプト $\mathcal{D}$ について、それぞれをトークン化してテンソル形式に埋め込み、これらのプロンプトの線形結合が自然言語理解のより高いパフォーマンスに対応するように重みを予測するモデルをトレーニングします。
タスク。

要約(オリジナル)

The wayward quality of continuous prompts stresses the importance of their interpretability as unexpected and unpredictable behaviors appear following training, especially in the context of large language models automating people-sensitive tasks such as resume screening. In this paper we present a novel method of constructing continuous prompts via discrete prompt embeddings and evaluate improvements to continuous prompt interpretability and inference accuracy. For a set of manually designed discrete prompts $\mathcal{D}$, which we tokenize and embed each into tensor form, we train a model to predict the weights such that the linear combinations of those prompts correspond to higher performance on natural language understanding tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google