ICL Markup: Structuring In-Context Learning using Soft-Token Tags

要約

大規模な事前トレーニング済み言語モデル (LLM) は、命令と入力が自然言語でモデルに供給されるテキストツーテキストのアプローチを通じて、さまざまなタスクに迅速に適応できます。
インコンテキスト学習 (ICL) と組み合わせると、このパラダイムは驚くほど柔軟で強力になります。
ただし、ユーザーには圧倒的な数の選択肢があり、その多くは恣意的なものであるという負担も負っています。
HTML などのマークアップ言語からインスピレーションを得て、ソフト トークン タグを使用してプロンプト テンプレートを作成する方法を提供します。
このアプローチにより、恣意的な決定が減り、ICL の適用が合理化されます。
私たちの方法は、ICL のメタ学習の一種です。
パラメータ効率の高い微調整「ウォームアップ」プロセス中に、これらのタグを事前に学習します。
その後、このタグは、追加の微調整を行わずに、新しい未確認のタスクの ICL のテンプレートで使用できます。
このアプローチを用いた実験では、有望な初期結果が得られ、ニュースや法律分野でのテキスト分類だけでなく、少数ショットやオープンワールドの意図検出などの重要なエンタープライズ アプリケーションで LLM のパフォーマンスが向上しました。

要約(オリジナル)

Large pretrained language models (LLMs) can be rapidly adapted to a wide variety of tasks via a text-to-text approach, where the instruction and input are fed to the model in natural language. Combined with in-context learning (ICL), this paradigm is impressively flexible and powerful. However, it also burdens users with an overwhelming number of choices, many of them arbitrary. Inspired by markup languages like HTML, we contribute a method of using soft-token tags to compose prompt templates. This approach reduces arbitrary decisions and streamlines the application of ICL. Our method is a form of meta-learning for ICL; it learns these tags in advance during a parameter-efficient fine-tuning “warm-up” process. The tags can subsequently be used in templates for ICL on new, unseen tasks without any additional fine-tuning. Our experiments with this approach yield promising initial results, improving LLM performance on important enterprise applications such as few-shot and open-world intent detection, as well as text classification in news and legal domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google