Manifold-based Verbalizer Space Re-embedding for Tuning-free Prompt-based Classification

要約

プロンプトベースの分類では、[MASK] トークンを利用してタスクをクローゼ質問形式に適合させ、入力されたトークンは事前定義されたバーバライザーを通じてラベルにマッピングされます。
最近の研究では、このプロセスの労力を軽減するために言語化ツールの埋め込みの使用が検討されています。
ただし、既存のすべての研究では、事前トレーニングされたモデルまたは追加のトレーニング可能な埋め込みのいずれかに対する調整プロセスが必要です。
一方、表現空間には非線形多様体が存在する可能性があるため、高次元バーバライザー埋め込み間の距離はユークリッド距離で測定すべきではありません。
この研究では、言語化子埋め込みのための、クラス内近傍制約を伴うローカル線形埋め込み (LLE-INC) と呼ばれる、調整不要の多様体ベースの空間再埋め込み手法を提案します。これは、分類のガイダンスとして同じクラス内のローカル プロパティを保存します。
実験結果は、パラメータを調整しなくても、LLE-INC はパラメータを調整した自動言語化装置と同等であることを示しています。
また、パラメーターの更新により、私たちのアプローチはプロンプトベースのチューニングをさらに最大 3.2% 強化します。
さらに、LLaMA-7B&13B を使った実験では、LLE-INC がハイパースケール言語モデルに対する効率的なチューニング不要の分類アプローチであることが示されています。

要約(オリジナル)

Prompt-based classification adapts tasks to a cloze question format utilizing the [MASK] token and the filled tokens are then mapped to labels through pre-defined verbalizers. Recent studies have explored the use of verbalizer embeddings to reduce labor in this process. However, all existing studies require a tuning process for either the pre-trained models or additional trainable embeddings. Meanwhile, the distance between high-dimensional verbalizer embeddings should not be measured by Euclidean distance due to the potential for non-linear manifolds in the representation space. In this study, we propose a tuning-free manifold-based space re-embedding method called Locally Linear Embedding with Intra-class Neighborhood Constraint (LLE-INC) for verbalizer embeddings, which preserves local properties within the same class as guidance for classification. Experimental results indicate that even without tuning any parameters, our LLE-INC is on par with automated verbalizers with parameter tuning. And with the parameter updating, our approach further enhances prompt-based tuning by up to 3.2%. Furthermore, experiments with the LLaMA-7B&13B indicate that LLE-INC is an efficient tuning-free classification approach for the hyper-scale language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google