Zero-Shot Robustification of Zero-Shot Models With Foundation Models

要約

ゼロショット推論は、追加のトレーニングを行わずに、下流の分類タスクに大規模な事前トレーニング済みモデルの使用を可能にする強力なパラダイムです。
ただし、これらのモデルは、パフォーマンスに影響を与える可能性がある継承されたバイアスに対して脆弱です。
従来のソリューションは微調整ですが、これでは、すぐに使用できるという事前トレーニング済みモデルの重要な利点が損なわれてしまいます。
私たちは、完全ゼロショット方式で事前トレーニング済みモデルの埋め込みの堅牢性を向上させる手法である RoboShot を提案します。
まず、ゼロショット言語モデル (LM) を使用して、タスクの説明から有用な洞察を取得します。
これらの洞察は埋め込まれ、監視なしで埋め込み内の有害なコンポーネントを削除したり有用なコンポーネントを強化したりするために使用されます。
理論的には、ゼロショット埋め込みのバイアスに対するシンプルで扱いやすいモデルを提供し、どのような条件下で私たちのアプローチがパフォーマンスを向上させることができるかを特徴付ける結果を与えます。
経験的に、9 つの画像および NLP 分類タスクでロボショットを評価したところ、いくつかのゼロショット ベースラインと比較して平均 15.98% の改善が見られました。
さらに、ロボショットがさまざまな事前トレーニング済みおよび言語モデルと互換性があることを実証します。

要約(オリジナル)

Zero-shot inference is a powerful paradigm that enables the use of large pretrained models for downstream classification tasks without further training. However, these models are vulnerable to inherited biases that can impact their performance. The traditional solution is fine-tuning, but this undermines the key advantage of pretrained models, which is their ability to be used out-of-the-box. We propose RoboShot, a method that improves the robustness of pretrained model embeddings in a fully zero-shot fashion. First, we use zero-shot language models (LMs) to obtain useful insights from task descriptions. These insights are embedded and used to remove harmful and boost useful components in embeddings — without any supervision. Theoretically, we provide a simple and tractable model for biases in zero-shot embeddings and give a result characterizing under what conditions our approach can boost performance. Empirically, we evaluate RoboShot on nine image and NLP classification tasks and show an average improvement of 15.98% over several zero-shot baselines. Additionally, we demonstrate that RoboShot is compatible with a variety of pretrained and language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google