OTTER: Improving Zero-Shot Classification via Optimal Transport

要約

人気のゼロショット モデルは、事前トレーニングから継承されたアーティファクトによって問題が発生します。
Web スケールの事前トレーニング データの不均衡によって引き起こされる特に有害なアーティファクトは、ラベル分布の不一致です。
ラベル分布を修復しようとする既存のアプローチは、ラベル付きの下流タスク データへのアクセスや、事前トレーニング分布における真のラベル バランスの知識など、互換性のない要件があるため、ゼロショット設定には適していません。
私たちはこれらの課題を回避し、最適なトランスポートを通じて事前トレーニングされたモデルの予測を調整するためのシンプルで軽量なアプローチを導入します。
私たちの手法では、下流タスクのラベル分布の推定のみが必要です。
理論的には、特定の穏やかな条件下での手順によってもたらされる改善を特徴付け、仕様の誤りによって引き起こされるエラーの限界を示します。
経験的に、さまざまなゼロショット画像およびテキスト分類タスクでメソッドを検証し、精度を平均 4.8% および 15.9% 向上させ、21 件中 17 件で事前照合などのベースラインを (多くの場合大幅なマージンで) 上回りました。
データセット。

要約(オリジナル)

Popular zero-shot models suffer due to artifacts inherited from pretraining. A particularly detrimental artifact, caused by unbalanced web-scale pretraining data, is mismatched label distribution. Existing approaches that seek to repair the label distribution are not suitable in zero-shot settings, as they have incompatible requirements such as access to labeled downstream task data or knowledge of the true label balance in the pretraining distribution. We sidestep these challenges and introduce a simple and lightweight approach to adjust pretrained model predictions via optimal transport. Our technique requires only an estimate of the label distribution of a downstream task. Theoretically, we characterize the improvement produced by our procedure under certain mild conditions and provide bounds on the error caused by misspecification. Empirically, we validate our method in a wide array of zero-shot image and text classification tasks, improving accuracy by 4.8% and 15.9% on average, and beating baselines like Prior Matching — often by significant margins — in 17 out of 21 datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google