Dual Risk Minimization: Towards Next-Level Robustness in Fine-tuning Zero-Shot Models

要約

基礎モデルを微調整すると、分布の変化に対する堅牢性が損なわれることがよくあります。
これを解決するために、最も堅牢な微調整方法は、事前トレーニングされた特徴を保存することを目的としています。
ただし、すべての事前トレーニングされた特徴が堅牢であるわけではなく、これらの方法はどの特徴を保持するかにはほとんど関係ありません。
私たちは、経験に基づくリスクの最小化と最悪の場合のリスクの最小化を組み合わせたデュアル リスク最小化 (DRM) を提案し、下流のタスクの中核機能をより適切に保持します。
特に、LLM によって生成されたコア機能の記述を利用して、コアベースのゼロショット予測を誘導し、それが最悪の場合のリスクを推定するための代理として機能します。
DRM は、モデルの堅牢性の 2 つの重要な側面、つまり期待されるパフォーマンスと最悪の場合のパフォーマンスのバランスをとり、現実世界のさまざまなベンチマークで最先端の技術を確立します。
DRM は、ImageNet (75.9 から 77.1)、WILDS-iWildCam (47.1 から 51.8)、および WILDS-FMoW (50.7 から 53.1) での CLIP ViT-L/14@336 の配布外パフォーマンスを大幅に向上させます。
堅牢な微調整のための新しい道を切り開きます。
私たちのコードは https://github.com/vaynexie/DRM で入手できます。

要約(オリジナル)

Fine-tuning foundation models often compromises their robustness to distribution shifts. To remedy this, most robust fine-tuning methods aim to preserve the pre-trained features. However, not all pre-trained features are robust and those methods are largely indifferent to which ones to preserve. We propose dual risk minimization (DRM), which combines empirical risk minimization with worst-case risk minimization, to better preserve the core features of downstream tasks. In particular, we utilize core-feature descriptions generated by LLMs to induce core-based zero-shot predictions which then serve as proxies to estimate the worst-case risk. DRM balances two crucial aspects of model robustness: expected performance and worst-case performance, establishing a new state of the art on various real-world benchmarks. DRM significantly improves the out-of-distribution performance of CLIP ViT-L/14@336 on ImageNet (75.9 to 77.1), WILDS-iWildCam (47.1 to 51.8), and WILDS-FMoW (50.7 to 53.1); opening up new avenues for robust fine-tuning. Our code is available at https://github.com/vaynexie/DRM .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google