POUF: Prompt-oriented unsupervised fine-tuning for large pre-trained models

要約

タイトル：POUF：Prompt-oriented unsupervised fine-tuning for large pre-trained models
要約：
– 大規模な事前学習モデルにはゼロショットを持つものがありますが、一般的には下流のタスクに適応するためにラベル付きデータが必要です。
– この限界を克服するために、ラベルのないターゲットデータでモデルまたはプロンプトを直接微調整する無監督微調整フレームワークを提案します。
– プロントから抽出された離散分布とターゲットデータの分布を整合することによって、言語による視覚化とマスク言語モデルの両方に私たちの方法を適用する方法を実証しています。
– 13の画像関連タスクと15の言語関連タスクで、提案手法はベースラインよりも一貫して改善を達成することが示されました。

要約(オリジナル)

Through prompting, large-scale pre-trained models have become more expressive and powerful, gaining significant attention in recent years. Though these big models have zero-shot capabilities, in general, labeled data are still required to adapt them to downstream tasks. To overcome this critical limitation, we propose an unsupervised fine-tuning framework to directly fine-tune the model or prompt on the unlabeled target data. We demonstrate how to apply our method to both language-augmented vision and masked-language models by aligning the discrete distributions extracted from the prompts and target data. To verify our approach’s applicability, we conduct extensive experiments on image classification, sentiment analysis, and natural language inference tasks. Across 13 image-related tasks and 15 language-related ones, the proposed approach achieves consistent improvements over the baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI