TwinTURBO: Semi-Supervised Fine-Tuning of Foundation Models via Mutual Information Decompositions for Downstream Task and Latent Spaces

要約

限られた量のラベル付きデータのトレーニングの課題に対処するために相互情報分解を利用する基礎モデルの半監視された微調整フレームワークを提示します。
私たちのアプローチは、2つの明確な下限を導き出します。i）分類などの下流タスク空間、条件付きおよび限界クロスエントロピーとともにカルバック繰り抜きの発散を使用して最適化され、ii）潜在的な空間表現、造影剤のような分解を使用して正規化および整列します。
この微調整戦略は、基礎モデルの事前に訓練された構造を保持し、小さな変圧器とトークン集約技術を含む特殊なプロジェクターモジュールのみを変更します。
いくつかのデータセットでの実験は、非標識データを効果的に活用することにより、非常に低ラベル条件下での分類タスクの大幅な改善を示しています。

要約(オリジナル)

We present a semi-supervised fine-tuning framework for foundation models that utilises mutual information decomposition to address the challenges of training for a limited amount of labelled data. Our approach derives two distinct lower bounds: i) for the downstream task space, such as classification, optimised using conditional and marginal cross-entropy alongside Kullback-Leibler divergence, and ii) for the latent space representation, regularised and aligned using a contrastive-like decomposition. This fine-tuning strategy retains the pre-trained structure of the foundation model, modifying only a specialised projector module comprising a small transformer and a token aggregation technique. Experiments on several datasets demonstrate significant improvements in classification tasks under extremely low-labelled conditions by effectively leveraging unlabelled data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google