What explains the success of cross-modal fine-tuning with ORCA?

要約

ORCA (Shen et al.、2023) は、クロスモーダル微調整のための最近の技術です。つまり、事前トレーニングされたトランスフォーマー モデルをトレーニング データを超えてモダリティに適用します。
この手法は主に、エンベッダーのトレーニングと、エンベッダーとモデルの微調整で構成されます。
さまざまな下流タスクで高いパフォーマンスを発揮するにもかかわらず、これらの各コンポーネントが ORCA の成功にどのように貢献しているのかは正確には理解されていません。
したがって、一連のアブレーションを実行したところ、元の論文の主張に反して、エンベッダー トレーニングが 2D タスクにはまったく役に立たないことがわかりました。
1D タスクでは、ある程度のエンベッダー トレーニングが必要ですが、多ければ多いほど良いというわけではありません。
私たちが実験した 6 つのデータセットのうち 4 つでは、最大の違いを生むのはモデルの微調整です。
アブレーションとベースラインを通じて、私たちは ORCA の個々のコンポーネントのより良い理解に貢献します。

要約(オリジナル)

ORCA (Shen et al., 2023) is a recent technique for cross-modal fine-tuning, i.e., applying pre-trained transformer models to modalities beyond their training data. The technique consists primarily of training an embedder and fine-tuning the embedder and model. Despite its high performance on a variety of downstream tasks, we do not understand precisely how each of these components contribute to ORCA’s success. Therefore, we run a series of ablations and find that embedder training does not help 2D tasks at all, contrary to what the original paper posits. In 1D tasks, some amount of embedder training is necessary but more is not better. In 4 out of 6 datasets we experiment with, it is model fine-tuning that makes the biggest difference. Through our ablations and baselines, we contribute a better understanding of the individual components of ORCA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google