On Finetuning Tabular Foundation Models

要約

基礎モデルは、表形式の深い学習における新たな研究方向です。
特に、TABPFNV2は最近、モデルパラメーターをターゲットデータセットに適応させないコンテキスト学習パラダイムを使用して、小規模データセットで従来のGBDTベースの方法よりも優れたパフォーマンスを主張しました。
ただし、表形式の基礎モデルを適応させるための最適な微調整アプローチ、およびこの適応が内部メカニズムをどのように再形成するかは、露出度が低いままです。
以前の作品は以前の基礎モデルの微調整を研究しましたが、一貫性のない調査結果とTabpFNV2のユニークなアーキテクチャは、新たな調査を必要とします。
これらの質問に対処するために、最初に多様なデータセットでさまざまな微調整戦略を体系的に評価します。
私たちの調査結果は、時間効率と有効性の観点からTABPFNV2の最も実用的なソリューションとして完全な微調整を確立しています。
次に、FinetuningがTabpfnv2の内部メカニズムをどのように変化させ、検索モデルに類似しているかを調査します。
微調整の成功は、勾配ベースの適応後、テストオブジェクトのクエリ表現のDOT積と、コンテキスト内トレーニングオブジェクトのキー表現がターゲットの類似性をより正確に反映しているという事実に由来することを明らかにします。
これにより類似性が改善されると、Finetuned TabpFNV2は、関連するコンテキスト内サンプルを適切に重み付けし、検索ベースの予測ロジックを改善することにより、ターゲット依存性をより適切に近似できます。
実用的な観点から、最大50Kオブジェクトを持つデータセットでTabpfnv2を獲得することができ、ほぼすべてのタスクでパフォーマンスの改善を観察しました。
より正確には、I.I.D。を使用したアカデミックデータセットについて
スプリット、Finetuningを使用すると、Tabpfnv2は最先端の結果を達成できますが、段階的な時間的シフトとリッチ機能セットを備えたデータセットでは、TabpFNV2は安定性が低く、以前の方法はより良くなります。

要約(オリジナル)

Foundation models are an emerging research direction in tabular deep learning. Notably, TabPFNv2 recently claimed superior performance over traditional GBDT-based methods on small-scale datasets using an in-context learning paradigm, which does not adapt model parameters to target datasets. However, the optimal finetuning approach for adapting tabular foundational models, and how this adaptation reshapes their internal mechanisms, remains underexplored. While prior works studied finetuning for earlier foundational models, inconsistent findings and TabPFNv2’s unique architecture necessitate fresh investigation. To address these questions, we first systematically evaluate various finetuning strategies on diverse datasets. Our findings establish full finetuning as the most practical solution for TabPFNv2 in terms of time-efficiency and effectiveness. We then investigate how finetuning alters TabPFNv2’s inner mechanisms, drawing an analogy to retrieval-augmented models. We reveal that the success of finetuning stems from the fact that after gradient-based adaptation, the dot products of the query-representations of test objects and the key-representations of in-context training objects more accurately reflect their target similarity. This improved similarity allows finetuned TabPFNv2 to better approximate target dependency by appropriately weighting relevant in-context samples, improving the retrieval-based prediction logic. From the practical perspective, we managed to finetune TabPFNv2 on datasets with up to 50K objects, observing performance improvements on almost all tasks. More precisely, on academic datasets with I.I.D. splits, finetuning allows TabPFNv2 to achieve state-of-the-art results, while on datasets with gradual temporal shifts and rich feature sets, TabPFNv2 is less stable and prior methods remain better.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google