EquiTabPFN: A Target-Permutation Equivariant Prior Fitted Networks

要約

TABPFNなどの表形式データの最近の基礎モデルは、コンテキスト学習を通じて新しいタスクに適応する際の顕著な有効性を実証しています。
ただし、これらのモデルは重要な等寛容の特性を見落としています。ターゲット寸法の任意の順序付けは、モデルの予測に影響を与えてはなりません。
この研究では、この監視は、予測に不安定性をもたらす等変容ギャップと呼ばれる非圧縮エラーの原因として特定します。
これらの問題を緩和するために、出力寸法全体に等量を維持するように設計された新しいモデルを提案します。
実験結果は、提案されたモデルがこれらの落とし穴に効果的に対処するだけでなく、競争力のあるベンチマークパフォーマンスを達成することを示しています。

要約(オリジナル)

Recent foundational models for tabular data, such as TabPFN, have demonstrated remarkable effectiveness in adapting to new tasks through in-context learning. However, these models overlook a crucial equivariance property: the arbitrary ordering of target dimensions should not influence model predictions. In this study, we identify this oversight as a source of incompressible error, termed the equivariance gap, which introduces instability in predictions. To mitigate these issues, we propose a novel model designed to preserve equivariance across output dimensions. Our experimental results indicate that our proposed model not only addresses these pitfalls effectively but also achieves competitive benchmark performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google