Towards Fair In-Context Learning with Tabular Foundation Models

要約

表形式の基礎モデルは、構造化データに強力なコンテキスト学習（ICL）機能を示しており、トレーニングの例をコンテキストとして使用して、パラメーターの更新なしでテストセットで正確な予測を行うことができます。
この新たなアプローチは、従来のグラデーションブーストツリーメソッドの競争力のある代替手段として位置付けられています。
ただし、従来の機械学習モデルのバイアスは十分に文書化されていますが、これらのバイアスが表形式のICLにどのように現れるかは不明のままです。
このペーパーでは、表形式のICLの公平性への影響を調査し、相関除去、グループバランスの取れたデモの選択、不確実性ベースのデモンストレーション選択 – 対処バイアスの3つの前処理戦略を調査します。
包括的な実験は、不確実性に基づくデモンストレーション選択が、コンテキスト内予測のグループ公平性を一貫して強化することを示しています。
この作業の結果を再現するためのソースコードは、https：//github.com/patrikken/fair-tabiclにあります。

要約(オリジナル)

Tabular foundational models have exhibited strong in-context learning (ICL) capabilities on structured data, allowing them to make accurate predictions on test sets without parameter updates, using training examples as context. This emerging approach positions itself as a competitive alternative to traditional gradient-boosted tree methods. However, while biases in conventional machine learning models are well documented, it remains unclear how these biases manifest in tabular ICL. The paper investigates the fairness implications of tabular ICL and explores three preprocessing strategies–correlation removal, group-balanced demonstration selection, and uncertainty-based demonstration selection–to address bias. Comprehensive experiments indicate that uncertainty-based demonstration selection consistently enhances group fairness of in-context predictions. The source code for reproducing the results of this work can be found at https://github.com/patrikken/Fair-TabICL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google