Establishing Linear Surrogate Regret Bounds for Convex Smooth Losses via Convolutional Fenche-Young Losses

投稿日: 2025年5月15日 作成者: jarxiv

要約

代理の後悔の境界は、サロゲート損失の収束率とターゲット損失の間のギャップを橋渡しします。
特に、効率的な推定と最適化により、凸状の滑らかなサロゲート損失は魅力的ですが、滑らかさと線形後悔の拘束力の間のトレードオフの存在は、コミュニティで信じられています。
そうは言っても、凸滑らかなサロゲート損失のより良い最適化と推定特性は、ターゲット損失への後悔の転送を受けた後、必然的に悪化する可能性があります。
凸状の滑らかな代理損失を構築することにより、任意の離散ターゲット損失のこのジレンマを克服します。
この構造は、一般化されたネグレントピーとターゲットベイズリスクの任意の畳み込みに相当する、畳み込み負の畳み込みによって生成されるフェンチェルヨンの損失に基づいています。
その結果、INFIMALの畳み込みにより、代理の後悔の縛られた線形を維持しながら、スムーズな損失を導き出すことができます。
さらに、INFIMAL畳み込みの恩恵を受けて、基礎となるクラスの確率の一貫した推定器を持つことができます。
私たちの結果は、全体的に、凸分析が最適化とリスク最小化の統計的効率にどのように浸透するかを示す新しいデモンストレーションです。

要約(オリジナル)

Surrogate regret bounds bridge the gap between the convergence rates of surrogate and target losses, with linear bounds favorable for their lossless regret transfer. While convex smooth surrogate losses are appealing in particular due to the efficient estimation and optimization, the existence of a trade-off between the smoothness and linear regret bound has been believed in the community. That being said, the better optimization and estimation properties of convex smooth surrogate losses may inevitably deteriorate after undergoing the regret transfer onto a target loss. We overcome this dilemma for arbitrary discrete target losses by constructing a convex smooth surrogate loss, which entails a linear surrogate regret bound composed with a tailored prediction link. The construction is based on Fenchel-Young losses generated by the convolutional negentropy, which are equivalent to the infimal convolution of a generalized negentropy and the target Bayes risk. Consequently, the infimal convolution enables us to derive a smooth loss while maintaining the surrogate regret bound linear. We additionally benefit from the infimal convolution to have a consistent estimator of the underlying class probability. Our results are overall a novel demonstration of how convex analysis penetrates into optimization and statistical efficiency in risk minimization.

arxiv情報

著者 Yuzhou Cao,Han Bao,Lei Feng,Bo An
発行日 2025-05-14 14:37:32+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Establishing Linear Surrogate Regret Bounds for Convex Smooth Losses via Convolutional Fenche-Young Losses はコメントを受け付けていません

Considerations in the use of ML interaction potentials for free energy calculations

投稿日: 2025年5月15日 作成者: jarxiv

要約

機械学習力フィールド（MLFF）は、計算効率が改善されたAB Initioレベルでの分子のポテンシャルエネルギー表面を正確に記述することを約束します。
MLFF内では、Equivariant Graph Neural Networks（EQNNS）は、正確性とパフォーマンスに大きな可能性を示しており、この作業の焦点です。
自由エネルギー表面（FES）を回復するEQNNの能力は、まだ徹底的に調査されていない。
この作業では、ブタンおよびアラニンジペプチド（ADP）のFESを予測するEQNNSの精度に関するトレーニングデータ内の集合変数（CVS）分布の影響を調査します。
一般化可能なワークフローが提示され、トレーニング構成は古典的な分子動力学シミュレーションで生成され、AB initio計算でエネルギーと力が得られます。
トレーニングデータの結合と角度の制約が、理論の古典的およびAB initioレベルの両方で分子のFESを再現する際のEQNN力場の精度にどのように影響するかを評価します。
結果は、トレーニングデータにシステムのFESの特性領域からの構成が含まれていることを考えると、トレーニング中のサンプルCVSの分布によってモデルの精度が影響を受けないことを示しています。
ただし、トレーニングデータが古典的なシミュレーションから取得されると、EQNNは、自由エネルギーの高い構成の自由エネルギーを外挿するのに苦労しています。
対照的に、AB Initioデータで同じ構成でトレーニングされたモデルは、外挿の精度が向上したことを示しています。
調査結果は、eqNNSの包括的なトレーニングデータセットを作成して、FESSを予測し、システムのFESの事前知識の重要性を強調することの難しさを強調しています。

要約(オリジナル)

Machine learning force fields (MLFFs) promise to accurately describe the potential energy surface of molecules at the ab initio level of theory with improved computational efficiency. Within MLFFs, equivariant graph neural networks (EQNNs) have shown great promise in accuracy and performance and are the focus of this work. The capability of EQNNs to recover free energy surfaces (FES) remains to be thoroughly investigated. In this work, we investigate the impact of collective variables (CVs) distribution within the training data on the accuracy of EQNNs predicting the FES of butane and alanine dipeptide (ADP). A generalizable workflow is presented in which training configurations are generated with classical molecular dynamics simulations, and energies and forces are obtained with ab initio calculations. We evaluate how bond and angle constraints in the training data influence the accuracy of EQNN force fields in reproducing the FES of the molecules at both classical and ab initio levels of theory. Results indicate that the model’s accuracy is unaffected by the distribution of sampled CVs during training, given that the training data includes configurations from characteristic regions of the system’s FES. However, when the training data is obtained from classical simulations, the EQNN struggles to extrapolate the free energy for configurations with high free energy. In contrast, models trained with the same configurations on ab initio data show improved extrapolation accuracy. The findings underscore the difficulties in creating a comprehensive training dataset for EQNNs to predict FESs and highlight the importance of prior knowledge of the system’s FES.

arxiv情報

著者 Orlando A. Mendible,Jonathan K. Whitmer,Yamil J. Colón
発行日 2025-05-14 14:50:01+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cond-mat.mtrl-sci, cs.LG, physics.chem-ph | Considerations in the use of ML interaction potentials for free energy calculations はコメントを受け付けていません

Time Can Invalidate Algorithmic Recourse

投稿日: 2025年5月15日 作成者: jarxiv

要約

アルゴリズムリコース（AR）は、機械学習予測因子によって行われた不利な決定を覆すための実用的な手順をユーザーに提供することを目的としています。
ただし、これらのアクションは、多くの場合、実装に時間がかかります（例：学位を取得するには何年もかかる場合があります）、世界が進化するにつれてそれらの効果は異なる場合があります。
したがって、動的環境では有効なままである頼みを求めるのは自然です。
この論文では、因果関係のレンズを通して問題をキャストすることにより、時間の経過とともにアルゴリズムの頼みの堅牢性を研究します。
理論的および経験的に、（堅牢な）因果的なAR法は、世界が静止している場合を除いて、時間の経過とともに失敗する可能性があることを実証します。
さらに重要なことは、世界が完全に決定論的でない限り、反事実的なARを最適に解決することはできません。
これを説明するために、確率的プロセスに近似する推定器にアクセスできるという仮定の下で時間を明示的に説明する、時間ARのシンプルで効果的なアルゴリズムを提案します。
合成および現実的なデータセットのシミュレーションは、時間を考慮することで、データ分布の潜在的な傾向に対してより回復力のあるソリューションをどのように生成するかを示しています。

要約(オリジナル)

Algorithmic Recourse (AR) aims to provide users with actionable steps to overturn unfavourable decisions made by machine learning predictors. However, these actions often take time to implement (e.g., getting a degree can take years), and their effects may vary as the world evolves. Thus, it is natural to ask for recourse that remains valid in a dynamic environment. In this paper, we study the robustness of algorithmic recourse over time by casting the problem through the lens of causality. We demonstrate theoretically and empirically that (even robust) causal AR methods can fail over time, except in the — unlikely — case that the world is stationary. Even more critically, unless the world is fully deterministic, counterfactual AR cannot be solved optimally. To account for this, we propose a simple yet effective algorithm for temporal AR that explicitly accounts for time under the assumption of having access to an estimator approximating the stochastic process. Our simulations on synthetic and realistic datasets show how considering time produces more resilient solutions to potential trends in the data distribution.

arxiv情報

著者 Giovanni De Toni,Stefano Teso,Bruno Lepri,Andrea Passerini
発行日 2025-05-14 14:50:15+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CY, cs.LG | Time Can Invalidate Algorithmic Recourse はコメントを受け付けていません

Variational Rank Reduction Autoencoder

投稿日: 2025年5月15日 作成者: jarxiv

要約

決定論的ランク削減自動エンコーダー（RRAE）は、切り捨てられたSVDを適用することにより、潜在空間の正則化を建設することにより実施します。
この正規化により自動エンコーダーがより強力になりますが、それらを生成目的に使用することは、それらの決定論的な性質のために直感に反します。
一方、バリオン性自動エンコーダー（VAE）は、確率的潜在空間を学ぶことにより、生成能力でよく知られています。
このホワイトペーパーでは、RRAEとVAEの両方の利点を活用するモデルである、変分ランク削減オートエンコーダー（VRRAE）を紹介します。
私たちの主張と結果は、RRAEの潜在的な空間を慎重にサンプリングし、Kullback-Leibler（KL）Divergence（VAESと同様）とさらに正規化すると、VRRAESがRRAEとVAEを上回ることを示しています。
さらに、SVDによって誘発される正則化は、VAEよりもVRRAESを優れた発電機にするだけでなく、後部崩壊の可能性を減らすことを示しています。
私たちの結果には、崩壊に対するVRRAEの堅牢性を示す小さなサイズの合成データセットと、3つの実際のデータセットが含まれます。
Mnist、Celeba、およびCifar-10は、VRRAEがFIDスコアに基づいて多くのランダム生成および補間タスクでVAEとRRAEの両方を上回ることが示されています。

要約(オリジナル)

Deterministic Rank Reduction Autoencoders (RRAEs) enforce by construction a regularization on the latent space by applying a truncated SVD. While this regularization makes Autoencoders more powerful, using them for generative purposes is counter-intuitive due to their deterministic nature. On the other hand, Variational Autoencoders (VAEs) are well known for their generative abilities by learning a probabilistic latent space. In this paper, we present Variational Rank Reduction Autoencoders (VRRAEs), a model that leverages the advantages of both RRAEs and VAEs. Our claims and results show that when carefully sampling the latent space of RRAEs and further regularizing with the Kullback-Leibler (KL) divergence (similarly to VAEs), VRRAEs outperform RRAEs and VAEs. Additionally, we show that the regularization induced by the SVD not only makes VRRAEs better generators than VAEs, but also reduces the possibility of posterior collapse. Our results include a synthetic dataset of a small size that showcases the robustness of VRRAEs against collapse, and three real-world datasets; the MNIST, CelebA, and CIFAR-10, over which VRRAEs are shown to outperform both VAEs and RRAEs on many random generation and interpolation tasks based on the FID score.

arxiv情報

著者 Jad Mounayer,Alicia Tierz,Jerome Tomezyk,Chady Ghnatios,Francisco Chinesta
発行日 2025-05-14 15:08:28+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Variational Rank Reduction Autoencoder はコメントを受け付けていません

Accelerating Multiscale Modeling with Hybrid Solvers: Coupling FEM and Neural Operators with Domain Decomposition

投稿日: 2025年5月15日 作成者: jarxiv

要約

PDEの数値ソルバーは、特にマルチスケールおよび動的システムの場合、計算コストと精度のバランスをとる上で課題に直面しています。
ニューラル演算子（NOS）は、シミュレーションを大幅に高速化できます。
ただし、動的システムのエラーの蓄積や、多目的問題における限られた一般化などの課題に直面しています。
この作業では、ドメイン分解を介してPI-NOと有限要素法（FE）を統合し、時間行進の数値分析をレバレッジする新しいハイブリッドフレームワークを紹介します。
コアイノベーションは、効率的な結合Feとシュワルツの交互の方法を介したサブドメインなしにあります：複雑な、非線形、または高勾配の動作を持つ領域は、前処理されたNOを使用して解決されますが、残りは従来のFEによって処理されます。
動的システムの課題に対処するために、時間ステップスキームを直接アーキテクチャに埋め込み、長期エラーの伝播を大幅に削減しました。
また、適応型サブドメインの進化戦略により、MLは解決された領域が動的に拡張し、リメッシュなしで新たな微細なスケール機能をキャプチャすることができます。
フレームワークの有効性は、静的、準静的、および動的なレジーム（例えば、線形弾性、高弾力性、および伸縮力学）にまたがるさまざまな問題にわたって検証されており、加速収束を実証します（従来のFeコーティングと比較して、バーゲンの最大20％改善）。
私たちの研究は、ハイブリッドソルバーが次のことを示しています。（1）サブドメインインターフェイス全体でソリューションの連続性を維持し、（2）微細なメッシュ要件を排除することにより計算コストを削減し、（3）時間依存シミュレーションでのエラーの蓄積を軽減し、（4）進化する物理現象への自動適応を可能にします。
この作業は、数値的手法とAI駆動型の代理とのギャップを橋渡しし、高忠実度のマルチスケールシミュレーションのためのスケーラブルな経路を提供します。

要約(オリジナル)

Numerical solvers for PDEs face challenges in balancing computational cost and accuracy, particularly for multiscale and dynamical systems. Neural operators (NOs) can significantly speed up simulations; however, they face challenges such as error accumulation for dynamical systems and limited generalization in multiphysics problems. This work introduces a novel hybrid framework that integrates PI-NO with finite element method (FE) through domain decomposition and leverages numerical analysis for time marching. The core innovation lies in efficient coupling FE and NO subdomains via a Schwarz alternating method: regions with complex, nonlinear, or high-gradient behavior are resolved using a pretrained NO, while the remainder is handled by conventional FE. To address the challenges of dynamic systems, we embed a time-stepping scheme directly into the NO architecture, substantially reducing long-term error propagation. Also, an adaptive subdomain evolution strategy enables the ML resolved region to expand dynamically, capturing emerging fine scale features without remeshing. The framework efficacy has been validated across a range of problems, spanning static, quasi-static, and dynamic regimes (e.g., linear elasticity, hyperelasticity, and elastodynamics), demonstrating accelerated convergence (up to 20% improvement in convergence compared to conventional FE coupling) while preserving solution fidelity with error margins consistently below 1%. Our study shows that our hybrid solver: (1) maintains solution continuity across subdomain interfaces, (2) reduces computational costs by eliminating fine mesh requirements, (3) mitigates error accumulation in time dependent simulations, and (4) enables automatic adaptation to evolving physical phenomena. This work bridges the gap between numerical methods and AI-driven surrogates, offering a scalable pathway for high-fidelity multiscale simulations.

arxiv情報

著者 Wei Wang,Maryam Hakimzadeh,Haihui Ruan,Somdatta Goswami
発行日 2025-05-14 15:14:24+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Accelerating Multiscale Modeling with Hybrid Solvers: Coupling FEM and Neural Operators with Domain Decomposition はコメントを受け付けていません

Fairness-aware Bayes optimal functional classification

投稿日: 2025年5月15日 作成者: jarxiv

要約

アルゴリズムの公平性は機械学習の中心的なトピックとなっており、さまざまな亜集団全体の格差を緩和することが急速に成長している研究分野として浮上しています。
このホワイトペーパーでは、公平性の制約に基づく機能データの分類を体系的に研究し、分類器の格差レベルが事前に指定されたしきい値の下に制御されるようにします。
公平性を認識した機能分類のための統一されたフレームワークを提案し、無限の次元機能空間に取り組み、密度比の欠如と事後確率の操作性からの重要な課題に対処し、機能分類におけるユニークな現象を議論することを提案します。
さらに、ポストプロセッシングアルゴリズムである公正な機能的線形判別分析分類子（FAIR-FLDA）を設計します。これは、ホモス酸ガウスプロセスをターゲットにし、グループごとのしきい値を介して公平性を達成します。
固有空間の弱い構造的仮定の下で、公平性と過剰なリスク制御に関する理論的保証が確立されます。
副産物として、私たちの結果は、特別なケースとして標準FLDAの過剰なリスク制御をカバーしています。これは、私たちの知る限り、初めて見られます。
理論的な調査結果は、合成および実際のデータセットに関する広範な数値実験によって補完され、設計されたアルゴリズムの実用性を強調しています。

要約(オリジナル)

Algorithmic fairness has become a central topic in machine learning, and mitigating disparities across different subpopulations has emerged as a rapidly growing research area. In this paper, we systematically study the classification of functional data under fairness constraints, ensuring the disparity level of the classifier is controlled below a pre-specified threshold. We propose a unified framework for fairness-aware functional classification, tackling an infinite-dimensional functional space, addressing key challenges from the absence of density ratios and intractability of posterior probabilities, and discussing unique phenomena in functional classification. We further design a post-processing algorithm, Fair Functional Linear Discriminant Analysis classifier (Fair-FLDA), which targets at homoscedastic Gaussian processes and achieves fairness via group-wise thresholding. Under weak structural assumptions on eigenspace, theoretical guarantees on fairness and excess risk controls are established. As a byproduct, our results cover the excess risk control of the standard FLDA as a special case, which, to the best of our knowledge, is first time seen. Our theoretical findings are complemented by extensive numerical experiments on synthetic and real datasets, highlighting the practicality of our designed algorithm.

arxiv情報

著者 Xiaoyu Hu,Gengyu Xue,Zhenhua Lin,Yi Yu
発行日 2025-05-14 15:22:09+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.ST, stat.ME, stat.ML, stat.TH | Fairness-aware Bayes optimal functional classification はコメントを受け付けていません

Reinforcement Learning for Individual Optimal Policy from Heterogeneous Data

投稿日: 2025年5月15日 作成者: jarxiv

要約

オフライン強化学習（RL）は、事前に収集されたデータを活用することにより、予想される合計報酬を最大化するために、動的環境で最適なポリシーを見つけることを目的としています。
不均一なデータから学ぶことは、オフラインRLの基本的な課題の1つです。
従来の方法は、単一のエピソードまたは均質なバッチエピソードから事前に収集されたデータを持つすべての個人に最適なポリシーを学ぶことに焦点を当てているため、異種集団の最適ではないポリシーをもたらす可能性があります。
この論文では、不均一なタイムステーションマルコフ決定プロセス（MDP）の個別のオフラインポリシー最適化フレームワークを提案します。
個々の潜在変数を備えた提案された不均一モデルにより、個々のQ関数を効率的に推定することができ、ペナルティを科された悲観的なパーソナライズされたポリシー学習（P4L）アルゴリズムは、行動ポリシーに関する弱い部分的なカバレッジ仮定の下での平均後悔の高速レートを保証します。
さらに、シミュレーション研究と実際のデータアプリケーションは、既存の方法と比較して提案された方法の優れた数値性能を示しています。

要約(オリジナル)

Offline reinforcement learning (RL) aims to find optimal policies in dynamic environments in order to maximize the expected total rewards by leveraging pre-collected data. Learning from heterogeneous data is one of the fundamental challenges in offline RL. Traditional methods focus on learning an optimal policy for all individuals with pre-collected data from a single episode or homogeneous batch episodes, and thus, may result in a suboptimal policy for a heterogeneous population. In this paper, we propose an individualized offline policy optimization framework for heterogeneous time-stationary Markov decision processes (MDPs). The proposed heterogeneous model with individual latent variables enables us to efficiently estimate the individual Q-functions, and our Penalized Pessimistic Personalized Policy Learning (P4L) algorithm guarantees a fast rate on the average regret under a weak partial coverage assumption on behavior policies. In addition, our simulation studies and a real data application demonstrate the superior numerical performance of the proposed method compared with existing methods.

arxiv情報

著者 Rui Miao,Babak Shahbaba,Annie Qu
発行日 2025-05-14 15:44:10+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Reinforcement Learning for Individual Optimal Policy from Heterogeneous Data はコメントを受け付けていません

Layered Unlearning for Adversarial Relearning

投稿日: 2025年5月15日 作成者: jarxiv

要約

私たちの目標は、微調整、アラインメント、学習の解除、言語モデルの動作と表現を修正するなど、トレーニング後の方法を理解することです。
私たちは、これらの修正の脆弱な性質に特に興味があり、迅速なエンジニアリングや再学習を通じて簡単にバイパスできます。
最近の結果は、トレーニング後に特定の応答パターンを抑制する浅いコンテキスト依存「回路」を誘導することを示唆しています。
これは、トレーニング後の脆性についての1つの説明かもしれません。
この仮説をテストするために、データのサブセットが増えているために明確な抑制メカニズムを作成する未学習アルゴリズムの階層化されていないアルゴリズム（Lu）を設計します。
最初の$ i $ foldsを解き放つことにより、残りの$ k -i $を$ i $ thで保持しながら$ k $ステージの$ i $を保持することにより、luはデータのサブセットで再学習する能力を制限して、完全なデータセットを回復します。
合成モデルと大手言語モデル（LLM）実験の組み合わせを介してLuを評価します。
Luは、いくつかの異なる未学習方法の敵対的な再学習に対する堅牢性を改善することがわかります。
私たちの結果は、最先端のマシンの学習に貢献し、トレーニング後の更新の効果についての洞察を提供します。

要約(オリジナル)

Our goal is to understand how post-training methods, such as fine-tuning, alignment, and unlearning, modify language model behavior and representations. We are particularly interested in the brittle nature of these modifications that makes them easy to bypass through prompt engineering or relearning. Recent results suggest that post-training induces shallow context-dependent “circuits” that suppress specific response patterns. This could be one explanation for the brittleness of post-training. To test this hypothesis, we design an unlearning algorithm, Layered Unlearning (LU), that creates distinct inhibitory mechanisms for a growing subset of the data. By unlearning the first $i$ folds while retaining the remaining $k – i$ at the $i$th of $k$ stages, LU limits the ability of relearning on a subset of data to recover the full dataset. We evaluate LU through a combination of synthetic and large language model (LLM) experiments. We find that LU improves robustness to adversarial relearning for several different unlearning methods. Our results contribute to the state-of-the-art of machine unlearning and provide insight into the effect of post-training updates.

arxiv情報

著者 Timothy Qian,Vinith Suriyakumar,Ashia Wilson,Dylan Hadfield-Menell
発行日 2025-05-14 15:50:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Layered Unlearning for Adversarial Relearning はコメントを受け付けていません

Towards Fair In-Context Learning with Tabular Foundation Models

投稿日: 2025年5月15日 作成者: jarxiv

要約

表形式の基礎モデルは、構造化データに強力なコンテキスト学習（ICL）機能を示しており、トレーニングの例をコンテキストとして使用して、パラメーターの更新なしでテストセットで正確な予測を行うことができます。
この新たなアプローチは、従来のグラデーションブーストツリーメソッドの競争力のある代替手段として位置付けられています。
ただし、従来の機械学習モデルのバイアスは十分に文書化されていますが、これらのバイアスが表形式のICLにどのように現れるかは不明のままです。
このペーパーでは、表形式のICLの公平性への影響を調査し、相関除去、グループバランスの取れたデモの選択、不確実性ベースのデモンストレーション選択 – 対処バイアスの3つの前処理戦略を調査します。
包括的な実験は、不確実性に基づくデモンストレーション選択が、コンテキスト内予測のグループ公平性を一貫して強化することを示しています。
この作業の結果を再現するためのソースコードは、https：//github.com/patrikken/fair-tabiclにあります。

要約(オリジナル)

Tabular foundational models have exhibited strong in-context learning (ICL) capabilities on structured data, allowing them to make accurate predictions on test sets without parameter updates, using training examples as context. This emerging approach positions itself as a competitive alternative to traditional gradient-boosted tree methods. However, while biases in conventional machine learning models are well documented, it remains unclear how these biases manifest in tabular ICL. The paper investigates the fairness implications of tabular ICL and explores three preprocessing strategies–correlation removal, group-balanced demonstration selection, and uncertainty-based demonstration selection–to address bias. Comprehensive experiments indicate that uncertainty-based demonstration selection consistently enhances group fairness of in-context predictions. The source code for reproducing the results of this work can be found at https://github.com/patrikken/Fair-TabICL.

arxiv情報

著者 Patrik Kenfack,Samira Ebrahimi Kaho,Ulrich Aïvodji
発行日 2025-05-14 15:53:14+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Towards Fair In-Context Learning with Tabular Foundation Models はコメントを受け付けていません

Deep-SITAR: A SITAR-Based Deep Learning Framework for Growth Curve Modeling via Autoencoders

投稿日: 2025年5月15日 作成者: jarxiv

要約

人間の成長の複雑さと非線形性を捉えるために、いくつかのアプローチが開発されています。
広く使用されているのは、思春期の成長の研究で一般的になっている翻訳と回転（SITAR）モデルによる超賦課です。
SITARは、個人間のばらつきを説明するために、タイミング、サイズ、成長強度の3つの被験者固有のランダム効果を取り入れながら、自然な立方スプライン平均曲線を使用して、母集団の共有成長パターンを表す形状不変性混合効果モデルです。
この作業では、SITARモデルを推定するために深いニューラルネットワーク（ニューラルネットワーク）をBスプラインモデルと統合する自動エンコーダーアーキテクチャに基づいて、監視されたディープラーニングフレームワークを紹介します。
このアプローチでは、エンコーダは各個人のランダム効果を推定し、デコーダーはクラシックシタールモデルと同様のBスプラインに基づいてフィッティングを実行します。
この方法は、ディープシタルモデルと呼びます。
この革新的なアプローチにより、完全なモデルの再推定を必要とせずに、新しい個人が集団に入るランダムな影響の予測を可能にします。
その結果、Deep-Sitarは、成長軌道を予測するための強力なアプローチを提供し、深い学習の柔軟性と効率性を従来の混合効果モデルの解釈可能性と組み合わせます。

要約(オリジナル)

Several approaches have been developed to capture the complexity and nonlinearity of human growth. One widely used is the Super Imposition by Translation and Rotation (SITAR) model, which has become popular in studies of adolescent growth. SITAR is a shape-invariant mixed-effects model that represents the shared growth pattern of a population using a natural cubic spline mean curve while incorporating three subject-specific random effects — timing, size, and growth intensity — to account for variations among individuals. In this work, we introduce a supervised deep learning framework based on an autoencoder architecture that integrates a deep neural network (neural network) with a B-spline model to estimate the SITAR model. In this approach, the encoder estimates the random effects for each individual, while the decoder performs a fitting based on B-splines similar to the classic SITAR model. We refer to this method as the Deep-SITAR model. This innovative approach enables the prediction of the random effects of new individuals entering a population without requiring a full model re-estimation. As a result, Deep-SITAR offers a powerful approach to predicting growth trajectories, combining the flexibility and efficiency of deep learning with the interpretability of traditional mixed-effects models.

arxiv情報

著者 María Alejandra Hernández,Oscar Rodriguez,Dae-Jin Lee
発行日 2025-05-14 15:55:16+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, F.2.2, stat.ML | Deep-SITAR: A SITAR-Based Deep Learning Framework for Growth Curve Modeling via Autoencoders はコメントを受け付けていません