Generative Adversarial Networks for High-Dimensional Item Factor Analysis: A Deep Adversarial Learning Algorithm

投稿日: 2025年3月6日 作成者: jarxiv

要約

深い学習と表現学習の進歩により、より効率的で正確なパラメーター推定を可能にすることにより、アイテム応答理論（IRT）の文献のアイテム因子分析（IFA）が変革されました。
このコンテキストで高次元潜在変数をモデル化する上で、変分自動エンコーダー（VAE）は最も影響力のある手法の1つです。
ただし、従来のVAEに基づく推論モデルの限られた表現力は、推定パフォーマンスを妨げる可能性があります。
柔軟性と精度を向上させて、IFAのVAEの改善として、敵対的な変異ベイズ（AVB）アルゴリズムを導入します。
VAEと生成敵のネットワーク（GANS）の強みを橋渡しすることにより、AVBには、推定プロセスを2人の敵対的ゲームとして再構成するために補助論文ネットワークを組み込み、推論モデルの標準的な正常分布の制限的な仮定を削除します。
理論的には、AVBはVAEと比較して同様またはより高い可能性を達成できます。
さらに強化されたアルゴリズムである重要性加重逆説的な変動ベイズ（IWAVB）が提案され、重要な加重自己エンコーダー（IWAE）と比較されます。
経験的データの探索的分析では、IWAVBは、IWAEと比較してより高い可能性を達成することにより、優れた表現力を実証しました。
シミュレートされたデータを使用した確認分析では、IWAVBはIWAEと同様の平均二乗誤差結果を達成し、一貫してより高い可能性を達成しました。
潜在変数がマルチモーダル分布に続いた場合、IWAVBはiWAEを上回りました。
GANの革新的な使用により、IWAVBはIFAを拡張して大規模なデータを処理する可能性があることが示されており、精神測量とマルチモーダルデータ分析の潜在的な統合を促進します。

要約(オリジナル)

Advances in deep learning and representation learning have transformed item factor analysis (IFA) in the item response theory (IRT) literature by enabling more efficient and accurate parameter estimation. Variational Autoencoders (VAEs) have been one of the most impactful techniques in modeling high-dimensional latent variables in this context. However, the limited expressiveness of the inference model based on traditional VAEs can still hinder the estimation performance. We introduce Adversarial Variational Bayes (AVB) algorithms as an improvement to VAEs for IFA with improved flexibility and accuracy. By bridging the strengths of VAEs and Generative Adversarial Networks (GANs), AVB incorporates an auxiliary discriminator network to reframe the estimation process as a two-player adversarial game and removes the restrictive assumption of standard normal distributions in the inference model. Theoretically, AVB can achieve similar or higher likelihood compared to VAEs. A further enhanced algorithm, Importance-weighted Adversarial Variational Bayes (IWAVB) is proposed and compared with Importance-weighted Autoencoders (IWAE). In an exploratory analysis of empirical data, IWAVB demonstrated superior expressiveness by achieving a higher likelihood compared to IWAE. In confirmatory analysis with simulated data, IWAVB achieved similar mean-square error results to IWAE while consistently achieving higher likelihoods. When latent variables followed a multimodal distribution, IWAVB outperformed IWAE. With its innovative use of GANs, IWAVB is shown to have the potential to extend IFA to handle large-scale data, facilitating the potential integration of psychometrics and multimodal data analysis.

arxiv情報

著者 Nanyu Luo,Feng Ji
発行日 2025-03-05 16:11:42+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.AP, stat.CO, stat.ME, stat.ML | Generative Adversarial Networks for High-Dimensional Item Factor Analysis: A Deep Adversarial Learning Algorithm はコメントを受け付けていません

Feature Matching Intervention: Leveraging Observational Data for Causal Representation Learning

投稿日: 2025年3月6日 作成者: jarxiv

要約

観察データからの因果的発見における主要な課題は、完全な介入がないことであり、因果的な特徴を偽の特徴と区別することを困難にすることです。
革新的なアプローチ、機能マッチング介入（FMI）を提案します。これは、マッチング手順を使用して完全な介入を模倣します。
因果潜在グラフを定義し、構造因果モデルを潜在的な特徴空間に拡張し、FMIを因果グラフ学習と結びつけるフレームワークを提供します。
私たちの機能マッチング手順は、これらの因果的潜在グラフ内の完全な介入をエミュレートします。
理論的な結果は、FMIが強い分散除外（OOD）の一般化可能性を示すことを示しています。
実験は、観察データのみからの因果機能を効果的に特定するためのFMIの優れたパフォーマンスをさらに強調しています。

要約(オリジナル)

A major challenge in causal discovery from observational data is the absence of perfect interventions, making it difficult to distinguish causal features from spurious ones. We propose an innovative approach, Feature Matching Intervention (FMI), which uses a matching procedure to mimic perfect interventions. We define causal latent graphs, extending structural causal models to latent feature space, providing a framework that connects FMI with causal graph learning. Our feature matching procedure emulates perfect interventions within these causal latent graphs. Theoretical results demonstrate that FMI exhibits strong out-of-distribution (OOD) generalizability. Experiments further highlight FMI’s superior performance in effectively identifying causal features solely from observational data.

arxiv情報

著者 Haoze Li,Jun Xie
発行日 2025-03-05 16:14:43+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ME, stat.ML | Feature Matching Intervention: Leveraging Observational Data for Causal Representation Learning はコメントを受け付けていません

Limits of nonlinear and dispersive fiber propagation for photonic extreme learning

投稿日: 2025年3月6日 作成者: jarxiv

要約

光ファイバー伝播に基づいた極端な学習マシンの一般化された非線形Schr \ ‘Odinger方程式シミュレーションモデルを報告します。
手書きの数字分類をベンチマークとして使用して、精度が伝播ダイナミクス、およびスペクトルエンコード、読み取り、ノイズを管理するパラメーターにどのように依存するかを調べます。
91％を超えるテスト精度は、それぞれ異常および正常分散領域の伝播について見られます。
シミュレーション結果は、入力パルスの量子ノイズがELMパフォーマンスに固有のペナルティをもたらすことも示唆しています。

要約(オリジナル)

We report a generalized nonlinear Schr\’odinger equation simulation model of an extreme learning machine based on optical fiber propagation. Using handwritten digit classification as a benchmark, we study how accuracy depends on propagation dynamics, as well as parameters governing spectral encoding, readout, and noise. Test accuracies of over 91% and 93% are found for propagation in the anomalous and normal dispersion regimes respectively. Our simulation results also suggest that quantum noise on the input pulses introduces an intrinsic penalty to ELM performance.

arxiv情報

著者 Andrei V. Ermolaev,Mathilde Hary,Lev Leybov,Piotr Ryczkowski,Anas Skalli,Daniel Brunner,Goëry Genty,John M. Dudley
発行日 2025-03-05 16:25:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, physics.optics | Limits of nonlinear and dispersive fiber propagation for photonic extreme learning はコメントを受け付けていません

Robust Learning of Diverse Code Edits

投稿日: 2025年3月6日 作成者: jarxiv

要約

ソフトウェアエンジニアリングアクティビティには、既存のコードの編集が頻繁に含まれます。
ただし、現代のコード言語モデル（LMS）には、多様な種類のコード編集要件を処理する機能がありません。
この作業では、（1）新しい合成データ生成パイプラインと（2）堅牢なモデル適応アルゴリズムを通じて、この欠点を克服しようとします。
シードコードの例と多様な編集基準から始めて、パイプラインは、異なるスタイルと冗長性の自然言語の指示とともに、元のコードと修正コードを含む高品質のサンプルを生成します。
今日のコードLMSには、コード生成や命令のフォローなど、強力な能力が束ねられます。これは、微調整のために失われるべきではありません。
これを確実にするために、（a）コード編集に最も重要な重みを識別するために密なグラデーションベースのステップを活用し、（b）過剰適合を避けるためにベースモデルにまばらな投影を行うという新しい適応アルゴリズムであるSelektを提案します。
アプローチを使用して、5つのコード編集ベンチマークで強力な結果を達成し、比較可能なサイズモデルを上回る、さらにはいくつかの大きなモデルでさえ、新しいシリーズNextCoder（QWENCODER-2.5から編集）を取得します。
2つのモデルファミリ（DeepSeekCoderとQWENCODER）でアプローチの一般性を示し、他の微調整アプローチと比較し、適応後のコード生成能力の保持を示すことにより堅牢性を示します。

要約(オリジナル)

Software engineering activities frequently involve edits to existing code. However, contemporary code language models (LMs) lack the ability to handle diverse types of code-edit requirements. In this work, we attempt to overcome this shortcoming through (1) a novel synthetic data generation pipeline and (2) a robust model adaptation algorithm. Starting with seed code examples and diverse editing criteria, our pipeline generates high-quality samples comprising original and modified code, along with natural language instructions in different styles and verbosity. Today’s code LMs come bundled with strong abilities, such as code generation and instruction following, which should not be lost due to fine-tuning. To ensure this, we propose a novel adaptation algorithm, SeleKT, that (a) leverages a dense gradient-based step to identify the weights that are most important for code editing, and (b) does a sparse projection onto the base model to avoid overfitting. Using our approach, we obtain a new series of models NextCoder (adapted from QwenCoder-2.5) that achieves strong results on five code-editing benchmarks, outperforming comparable size models and even several larger ones. We show the generality of our approach on two model families (DeepSeekCoder and QwenCoder), compare against other fine-tuning approaches, and demonstrate robustness by showing retention of code generation abilities post adaptation.

arxiv情報

著者 Tushar Aggarwal,Swayam Singh,Abhijeet Awasthi,Aditya Kanade,Nagarajan Natarajan
発行日 2025-03-05 16:39:04+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.SE | Robust Learning of Diverse Code Edits はコメントを受け付けていません

Finite-sample valid prediction of future insurance claims in the regression problem

投稿日: 2025年3月6日 作成者: jarxiv

要約

現在の保険文献では、回帰問題における保険請求の予測は、統計モデルでしばしば実行されます。
このモデルベースのアプローチは、（i）モデルの誤り、（ii）選択効果、および（iii）有限サンプルの妥当性の欠如など、いくつかの欠点に悩まされる可能性があります。
この記事では、適合予測を採用することにより、これらの3つの問題を同時に説明します。有効な予測のための一般的な機械学習戦略です。
提案された方法は、モデルフリーであり、チューニングパラメーターフリーの両方です。
また、事前に割り当てられたカバレッジ確率レベルで有限サンプルの妥当性を保証します。

要約(オリジナル)

In the current insurance literature, prediction of insurance claims in the regression problem is often performed with a statistical model. This model-based approach may suffer from several drawbacks: (i) model misspecification, (ii) selection effect, and (iii) lack of finite-sample validity. This article addresses these three issues simultaneously by employing conformal prediction-a general machine learning strategy for valid predictions. The proposed method is both model-free and tuning-parameter-free. It also guarantees finite-sample validity at a pre-assigned coverage probability level.

arxiv情報

著者 Liang Hong
発行日 2025-03-05 16:47:08+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: 62P05, 91G05, cs.LG, stat.AP, stat.ML | Finite-sample valid prediction of future insurance claims in the regression problem はコメントを受け付けていません

Chunking the Critic: A Transformer-based Soft Actor-Critic with N-Step Returns

投稿日: 2025年3月6日 作成者: jarxiv

要約

Soft Actor-Critic（SAC）は、批評家ネットワークに大きく依存しており、通常、単一の状態アクションペアを評価してポリシーの更新をガイドします。
N-STEPリターンを使用することは、批評家の目標値のバイアスを減らすための一般的な慣行です。
ただし、N-STEPリターンを使用すると、再び高い分散が導入され、重要性のサンプリングが必要になります。
最近のアルゴリズムは、直接的なアクションの繰り返しと動きのプリミティブなど、アクションチャンキングなどを調査して、探索を強化しました。
この論文では、N-Returnsフレームワークを安定した効率的な方法で統合するSACのトランスベースの批評家ネットワークを提案します。
Actor Networkでチャンキングを実行するアプローチとは異なり、潜在的なパフォーマンスの向上を調査するために、批評家ネットワークにチャンクしたアクションをフィードします。
当社のアーキテクチャは、シーケンシャル情報を処理する変圧器の能力を活用し、より堅牢な値の推定を促進します。
経験的な結果は、この方法が効率的で安定したトレーニングを達成するだけでなく、まばらな報酬/多相環境にも優れていることを示しています。
これらの発見は、変圧器ベースの批評家とn-returnsを組み合わせて、補強学習パフォーマンスを進めるという約束を強調しています

要約(オリジナル)

Soft Actor-Critic (SAC) critically depends on its critic network, which typically evaluates a single state-action pair to guide policy updates. Using N-step returns is a common practice to reduce the bias in the target values of the critic. However, using N-step returns can again introduce high variance and necessitates importance sampling, often destabilizing training. Recent algorithms have also explored action chunking-such as direct action repetition and movement primitives-to enhance exploration. In this paper, we propose a Transformer-based Critic Network for SAC that integrates the N-returns framework in a stable and efficient manner. Unlike approaches that perform chunking in the actor network, we feed chunked actions into the critic network to explore potential performance gains. Our architecture leverages the Transformer’s ability to process sequential information, facilitating more robust value estimation. Empirical results show that this method not only achieves efficient, stable training but also excels in sparse reward/multi-phase environments-traditionally a challenge for step-based methods. These findings underscore the promise of combining Transformer-based critics with N-returns to advance reinforcement learning performance

arxiv情報

著者 Dong Tian,Ge Li,Hongyi Zhou,Onur Celik,Gerhard Neumann
発行日 2025-03-05 16:47:36+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Chunking the Critic: A Transformer-based Soft Actor-Critic with N-Step Returns はコメントを受け付けていません

Statistical Advantages of Perturbing Cosine Router in Mixture of Experts

投稿日: 2025年3月6日 作成者: jarxiv

要約

専門家（MOE）の混合物のコサインルーターは、最近、従来の線形ルーターの魅力的な代替品として浮上しています。
実際、Cosineルーターは、画像および言語のタスクで好ましいパフォーマンスを示し、表現崩壊の問題を軽減する能力を示します。
その経験的な成功にもかかわらず、MOEのコサインルーターの包括的な分析は不足しています。
コサインルーティングMOEの最小二乗推定を考慮すると、専門家の構造に関係なく、一部の部分的な微分方程式を介したコサインルーターのモデルパラメーターの本質的な相互作用により、$ \ mathcal {o}（n/log^の場合は$ \ mathcal>）の場合、専門家とモデルパラメーターの推定率は$ \ mathcal {}（n）の場合は遅いことを示しています。
0 $はある程度で、$ n $はサンプルサイズです。
驚くべきことに、これらの悲観的な非腸染色体収束速度は、実際に広く使用されている技術によって回避することができます。
専門家機能の強く識別可能な設定の下で、摂動するコサインルーティングMOEの下での専門家とモデルパラメーターの両方の推定率が多項式率に大幅に改善されていることを証明します。
最後に、合成および実際のデータ設定の両方で広範なシミュレーション研究を実施して、理論的結果を経験的に検証します。

要約(オリジナル)

The cosine router in Mixture of Experts (MoE) has recently emerged as an attractive alternative to the conventional linear router. Indeed, the cosine router demonstrates favorable performance in image and language tasks and exhibits better ability to mitigate the representation collapse issue, which often leads to parameter redundancy and limited representation potentials. Despite its empirical success, a comprehensive analysis of the cosine router in MoE has been lacking. Considering the least square estimation of the cosine routing MoE, we demonstrate that due to the intrinsic interaction of the model parameters in the cosine router via some partial differential equations, regardless of the structures of the experts, the estimation rates of experts and model parameters can be as slow as $\mathcal{O}(1/\log^{\tau}(n))$ where $\tau > 0$ is some constant and $n$ is the sample size. Surprisingly, these pessimistic non-polynomial convergence rates can be circumvented by the widely used technique in practice to stabilize the cosine router — simply adding noises to the $\ell^2$-norms in the cosine router, which we refer to as \textit{perturbed cosine router}. Under the strongly identifiable settings of the expert functions, we prove that the estimation rates for both the experts and model parameters under the perturbed cosine routing MoE are significantly improved to polynomial rates. Finally, we conduct extensive simulation studies in both synthetic and real data settings to empirically validate our theoretical results.

arxiv情報

著者 Huy Nguyen,Pedram Akbarian,Trang Pham,Trang Nguyen,Shujian Zhang,Nhat Ho
発行日 2025-03-05 17:05:55+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Statistical Advantages of Perturbing Cosine Router in Mixture of Experts はコメントを受け付けていません

Optimally Installing Strict Equilibria

投稿日: 2025年3月6日 作成者: jarxiv

要約

この作業では、標準的なソリューションの概念全体にわたる厳格な平衡として望ましい動作をインストールするための報酬設計フレームワークを開発します：支配的な戦略平衡、ナッシュ平衡、相関平衡、および粗い相関平衡。
また、フレームワークを拡張して、各ソリューションの概念のマルコフに最適な同等物をキャプチャします。
私たちのフレームワークの中心は、目的のソリューションの概念と動作の構造に基づいて、厳密にインストール可能な包括的な数学的特性評価です。
これらの特性は、効率的な反復アルゴリズムにつながります。これは、線形プログラミングを通じて最適化の目標を処理するために一般化します。
最後に、結果がどのように境界のある合理的なエージェントに一般化するかを探ります。

要約(オリジナル)

In this work, we develop a reward design framework for installing a desired behavior as a strict equilibrium across standard solution concepts: dominant strategy equilibrium, Nash equilibrium, correlated equilibrium, and coarse correlated equilibrium. We also extend our framework to capture the Markov-perfect equivalents of each solution concept. Central to our framework is a comprehensive mathematical characterization of strictly installable, based on the desired solution concept and the behavior’s structure. These characterizations lead to efficient iterative algorithms, which we generalize to handle optimization objectives through linear programming. Finally, we explore how our results generalize to bounded rational agents.

arxiv情報

著者 Jeremy McMahan,Young Wu,Yudong Chen,Xiaojin Zhu,Qiaomin Xie
発行日 2025-03-05 17:11:02+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.GT, cs.LG | Optimally Installing Strict Equilibria はコメントを受け付けていません

Towards Trustworthy Federated Learning

投稿日: 2025年3月6日 作成者: jarxiv

要約

このペーパーでは、連邦学習（FL）における3つの重要な信頼できる課題に対処するための包括的なフレームワークを開発します：ビザンチンの攻撃、公平性、プライバシーの保存に対する堅牢性。
システムのパフォーマンスにバイアスをかけるために悪意のある情報を送信するビザンチン攻撃に対するシステムの防御を改善するために、両側のノルムベースのスクリーニング（TNBS）メカニズムを開発します。これにより、中央サーバーがLが最も低く、最も高い規範を持つ勾配をトリミングできます。
TNBSは、勾配が正直なものとはほど遠い潜在的な悪意のある参加者を除外するスクリーニングツールとして機能します。
平等主義の公平性を促進するために、Q-Fair Federated Learning（Q-FFL）を採用します。
さらに、地元のクライアントでの生データが好奇心are盛なパーティーによって推測されるのを防ぐために、差別的なプライバシーベースのスキームを採用しています。
さまざまなシナリオの下で提案されたフレームワークに対して収束保証が提供されます。
実際のデータセットでの実験結果は、提案されたフレームワークがプライバシーと精度のトレードオフを管理しながら、堅牢性と公平性を効果的に改善することを示しています。
この作業は、信頼できるFLの公平性、プライバシー、堅牢性に実験的および理論的に対処する最初の研究であるように見えます。

要約(オリジナル)

This paper develops a comprehensive framework to address three critical trustworthy challenges in federated learning (FL): robustness against Byzantine attacks, fairness, and privacy preservation. To improve the system’s defense against Byzantine attacks that send malicious information to bias the system’s performance, we develop a Two-sided Norm Based Screening (TNBS) mechanism, which allows the central server to crop the gradients that have the l lowest norms and h highest norms. TNBS functions as a screening tool to filter out potential malicious participants whose gradients are far from the honest ones. To promote egalitarian fairness, we adopt the q-fair federated learning (q-FFL). Furthermore, we adopt a differential privacy-based scheme to prevent raw data at local clients from being inferred by curious parties. Convergence guarantees are provided for the proposed framework under different scenarios. Experimental results on real datasets demonstrate that the proposed framework effectively improves robustness and fairness while managing the trade-off between privacy and accuracy. This work appears to be the first study that experimentally and theoretically addresses fairness, privacy, and robustness in trustworthy FL.

arxiv情報

著者 Alina Basharat,Yijun Bian,Ping Xu,Zhi Tian
発行日 2025-03-05 17:25:20+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CR, cs.DC, cs.LG | Towards Trustworthy Federated Learning はコメントを受け付けていません

A Practical Memory Injection Attack against LLM Agents

投稿日: 2025年3月6日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）に基づくエージェントは、幅広い複雑で実世界のアプリケーションで強力な能力を実証しています。
ただし、メモリバンクが侵害されたLLMエージェントは、デモのために取得した過去の記録が悪意がある場合、有害な出力を簡単に生成する可能性があります。
この論文では、クエリと出力観測を介してエージェントと対話することにより、悪意のある記録をメモリバンクに注入できるようにする新しいメモリインジェクション攻撃であるMinjaを提案します。
これらの悪意のあるレコードは、被害者ユーザーのクエリを実行するときに望ましくないエージェントアクションにつながる一連の悪意のある推論ステップを引き出すように設計されています。
具体的には、被害者のクエリを悪意のある推論ステップにリンクするために、一連のブリッジング手順を紹介します。
悪意のある記録の注入中に、設計されたブリッジング手順を自律的に生成するようにエージェントを導くための表示プロンプトを提案します。
また、犠牲者のクエリを処理するときに悪意のある記録が簡単に取得されるように、適応プロンプトを徐々に削除するプログレッシブショートニング戦略を提案します。
多様なエージェント全体の広範な実験は、エージェントメモリの妥協におけるMinjaの有効性を示しています。
実行に関する要件が最小限であるため、Minjaはすべてのユーザーがエージェントメモリに影響を与え、LLMエージェントの実際的なリスクを強調できるようにします。

要約(オリジナル)

Agents based on large language models (LLMs) have demonstrated strong capabilities in a wide range of complex, real-world applications. However, LLM agents with a compromised memory bank may easily produce harmful outputs when the past records retrieved for demonstration are malicious. In this paper, we propose a novel Memory INJection Attack, MINJA, that enables the injection of malicious records into the memory bank by only interacting with the agent via queries and output observations. These malicious records are designed to elicit a sequence of malicious reasoning steps leading to undesirable agent actions when executing the victim user’s query. Specifically, we introduce a sequence of bridging steps to link the victim query to the malicious reasoning steps. During the injection of the malicious record, we propose an indication prompt to guide the agent to autonomously generate our designed bridging steps. We also propose a progressive shortening strategy that gradually removes the indication prompt, such that the malicious record will be easily retrieved when processing the victim query comes after. Our extensive experiments across diverse agents demonstrate the effectiveness of MINJA in compromising agent memory. With minimal requirements for execution, MINJA enables any user to influence agent memory, highlighting practical risks of LLM agents.

arxiv情報

著者 Shen Dong,Shaocheng Xu,Pengfei He,Yige Li,Jiliang Tang,Tianming Liu,Hui Liu,Zhen Xiang
発行日 2025-03-05 17:53:24+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | A Practical Memory Injection Attack against LLM Agents はコメントを受け付けていません