Handling Uncertainty in Health Data using Generative Algorithms

投稿日: 2025年3月6日 作成者: jarxiv

要約

不確実性の理解と管理は、特にクラスの不均衡が予測に影響を与える可能性のあるヘルスケアのようなハイステークスドメインでは、機械学習において重要です。
このペーパーでは、生成AIを使用してクラスの不均衡を緩和する新しいパイプラインであるRigaを紹介します。
表形式のヘルスケアデータを画像に変換することにより、RigaはCGAN、VQVAE、VQGANなどのモデルを活用してバランスの取れたサンプルを生成し、分類パフォーマンスを向上させます。
これらの表現はCNNによって処理され、後にシームレスな統合のために表形式に戻ります。
このアプローチは、Xgboostなどの従来の分類器を強化し、ベイジアン構造学習を改善し、過小評価されたクラスの現実的な合成データを生成することにより、MLモデルの堅牢性を強化します。

要約(オリジナル)

Understanding and managing uncertainty is crucial in machine learning, especially in high-stakes domains like healthcare, where class imbalance can impact predictions. This paper introduces RIGA, a novel pipeline that mitigates class imbalance using generative AI. By converting tabular healthcare data into images, RIGA leverages models like cGAN, VQVAE, and VQGAN to generate balanced samples, improving classification performance. These representations are processed by CNNs and later transformed back into tabular format for seamless integration. This approach enhances traditional classifiers like XGBoost, improves Bayesian structure learning, and strengthens ML model robustness by generating realistic synthetic data for underrepresented classes.

arxiv情報

著者 Mahdi Arab Loodaricheh,Neh Majmudar,Anita Raja,Ansaf Salleb-Aouissi
発行日 2025-03-05 18:04:30+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Handling Uncertainty in Health Data using Generative Algorithms はコメントを受け付けていません

Reusing Historical Trajectories in Natural Policy Gradient via Importance Sampling: Convergence and Convergence Rate

投稿日: 2025年3月6日 作成者: jarxiv

要約

強化学習は、学習ベースの制御のための数学的枠組みを提供します。その成功は、利用できるデータの量に大きく依存します。
以前のポリシーから得られた履歴軌跡の効率的な利用は、ポリシーの最適化を促進するために不可欠です。
実証的証拠は、重要性のサンプリングに基づいたポリシーグラデーション方法がうまく機能することを示しています。
しかし、既存の文献はしばしば、異なる反復からの軌跡間の相互依存を無視し、優れた経験的パフォーマンスには厳密な理論的正当化が欠けています。
この論文では、重要なサンプリングを介して歴史的軌跡を再利用する自然政策勾配法のバリアントを研究します。
提案された勾配の推定量のバイアスは漸近的に無視できることを示し、結果のアルゴリズムは収束し、過去の軌跡を再利用することで収束速度の改善に役立ちます。
さらに、提案された推定器を、Trust Region Policy Optimizationなどの一般的なポリシー最適化アルゴリズムに適用します。
理論的な結果は、古典的なベンチマークで検証されています。

要約(オリジナル)

Reinforcement learning provides a mathematical framework for learning-based control, whose success largely depends on the amount of data it can utilize. The efficient utilization of historical trajectories obtained from previous policies is essential for expediting policy optimization. Empirical evidence has shown that policy gradient methods based on importance sampling work well. However, existing literature often neglect the interdependence between trajectories from different iterations, and the good empirical performance lacks a rigorous theoretical justification. In this paper, we study a variant of the natural policy gradient method with reusing historical trajectories via importance sampling. We show that the bias of the proposed estimator of the gradient is asymptotically negligible, the resultant algorithm is convergent, and reusing past trajectories helps improve the convergence rate. We further apply the proposed estimator to popular policy optimization algorithms such as trust region policy optimization. Our theoretical results are verified on classical benchmarks.

arxiv情報

著者 Yifan Lin,Yuhao Wang,Enlu Zhou
発行日 2025-03-05 18:14:25+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.OC | Reusing Historical Trajectories in Natural Policy Gradient via Importance Sampling: Convergence and Convergence Rate はコメントを受け付けていません

On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning

投稿日: 2025年3月6日 作成者: jarxiv

要約

（マルチモーダル）自己教師の表現学習のデータ予測タスクの連続ドメインに関する識別確率的モデリングを研究します。
各アンカーデータのパーティション関数の積分を計算するという課題に対処するために、堅牢なモンテカルロ統合のための複数の重要性サンプリング（MIS）手法を活用します。
この確率的モデリングフレームワーク内で、一般化エラー分析を実施して、自己教師の表現学習に対する現在のインフォンセベースの対照損失の制限を明らかにし、モンテカルロ統合のエラーを減らすことにより、より良いアプローチを開発するための洞察を導き出します。
この目的のために、凸の最適化を通じてMISに必要な条件付き確率密度の合計を近似するための新しいノンパラメトリック方法を提案し、自己監視表現学習のための新しい対照的な目的を生み出します。
さらに、提案された目標を解決するための効率的なアルゴリズムを設計します。
私たちのアルゴリズムを、対照的な画像言語の事前トレーニングタスクの代表的なベースラインと経験的に比較します。
CC3MおよびCC12Mデータセットの実験結果は、アルゴリズムの全体的なパフォーマンスを示しています。
私たちのコードは、https：//github.com/bokun-wang/nuclrで入手できます。

要約(オリジナル)

We study the discriminative probabilistic modeling on a continuous domain for the data prediction task of (multimodal) self-supervised representation learning. To address the challenge of computing the integral in the partition function for each anchor data, we leverage the multiple importance sampling (MIS) technique for robust Monte Carlo integration, which can recover InfoNCE-based contrastive loss as a special case. Within this probabilistic modeling framework, we conduct generalization error analysis to reveal the limitation of current InfoNCE-based contrastive loss for self-supervised representation learning and derive insights for developing better approaches by reducing the error of Monte Carlo integration. To this end, we propose a novel non-parametric method for approximating the sum of conditional probability densities required by MIS through convex optimization, yielding a new contrastive objective for self-supervised representation learning. Moreover, we design an efficient algorithm for solving the proposed objective. We empirically compare our algorithm to representative baselines on the contrastive image-language pretraining task. Experimental results on the CC3M and CC12M datasets demonstrate the superior overall performance of our algorithm. Our code is available at https://github.com/bokun-wang/NUCLR.

arxiv情報

著者 Bokun Wang,Yunwen Lei,Yiming Ying,Tianbao Yang
発行日 2025-03-05 18:36:02+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning はコメントを受け付けていません

Graph-Augmented LSTM for Forecasting Sparse Anomalies in Graph-Structured Time Series

投稿日: 2025年3月6日 作成者: jarxiv

要約

時系列データで異常を検出することは、多くのドメインで重要なタスクです。
課題は、異常がまばらであり、データがセンサーまたはノード全体のリレーショナル依存性と多変量である場合に強化されます。
従来の単変動異常検出器は、特にまばらな異常設定で、このようなクロスノード依存関係をキャプチャするのに苦労しています。
これに対処するために、時系列間の関係のグラフをLSTM予測モデルに明示的に統合するグラフの高さの時系列予測アプローチを提案します。
これにより、モデルは、純粋に単変量のアプローチで気付かれない可能性のあるまれな異常を検出できます。
Yahoo Webscope S5 Anomaly DatasetとMetR-LAトラフィックセンサーネットワークの2つのベンチマークデータセットのアプローチを評価し、Graph-A-ge-hegmented LSTMのLSTMのみ、Arima、および預言者ベースラインと比較します。
結果は、グラフ熟成モデルが精度とリコールが大幅に高いことを示しており、最良のベースラインよりもF1スコアを最大10％改善することを示しています。

要約(オリジナル)

Detecting anomalies in time series data is a critical task across many domains. The challenge intensifies when anomalies are sparse and the data are multivariate with relational dependencies across sensors or nodes. Traditional univariate anomaly detectors struggle to capture such cross-node dependencies, particularly in sparse anomaly settings. To address this, we propose a graph-augmented time series forecasting approach that explicitly integrates the graph of relationships among time series into an LSTM forecasting model. This enables the model to detect rare anomalies that might otherwise go unnoticed in purely univariate approaches. We evaluate the approach on two benchmark datasets – the Yahoo Webscope S5 anomaly dataset and the METR-LA traffic sensor network – and compare the performance of the Graph-Augmented LSTM against LSTM-only, ARIMA, and Prophet baselines. Results demonstrate that the graph-augmented model achieves significantly higher precision and recall, improving F1-score by up to 10% over the best baseline

arxiv情報

著者 Sneh Pillai
発行日 2025-03-05 18:37:52+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Graph-Augmented LSTM for Forecasting Sparse Anomalies in Graph-Structured Time Series はコメントを受け付けていません

Towards Understanding Distilled Reasoning Models: A Representational Approach

投稿日: 2025年3月6日 作成者: jarxiv

要約

この論文では、モデル蒸留が大規模な言語モデル（LLM）の推論機能の開発にどのように影響するかを調査します。
これを探索するために、Qwenシリーズモデルとそれらの微調整されたバリアントでクロスコダーをトレーニングします。
我々の結果は、CrossCoderが、自己反省や計算検証など、さまざまなタイプの推論に対応する機能を学習することを示唆しています。
さらに、蒸留モデルには、モデルを過度の思考または鋭い考えモードに導くために使用できるユニークな推論機能の方向が含まれていることがわかります。
特に、4つの特定の推論カテゴリの分析を実行します。（a）自己反省、（b）演ductive的推論、（c）代替推論、および（d）対照的な推論。
最後に、蒸留プロセスに起因する特徴ジオメトリの変化を調べ、蒸留モデルがより多くの蒸留モデルがより構造化された表現を開発し、蒸留性能の向上と相関する可能性があることを見つけます。
蒸留がモデルをどのように修正するかについての洞察を提供することにより、私たちの研究はAIシステムの透明性と信頼性の向上に貢献します。

要約(オリジナル)

In this paper, we investigate how model distillation impacts the development of reasoning features in large language models (LLMs). To explore this, we train a crosscoder on Qwen-series models and their fine-tuned variants. Our results suggest that the crosscoder learns features corresponding to various types of reasoning, including self-reflection and computation verification. Moreover, we observe that distilled models contain unique reasoning feature directions, which could be used to steer the model into over-thinking or incisive-thinking mode. In particular, we perform analysis on four specific reasoning categories: (a) self-reflection, (b) deductive reasoning, (c) alternative reasoning, and (d) contrastive reasoning. Finally, we examine the changes in feature geometry resulting from the distillation process and find indications that larger distilled models may develop more structured representations, which correlate with enhanced distillation performance. By providing insights into how distillation modifies the model, our study contributes to enhancing the transparency and reliability of AI systems.

arxiv情報

著者 David D. Baek,Max Tegmark
発行日 2025-03-05 18:40:19+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Towards Understanding Distilled Reasoning Models: A Representational Approach はコメントを受け付けていません

Opportunistic Routing in Wireless Communications via Learnable State-Augmented Policies

投稿日: 2025年3月6日 作成者: jarxiv

要約

このペーパーでは、大規模なワイヤレス通信ネットワークでのパケットベースの情報ルーティングの課題について説明します。
この問題は、各ネットワークノードがローカル情報のみを使用して動作する制約付き統計学習タスクとしてフレーム化されています。
日和見的なルーティングは、ワイヤレス通信のブロードキャスト性を活用して、最適な転送ノードを動的に選択し、複数のリレーノードを介して宛先に到達できるようにします。
これを解決するために、ネットワーク内のソースノードによって処理される総情報を最大化することを目的とした状態高度（SA）ベースの分散最適化アプローチを提案します。
問題の定式化は、ネットワークノード間のトポロジカル接続に基づいてグラフ畳み込みを実行するグ​​ラフニューラルネットワーク（GNNS）を活用します。
監視されていない学習パラダイムを使用して、GNNアーキテクチャからルーティングポリシーを抽出し、さまざまなフローにわたるソースノードの最適な決定を可能にします。
数値実験は、特にベースラインアルゴリズムと比較した場合、提案された方法がGNNパラメーター化モデルをトレーニングするときに優れたパフォーマンスを達成することを示しています。
さらに、この方法を現実世界のネットワークトポロジとワイヤレスアドホックネットワークテストベッドに適用すると、GNNの堅牢性と転送可能性を強調します。

要約(オリジナル)

This paper addresses the challenge of packet-based information routing in large-scale wireless communication networks. The problem is framed as a constrained statistical learning task, where each network node operates using only local information. Opportunistic routing exploits the broadcast nature of wireless communication to dynamically select optimal forwarding nodes, enabling the information to reach the destination through multiple relay nodes simultaneously. To solve this, we propose a State-Augmentation (SA) based distributed optimization approach aimed at maximizing the total information handled by the source nodes in the network. The problem formulation leverages Graph Neural Networks (GNNs), which perform graph convolutions based on the topological connections between network nodes. Using an unsupervised learning paradigm, we extract routing policies from the GNN architecture, enabling optimal decisions for source nodes across various flows. Numerical experiments demonstrate that the proposed method achieves superior performance when training a GNN-parameterized model, particularly when compared to baseline algorithms. Additionally, applying the method to real-world network topologies and wireless ad-hoc network test beds validates its effectiveness, highlighting the robustness and transferability of GNNs.

arxiv情報

著者 Sourajit Das,Navid NaderiAlizadeh,Rahul Mangharam,Alejandro Ribeiro
発行日 2025-03-05 18:44:56+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, eess.SP | Opportunistic Routing in Wireless Communications via Learnable State-Augmented Policies はコメントを受け付けていません

Constrained Gaussian Wasserstein Optimal Transport with Commutative Covariance Matrices

投稿日: 2025年3月6日 作成者: jarxiv

要約

最適な輸送では、信号処理と機械学習における広範なアプリケーションが見つかりました。
多くの同等の処方の中で、最適な輸送は、宛先に規定された分布を備えたランダム変数/ベクトルを再構築し、ソースの特定のランダム変数/ベクトルに対する予想される歪みを最小限に抑えようとしています。
ただし、実際には、特定の制約により、最適な輸送計画が実行不可能になる場合があります。
この作業では、知覚認識の損失のある圧縮、生成的主成分分析、およびディープジョイントソースチャネルコーディングによって動機付けられたレートの制約、寸法制約、およびチャネル制約の3種類の制約を検討します。
ソースと再構築変数の両方が多変量ガウスであり、エンドツーエンドの歪みが平均四角誤差によって測定される、ガウスワッサースタイン最適輸送と呼ばれる設定に特別な服装が与えられます。
ソースと再構成変数の通勤の共分散行列の下で、前述の3つの制約の下で、最小限の達成可能な平均四角誤差の明示的な結果を導き出します。

要約(オリジナル)

Optimal transport has found widespread applications in signal processing and machine learning. Among its many equivalent formulations, optimal transport seeks to reconstruct a random variable/vector with a prescribed distribution at the destination while minimizing the expected distortion relative to a given random variable/vector at the source. However, in practice, certain constraints may render the optimal transport plan infeasible. In this work, we consider three types of constraints: rate constraints, dimension constraints, and channel constraints, motivated by perception-aware lossy compression, generative principal component analysis, and deep joint source-channel coding, respectively. Special attenion is given to the setting termed Gaussian Wasserstein optimal transport, where both the source and reconstruction variables are multivariate Gaussian, and the end-to-end distortion is measured by the mean squared error. We derive explicit results for the minimum achievable mean squared error under the three aforementioned constraints when the covariance matrices of the source and reconstruction variables commute.

arxiv情報

著者 Jun Chen,Jia Wang,Ruibin Li,Han Zhou,Wei Dong,Huan Liu,Yuanhao Yu
発行日 2025-03-05 18:56:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.IT, cs.LG, math.IT | Constrained Gaussian Wasserstein Optimal Transport with Commutative Covariance Matrices はコメントを受け付けていません

PacketCLIP: Multi-Modal Embedding of Network Traffic and Language for Cybersecurity Reasoning

投稿日: 2025年3月6日 作成者: jarxiv

要約

交通分類はサイバーセキュリティに不可欠ですが、暗号化されたトラフィックは重大な課題をもたらします。
パケットデータと自然言語セマンティクスを組み合わせたマルチモーダルフレームワークであるPacketClipを、対照的な前oringおよび階層グラフニューラルネットワーク（GNN）推論を介して提示します。
PacketClipは、セマンティック推論を効率的な分類と統合し、暗号化されたネットワークフローの異常の堅牢な検出を可能にします。
テキストの説明をパケットの動作に合わせることにより、多様なセキュリティシナリオ全体で解釈可能性、スケーラビリティ、および実用的な適用性が向上します。
PacketClipは95％の平均AUCを達成し、ベースラインを11.6％上回り、モデルサイズを92％削減し、リアルタイムの異常検出に最適です。
高度な機械学習技術と実用的なサイバーセキュリティのニーズを橋渡しすることにより、PacketClipは、リソースに制約のある環境で暗号化されたトラフィック分類とネットワーク侵入検知の課題に取り組むためのスケーラブルで効率的で解釈可能なソリューションの基盤を提供します。

要約(オリジナル)

Traffic classification is vital for cybersecurity, yet encrypted traffic poses significant challenges. We present PacketCLIP, a multi-modal framework combining packet data with natural language semantics through contrastive pretraining and hierarchical Graph Neural Network (GNN) reasoning. PacketCLIP integrates semantic reasoning with efficient classification, enabling robust detection of anomalies in encrypted network flows. By aligning textual descriptions with packet behaviors, it offers enhanced interpretability, scalability, and practical applicability across diverse security scenarios. PacketCLIP achieves a 95% mean AUC, outperforms baselines by 11.6%, and reduces model size by 92%, making it ideal for real-time anomaly detection. By bridging advanced machine learning techniques and practical cybersecurity needs, PacketCLIP provides a foundation for scalable, efficient, and interpretable solutions to tackle encrypted traffic classification and network intrusion detection challenges in resource-constrained environments.

arxiv情報

著者 Ryozo Masukawa,Sanggeon Yun,Sungheon Jeong,Wenjun Huang,Yang Ni,Ian Bryant,Nathaniel D. Bastian,Mohsen Imani
発行日 2025-03-05 18:58:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CR, cs.LG | PacketCLIP: Multi-Modal Embedding of Network Traffic and Language for Cybersecurity Reasoning はコメントを受け付けていません

Personalize Your LLM: Fake it then Align it

投稿日: 2025年3月6日 作成者: jarxiv

要約

大規模な言語モデル（LLM）のパーソナライズは、ユーザーエクスペリエンスを向上させるテーラードインタラクションを提供するために不可欠です。
多くの既存のパーソナライズ方法には、各ユーザーにLLMを微調整する必要があり、広範な採用のためにそれらを法外に高価にします。
検索ベースのアプローチは、より計算効率の良い代替品を提供しますが、すべてのユーザーが一貫して利用できない大規模で高品質のデータセットに依存しています。
この課題に対処するために、（1）自己生成された個人選好データと（2）迅速で費用対効果の高いパーソナライズを可能にするために（2）表現編集を使用するスケーラブルで効率的なパーソナライズアプローチであるChameleonを提案します。
ランプパーソナライゼーションベンチマークのものを含むさまざまなタスクに関する実験は、Chameleonがモデルを個人的な好みに効率的に適応させ、命令チューニングモデルを改善し、2つのモデルアーキテクチャで平均40％の2つのパーソナライズベースラインを上回ることを示しています。

要約(オリジナル)

Personalizing large language models (LLMs) is essential for delivering tailored interactions that improve user experience. Many existing personalization methods require fine-tuning LLMs for each user, rendering them prohibitively expensive for widespread adoption. Although retrieval-based approaches offer a more compute-efficient alternative, they still depend on large, high-quality datasets that are not consistently available for all users. To address this challenge, we propose CHAMELEON, a scalable and efficient personalization approach that uses (1) self-generated personal preference data and (2) representation editing to enable quick and cost-effective personalization. Our experiments on various tasks, including those from the LaMP personalization benchmark, show that CHAMELEON efficiently adapts models to personal preferences, improving instruction-tuned models and outperforms two personalization baselines by an average of 40% across two model architectures.

arxiv情報

著者 Yijing Zhang,Dyah Adila,Changho Shin,Frederic Sala
発行日 2025-03-05 18:59:19+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Personalize Your LLM: Fake it then Align it はコメントを受け付けていません

Unified Mind Model: Reimagining Autonomous Agents in the LLM Era

投稿日: 2025年3月6日 作成者: jarxiv

要約

大規模な言語モデル（LLM）は最近、ドメイン、タスク、言語（ChatGPTおよびGPT-4など）にわたって顕著な能力を実証し、人間のような認知能力を持つ一般的な自律剤の研究を復活させました。
LLMSでは、理論的基礎は依然として挑戦的な開かれた問題です。
この論文では、人間レベルの認知能力を持つ自律剤の迅速な創造を促進するためのガイダンスを提供する、新しい理論的認知アーキテクチャである統一マインドモデル（UMM）を提案します。
具体的には、UMMはグローバルワークスペース理論から始まり、さらにLLMSを活用して、マルチモーダル認識、計画、推論、ツールの使用、学習、記憶、反射、動機など、さまざまな認知能力を持つエージェントを可能にします。
次に、UMMに基づいて、エージェントビルディングエンジンMINDOSを開発します。これにより、ユーザーはプログラミングの努力なしでドメイン/タスク固有の自律エージェントをすばやく作成できます。

要約(オリジナル)

Large language models (LLMs) have recently demonstrated remarkable capabilities across domains, tasks, and languages (e.g., ChatGPT and GPT-4), reviving the research of general autonomous agents with human-like cognitive abilities.Such human-level agents require semantic comprehension and instruction-following capabilities, which exactly fall into the strengths of LLMs.Although there have been several initial attempts to build human-level agents based on LLMs, the theoretical foundation remains a challenging open problem. In this paper, we propose a novel theoretical cognitive architecture, the Unified Mind Model (UMM), which offers guidance to facilitate the rapid creation of autonomous agents with human-level cognitive abilities. Specifically, our UMM starts with the global workspace theory and further leverage LLMs to enable the agent with various cognitive abilities, such as multi-modal perception, planning, reasoning, tool use, learning, memory, reflection and motivation. Building upon UMM, we then develop an agent-building engine, MindOS, which allows users to quickly create domain-/task-specific autonomous agents without any programming effort.

arxiv情報

著者 Pengbo Hu,Xiang Ying
発行日 2025-03-05 12:49:44+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Unified Mind Model: Reimagining Autonomous Agents in the LLM Era はコメントを受け付けていません