LLM4TS: Aligning Pre-Trained LLMs as Data-Efficient Time-Series Forecasters

投稿日: 2025年2月21日 作成者: jarxiv

要約

多変量の時系列予測は、経済計画や気象予測など、さまざまなドメインで不可欠です。
Deep Train-From-Scratchモデルは効果的なパフォーマンスを示していますが、大量のデータが必要であり、現実世界の適用性を制限しています。
最近、研究者は、限られた非言語データセットを効果的に処理するために、事前に訓練された大手言語モデル（LLM）の表現学習転送可能性を活用しました。
ただし、LLMSを時系列データに組み込むと、時系列と言語データの間の異なる構成とマルチスケールの時間情報を処理できないため、限られた適応の課題があります。
これらの課題に取り組むために、事前に訓練されたLLMを使用した時系列予測のフレームワークであるLLM4TSを提案します。
LLM4TSは、2段階の微調整戦略で構成されています。これは、LLMSを時系列データのニュアンスに合わせるための時系列アライメント段階、およびダウンストリームタイムシリーズの予測タスクの予測微調整段階です。
さらに、私たちのフレームワークは、事前に訓練されたLLM内にマルチスケールの時間データを統合する新しい2レベルの集約方法を備えており、時間固有の情報を解釈する能力を高めています。
7つのタイムシリーズ予測データセットの実験では、LLM4TSはフルショットシナリオで訓練されたスクラッチから訓練されたモデルと比較して、既存の最先端の方法よりも優れており、少ないショットシナリオでも最高ランクを達成しています。
さらに、さまざまな監視されていない表現学習アプローチと比較した評価は、LLM4TSの予測学習における表現学習を強調しています。
アブレーション研究は、各コンポーネントのLLM4TSへの貢献をさらに検証し、最適なパフォーマンスのためにLLMの事前訓練を受けた重みを利用するという重要な役割を強調します。
このコードは、https：//github.com/blacksnail789521/llm4tsで入手できます。

要約(オリジナル)

Multivariate time-series forecasting is vital in various domains, e.g., economic planning and weather prediction. Deep train-from-scratch models have exhibited effective performance yet require large amounts of data, which limits real-world applicability. Recently, researchers have leveraged the representation learning transferability of pre-trained Large Language Models (LLMs) to handle limited non-linguistic datasets effectively. However, incorporating LLMs with time-series data presents challenges of limited adaptation due to different compositions between time-series and linguistic data, and the inability to process multi-scale temporal information. To tackle these challenges, we propose LLM4TS, a framework for time-series forecasting with pre-trained LLMs. LLM4TS consists of a two-stage fine-tuning strategy: the time-series alignment stage to align LLMs with the nuances of time-series data, and the forecasting fine-tuning stage for downstream time-series forecasting tasks. Furthermore, our framework features a novel two-level aggregation method that integrates multi-scale temporal data within pre-trained LLMs, enhancing their ability to interpret time-specific information. In experiments across 7 time-series forecasting datasets, LLM4TS is superior to existing state-of-the-art methods compared with trained-from-scratch models in full-shot scenarios, and also achieves the highest rank in few-shot scenarios. In addition, evaluations compared with different unsupervised representation learning approaches highlight LLM4TS’s effectiveness with representation learning in forecasting tasks. Ablation studies further validate each component’s contribution to LLM4TS and underscore the essential role of utilizing LLM’s pre-trained weights for optimal performance. The code is available at https://github.com/blacksnail789521/LLM4TS.

arxiv情報

著者 Ching Chang,Wei-Yao Wang,Wen-Chih Peng,Tien-Fu Chen
発行日 2025-02-20 16:48:08+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | LLM4TS: Aligning Pre-Trained LLMs as Data-Efficient Time-Series Forecasters はコメントを受け付けていません

Beyond Performance Scores: Directed Functional Connectivity as a Brain-Based Biomarker for Motor Skill Learning and Retention

投稿日: 2025年2月21日 作成者: jarxiv

要約

手術、ロボット工学、スポーツなどの分野での運動スキルの習得には、広範なトレーニングを通じて複雑なタスクシーケンスを学習することが含まれます。
実行時間やエラー率などの従来のパフォーマンスメトリックは、スキル学習と保持の根底にあるニューラルメカニズムをキャプチャできないため、限られた洞察を提供します。
この研究では、運動能力学習と保持を評価するための新しい脳ベースのバイオマーカーとして、脳波（EEG）に由来する方向性機能接続（DFC）を紹介します。
初めて、DFCはバイオマーカーとして適用され、FITTSおよびPOSNERモーター学習モデルの段階をマッピングし、スキルの習得と保持の根底にある神経メカニズムに関する新しい洞察を提供します。
従来の尺度とは異なり、神経情報の流れの強度と方向の両方を捉え、異なる学習段階で神経適応を包括的に理解することを提供します。
分析は、DFCがFittsおよびPosnerモデルのさまざまな段階を介して進行を効果的に特定して追跡できることを示しています。
さらに、6週間のウォッシュアウト期間にわたる安定性は、長期保持の監視における有用性を強調しています。
対照群ではDFCの有意な変化は観察されず、観察された神経適応がトレーニングに固有であり、外部要因によるものではないことを確認しました。
グループおよび個々のレベルでの学習プロセスの詳細なビューを提供することにより、DFCは、外科教育など、精度と長期の保持が重要な分野の結果を高めることを目的としたパーソナライズされたターゲットトレーニングプロトコルの開発を促進します。
これらの調査結果は、従来のパフォーマンスメトリックを補完する堅牢なバイオマーカーとしてDFCの価値を強調し、運動能力の学習と保持をより深く理解することを提供します。

要約(オリジナル)

Motor skill acquisition in fields like surgery, robotics, and sports involves learning complex task sequences through extensive training. Traditional performance metrics, like execution time and error rates, offer limited insight as they fail to capture the neural mechanisms underlying skill learning and retention. This study introduces directed functional connectivity (dFC), derived from electroencephalography (EEG), as a novel brain-based biomarker for assessing motor skill learning and retention. For the first time, dFC is applied as a biomarker to map the stages of the Fitts and Posner motor learning model, offering new insights into the neural mechanisms underlying skill acquisition and retention. Unlike traditional measures, it captures both the strength and direction of neural information flow, providing a comprehensive understanding of neural adaptations across different learning stages. The analysis demonstrates that dFC can effectively identify and track the progression through various stages of the Fitts and Posner model. Furthermore, its stability over a six-week washout period highlights its utility in monitoring long-term retention. No significant changes in dFC were observed in a control group, confirming that the observed neural adaptations were specific to training and not due to external factors. By offering a granular view of the learning process at the group and individual levels, dFC facilitates the development of personalized, targeted training protocols aimed at enhancing outcomes in fields where precision and long-term retention are critical, such as surgical education. These findings underscore the value of dFC as a robust biomarker that complements traditional performance metrics, providing a deeper understanding of motor skill learning and retention.

arxiv情報

著者 Anil Kamat,Rahul Rahul,Lora Cavuoto,Harry Burke,Matthew Hackett,Jack Norfleet,Steven Schwaitzberg,Suvranu De
発行日 2025-02-20 16:55:08+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, q-bio.NC | Beyond Performance Scores: Directed Functional Connectivity as a Brain-Based Biomarker for Motor Skill Learning and Retention はコメントを受け付けていません

SEA: Shareable and Explainable Attribution for Query-based Black-box Attacks

投稿日: 2025年2月21日 作成者: jarxiv

要約

機械学習（ML）システムは、特にクエリベースのブラックボックス攻撃による敵対例に対して脆弱です。
このような攻撃を検出および防止するさまざまな努力にもかかわらず、MLシステムは依然として危険にさらされており、証拠の記録、分析、共有を含むセキュリティに対するより包括的なアプローチを要求しています。
フォレンジックと脅威インテリジェンス共有の確立された実践からの従来のセキュリティの利益は、MLセキュリティでは、攻撃者をプロファイルしてそれらに関する情報を共有する方法をまだ見つけていません。
これに応じて、このペーパーでは、法医学目的のためにMLシステムに対するブラックボックス攻撃を特徴付ける新しいMLセキュリティシステムであるSeaを紹介し、人間と実現可能なインテリジェンス共有を促進します。
Sea Leverages Hidden Markovモデルは、観測されたクエリシーケンスを既知の攻撃に帰属させます。
したがって、最終的な敵対的な例だけに焦点を当てるのではなく、攻撃の進行を理解しています。
私たちの評価は、Seaが2番目の事件であっても、攻撃の帰属に効果的であり、法医学分析を回避するために設計された適応戦略に堅牢であることを明らかにしています。
Seaの攻撃の動作に関する説明により、広く使用されている攻撃ライブラリで特定のマイナーバグを指紋することさえできます。
たとえば、アートv1.14のシグノートとスクエアの攻撃が50％以上の重複したクエリを送信することがわかります。
さまざまな設定でSeaを徹底的に評価し、90％を超えるTOP-1および95％のトップ3の精度で同じ攻撃を認識できることを実証します。
最後に、テキスト分類のような他のドメインにSeaがどのように一般化するかを示します。

要約(オリジナル)

Machine Learning (ML) systems are vulnerable to adversarial examples, particularly those from query-based black-box attacks. Despite various efforts to detect and prevent such attacks, ML systems are still at risk, demanding a more comprehensive approach to security that includes logging, analyzing, and sharing evidence. While traditional security benefits from well-established practices of forensics and threat intelligence sharing, ML security has yet to find a way to profile its attackers and share information about them. In response, this paper introduces SEA, a novel ML security system to characterize black-box attacks on ML systems for forensic purposes and to facilitate human-explainable intelligence sharing. SEA leverages Hidden Markov Models to attribute the observed query sequence to known attacks. It thus understands the attack’s progression rather than focusing solely on the final adversarial examples. Our evaluations reveal that SEA is effective at attack attribution, even on the second incident, and is robust to adaptive strategies designed to evade forensic analysis. SEA’s explanations of the attack’s behavior allow us even to fingerprint specific minor bugs in widely used attack libraries. For example, we discover that the SignOPT and Square attacks in ART v1.14 send over 50% duplicated queries. We thoroughly evaluate SEA on a variety of settings and demonstrate that it can recognize the same attack with more than 90% Top-1 and 95% Top-3 accuracy. Finally, we demonstrate how SEA generalizes to other domains like text classification.

arxiv情報

著者 Yue Gao,Ilia Shumailov,Kassem Fawaz
発行日 2025-02-20 17:04:22+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CR, cs.LG | SEA: Shareable and Explainable Attribution for Query-based Black-box Attacks はコメントを受け付けていません

Reinforcement Learning with Graph Attention for Routing and Wavelength Assignment with Lightpath Reuse

投稿日: 2025年2月21日 作成者: jarxiv

要約

多くの作品は、フレックスグリッドネットワークでのルーティングとスペクトル割り当ての補強学習（RL）を調査していますが、このパラダイムを使用している生産システムにもかかわらず、これまでの1つの作業のみがフレックスレートトランスポンダーを備えた固定グリッドのRLを調査しました。
Flex-Rate Transpondersにより、既存のLightPathが新しいサービスに対応することができます。これは、LightPath Reuse（RWA-LR）を使用したルーティングと波長の割り当てと呼ばれるタスクです。
この問題を再検討し、RWA-LRのヒューリスティックアルゴリズムの徹底的なベンチマークを提示します。これは、候補パスが全長ではなくホップ数で順序付けられるとスループットが6％増加することが示されています。
グラフ構造データを活用するために、ポリシーと値関数のグラフ注意ネットワークを使用してRWA-LRのRLエージェントをトレーニングします。
私たちは方法論の詳細と、再現のためのすべてのコードのすべてのコードを提供します。
以前の最先端のRLアプローチを2.5％（17.4 Tbpsは追加のスループットを意味する）、最高のヒューリスティックを1.2％（8.5 Tbpsは追加のスループットを意味します）よりも優れています。
この限界ゲインは、Long Horizo​​nリソース割り当てタスクで効果的なRLポリシーを学習することの難しさを強調しています。

要約(オリジナル)

Many works have investigated reinforcement learning (RL) for routing and spectrum assignment on flex-grid networks but only one work to date has examined RL for fixed-grid with flex-rate transponders, despite production systems using this paradigm. Flex-rate transponders allow existing lightpaths to accommodate new services, a task we term routing and wavelength assignment with lightpath reuse (RWA-LR). We re-examine this problem and present a thorough benchmarking of heuristic algorithms for RWA-LR, which are shown to have 6% increased throughput when candidate paths are ordered by number of hops, rather than total length. We train an RL agent for RWA-LR with graph attention networks for the policy and value functions to exploit the graph-structured data. We provide details of our methodology and open source all of our code for reproduction. We outperform the previous state-of-the-art RL approach by 2.5% (17.4 Tbps mean additional throughput) and the best heuristic by 1.2% (8.5 Tbps mean additional throughput). This marginal gain highlights the difficulty in learning effective RL policies on long horizon resource allocation tasks.

arxiv情報

著者 Michael Doherty,Alejandra Beghelli
発行日 2025-02-20 17:10:11+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.NI, cs.SY, eess.SY | Reinforcement Learning with Graph Attention for Routing and Wavelength Assignment with Lightpath Reuse はコメントを受け付けていません

SQL4NN: Validation and expressive querying of models as data

投稿日: 2025年2月21日 作成者: jarxiv

要約

データから学んだ機械学習モデルは、それ自体が重要で、インターション的な、種類のデータであると考えています。
そのため、モデル上のさまざまな分析タスクは、このインターションデータに関するクエリと考えることができ、多くの場合、トレーニングや検証のデータなどの拡張データと組み合わされます。
リレーショナルデータベースシステムとSQLが実際に多くのこのようなタスクに適していることを実証します。

要約(オリジナル)

We consider machine learning models, learned from data, to be an important, intensional, kind of data in themselves. As such, various analysis tasks on models can be thought of as queries over this intensional data, often combined with extensional data such as data for training or validation. We demonstrate that relational database systems and SQL can actually be well suited for many such tasks.

arxiv情報

著者 Mark Gerarts,Juno Steegmans,Jan Van den Bussche
発行日 2025-02-20 17:16:10+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.DB, cs.LG | SQL4NN: Validation and expressive querying of models as data はコメントを受け付けていません

Multi-Objective Causal Bayesian Optimization

投稿日: 2025年2月21日 作成者: jarxiv

要約

意思決定の問題では、介入の結果はしばしばシステムコンポーネント間の因果関係に依存し、評価するのに非常に費用がかかります。
このような設定では、因果ベイズの最適化（CBO）は、システム変数間の因果関係を活用し、介入を順次実行して最小限のデータで最適にアプローチすることができます。
CBOをマルチアウトカム設定に拡張すると、既知のマルチターゲット因果グラフ内で微小最適介入を特定するためのパラダイムである多目的因果ベイジアン最適化（MO-CBO）を提案します。
最初に、潜在的に最適な変数セットのグラフィカルな特性評価を導き出します。
MO-CBOの問題をいくつかの従来の多目的最適化タスクに分解できることを示し、次に、相対的な過剰な改善を使用してこれらのタスク全体で順次バランスをとるアルゴリズムを導入します。
提案された方法は、合成および現実世界の両方の因果グラフで検証され、因果情報が利用可能な設定での従来の（非因果的）多目的ベイジアン最適化に対するその優位性を示します。

要約(オリジナル)

In decision-making problems, the outcome of an intervention often depends on the causal relationships between system components and is highly costly to evaluate. In such settings, causal Bayesian optimization (CBO) can exploit the causal relationships between the system variables and sequentially perform interventions to approach the optimum with minimal data. Extending CBO to the multi-outcome setting, we propose Multi-Objective Causal Bayesian Optimization (MO-CBO), a paradigm for identifying Pareto-optimal interventions within a known multi-target causal graph. We first derive a graphical characterization for potentially optimal sets of variables to intervene upon. Showing that any MO-CBO problem can be decomposed into several traditional multi-objective optimization tasks, we then introduce an algorithm that sequentially balances exploration across these tasks using relative hypervolume improvement. The proposed method will be validated on both synthetic and real-world causal graphs, demonstrating its superiority over traditional (non-causal) multi-objective Bayesian optimization in settings where causal information is available.

arxiv情報

著者 Shriya Bhatija,Paul-David Zuercher,Jakob Thumm,Thomas Bohné
発行日 2025-02-20 17:26:16+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Multi-Objective Causal Bayesian Optimization はコメントを受け付けていません

Fast Bayesian Inference for Neutrino Non-Standard Interactions at Dark Matter Direct Detection Experiments

投稿日: 2025年2月21日 作成者: jarxiv

要約

多次元パラメータースペースは、一般に標準モデルを超える物理理論で発生します。
しかし、それらはしばしば、伝統的なものから宇宙粒子の物理学を使用して、横断するのに費用がかかる複雑な後部幾何学を持っています。
この分野に進出し始めたばかりのいくつかの最近の革新により、このような複雑な事後は可能になりました。
これらには、GPU加速度、自動分化、およびニューラルネットワーク誘導のリダメーター化が含まれます。
これらの進歩は、非標準のニュートリノ相互作用のコンテキストで暗黒物質直接検出実験に適用し、ベイジアン推論を実施する際に従来のネストされたサンプリング技術に対するパフォーマンスをベンチマークします。
ネストされたサンプリングのみと比較して、これらの手法により、ネストされたサンプリングとハミルトニアンモンテカルロの両方のパフォーマンスが向上し、それぞれ$ \ sim 100 $と$ \ sim 60 $の因子による推論が加速されます。
ネストされたサンプリングはベイジアンの証拠も評価するため、これらの進歩は、自然科学で広く使用されている既存の実装との互換性を維持しながら、モデル比較パフォーマンスを改善するために活用される可能性があります。
これらの手法を使用して、すべてのパラメーターが同時に変化するようにするための直接検出実験のために、ニュートリノ非標準相互作用パラメータースペースで最初のスキャンを実行します。
これらの進歩は、多次元パラメータースペースを特徴とする宇宙粒子物理学の他の領域に広く適用できると予想しています。

要約(オリジナル)

Multi-dimensional parameter spaces are commonly encountered in physics theories that go beyond the Standard Model. However, they often possess complicated posterior geometries that are expensive to traverse using techniques traditional to astroparticle physics. Several recent innovations, which are only beginning to make their way into this field, have made navigating such complex posteriors possible. These include GPU acceleration, automatic differentiation, and neural-network-guided reparameterization. We apply these advancements to dark matter direct detection experiments in the context of non-standard neutrino interactions and benchmark their performances against traditional nested sampling techniques when conducting Bayesian inference. Compared to nested sampling alone, we find that these techniques increase performance for both nested sampling and Hamiltonian Monte Carlo, accelerating inference by factors of $\sim 100$ and $\sim 60$, respectively. As nested sampling also evaluates the Bayesian evidence, these advancements can be exploited to improve model comparison performance while retaining compatibility with existing implementations that are widely used in the natural sciences. Using these techniques, we perform the first scan in the neutrino non-standard interactions parameter space for direct detection experiments whereby all parameters are allowed to vary simultaneously. We expect that these advancements are broadly applicable to other areas of astroparticle physics featuring multi-dimensional parameter spaces.

arxiv情報

著者 Dorian W. P. Amaral,Shixiao Liang,Juehang Qin,Christopher Tunnell
発行日 2025-02-20 17:41:47+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, hep-ph, stat.ML | Fast Bayesian Inference for Neutrino Non-Standard Interactions at Dark Matter Direct Detection Experiments はコメントを受け付けていません

Determining Layer-wise Sparsity for Large Language Models Through a Theoretical Perspective

投稿日: 2025年2月21日 作成者: jarxiv

要約

この論文では、理論的な視点を通じて、大規模な言語モデル（LLMS）の層ごとのスパース率を決定するという課題に対処します。
具体的には、既存のLLMSスパース化方法で「$ \ textbf {再構成エラー爆発} $」の重要な問題を特定します。
これは、以前の層からのエラーが後続の層で伝播して増幅するスパース化プロセス全体の再構築エラーの累積効果を指します。
その結果、全体的な再構成エラーが大幅に増加し、モデルのパフォーマンスが大幅に分解されます。
理論分析を通じて、この問題を軽減する層ごとのスパース割り当てへのシンプルで効果的なアプローチを導き出します。
私たちの方法は、単調に増加する算術進行を使用し、複数の層のスパース速度を決定するプロセスを減らして、単一の共通の差分計の決定に減少します。
驚くべきことに、これにより、数回の試行で最適な層ごとのスパース率を識別できます。
私たちの理論分析と実験結果の両方は、このスパース性割り当てスキームが最適に近いことを示しています。
広範な実験は、私たちの方法がさまざまなアーキテクチャにわたるスパースLLMのパフォーマンスを大幅に改善し、既存のレイヤーごとのスパース性方法を上回ることを示しています。
さらに、さまざまな圧縮技術のパフォーマンスを向上させ、視覚モデルとマルチモーダルモデルに適用できます。
特に、私たちの方法は、ワンダを介して得られた70 $ \％$のスパースllama2-7bモデルの52.10の困惑を達成し、平均ゼロショット精度を10.50 $ \％$ $で改善し、2.63 $ \ Times $のスピードアップを提供します。
それぞれ2.23 $ \ times $ cpuとgpu。

要約(オリジナル)

In this paper, we address the challenge of determining the layer-wise sparsity rates of large language models (LLMs) through a theoretical perspective. Specifically, we identify a critical issue of ”$\textbf{reconstruction error explosion}$” in existing LLMs sparsification methods. This refers to the cumulative effect of reconstruction errors throughout the sparsification process, where errors from earlier layers propagate and amplify in subsequent layers. As a result, the overall reconstruction error increases significantly, leading to a substantial degradation in model performance. Through theoretical analysis, we derive a simple yet effective approach to layer-wise sparsity allocation that mitigates this issue. Our method uses a monotonically increasing arithmetic progression, reducing the process of determining sparsity rates for multiple layers to the determination of a single common difference hyperparameter. Remarkably, this allows for the optimal layer-wise sparsity rates to be identified with just a few trials. Both our theoretical analysis and experimental results demonstrate that this sparsity allocation scheme is near optimal. Extensive experiments show that our method significantly improves the performance of sparse LLMs across various architectures, outperforming existing layer-wise sparsity methods. Furthermore, it enhances the performance of various compression techniques and is applicable to vision and multimodal models. Notably, our method achieves a reduction of 52.10 in perplexity for the 70$\%$ sparse LLaMA2-7B model obtained via Wanda, improves average zero-shot accuracy by 10.50$\%$, and delivers speedups of 2.63$\times$ and 2.23$\times$ on CPU and GPU, respectively.

arxiv情報

著者 Weizhong Huang,Yuxin Zhang,Xiawu Zheng,Fei Chao,Rongrong Ji
発行日 2025-02-20 17:51:10+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Determining Layer-wise Sparsity for Large Language Models Through a Theoretical Perspective はコメントを受け付けていません

Addressing Rotational Learning Dynamics in Multi-Agent Reinforcement Learning

投稿日: 2025年2月21日 作成者: jarxiv

要約

マルチエージェント強化学習（MARL）は、エージェントの協力と競争を通じて複雑な問題を解決するための強力なパラダイムとして浮上し、ドメイン全体の広範なアプリケーションを見つけました。
その成功にもかかわらず、Marlは再現性の危機に直面しています。
部分的には、この問題は、競合するエージェントの目標から生じる回転最適化ダイナミクスに関連しており、標準最適化アルゴリズムを超えた方法を必要とすることを示しています。
Marlアプローチは、変分不等式（VIS）を使用してアプローチを再構成し、そのような問題に対処するための統一されたフレームワークを提供します。
VIS向けに設計された最適化手法を活用すると、既存のMARLアルゴリズムに回転ダイナミクスを処理できる勾配ベースのVIメソッドを統合するための一般的なアプローチを提案します。
経験的な結果は、ベンチマーク全体で大幅なパフォーマンスの改善を示しています。
ゼロサムゲーム、ロック – ペーパー – スシザーとマッチングペニーでは、VIメソッドは平衡戦略へのより良い収束を達成し、マルチエージェント粒子環境：プレデタープレーでは、チームの調整も強化します。
これらの結果は、MARLの高度な最適化技術の変革の可能性を強調しています。

要約(オリジナル)

Multi-agent reinforcement learning (MARL) has emerged as a powerful paradigm for solving complex problems through agents’ cooperation and competition, finding widespread applications across domains. Despite its success, MARL faces a reproducibility crisis. We show that, in part, this issue is related to the rotational optimization dynamics arising from competing agents’ objectives, and require methods beyond standard optimization algorithms. We reframe MARL approaches using Variational Inequalities (VIs), offering a unified framework to address such issues. Leveraging optimization techniques designed for VIs, we propose a general approach for integrating gradient-based VI methods capable of handling rotational dynamics into existing MARL algorithms. Empirical results demonstrate significant performance improvements across benchmarks. In zero-sum games, Rock–paper–scissors and Matching pennies, VI methods achieve better convergence to equilibrium strategies, and in the Multi-Agent Particle Environment: Predator-prey, they also enhance team coordination. These results underscore the transformative potential of advanced optimization techniques in MARL.

arxiv情報

著者 Baraah A. M. Sidahmed,Tatjana Chavdarova
発行日 2025-02-20 17:52:52+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Addressing Rotational Learning Dynamics in Multi-Agent Reinforcement Learning はコメントを受け付けていません

Efficient Multivariate Robust Mean Estimation Under Mean-Shift Contamination

投稿日: 2025年2月21日 作成者: jarxiv

要約

平均シフト汚染の存在下でのアイデンティティ共分散ガウスの堅牢な平均推定のアルゴリズム問題を研究します。
この汚染モデルでは、$ \ mathbb {r}^d $ generated i.i.dで一連のポイントが与えられます。
次のプロセスを介して。
パラメーター$ \ alpha <1/2 $の場合、$ i $ -th sample $ x_i $は次のように取得されます。 、i）$、ここで、$ \ mu \ in \ mathbb {r}^d $はターゲット平均です。 確率$ \ alpha $で、$ x_i $は$ \ mathcal {n}（z_i、i）$から描画されます。ここで、$ z_i $は不明で潜在的に任意です。 以前の研究では、このタスクの情報理論的限界を特徴づけました。 具体的には、核の汚染とは対照的に、平均シフト汚染の存在下で一貫した推定が可能であることが示されました。 一方、平均シフトモデルのすべての既知の堅牢な推定器は、次元で指数関数的に実行されます。 ここでは、一定の外れ値に耐えることができる平均シフト汚染を伴う高次元の堅牢な平均推定のための最初の計算効率のアルゴリズムを示します。 特に、私たちのアルゴリズムには、最適なサンプルの複雑さがあり、サンプル総収縮時間で実行され、目的の正確性にターゲット平均を近似しています。 概念的には、私たちの結果は、完全に敵対的な設定とランダムな設定の間にある自然騒音モデルに関する推論を研究する一連の作業に貢献しています。

要約(オリジナル)

We study the algorithmic problem of robust mean estimation of an identity covariance Gaussian in the presence of mean-shift contamination. In this contamination model, we are given a set of points in $\mathbb{R}^d$ generated i.i.d. via the following process. For a parameter $\alpha<1/2$, the $i$-th sample $x_i$ is obtained as follows: with probability $1-\alpha$, $x_i$ is drawn from $\mathcal{N}(\mu, I)$, where $\mu \in \mathbb{R}^d$ is the target mean; and with probability $\alpha$, $x_i$ is drawn from $\mathcal{N}(z_i, I)$, where $z_i$ is unknown and potentially arbitrary. Prior work characterized the information-theoretic limits of this task. Specifically, it was shown that, in contrast to Huber contamination, in the presence of mean-shift contamination consistent estimation is possible. On the other hand, all known robust estimators in the mean-shift model have running times exponential in the dimension. Here we give the first computationally efficient algorithm for high-dimensional robust mean estimation with mean-shift contamination that can tolerate a constant fraction of outliers. In particular, our algorithm has near-optimal sample complexity, runs in sample-polynomial time, and approximates the target mean to any desired accuracy. Conceptually, our result contributes to a growing body of work that studies inference with respect to natural noise models lying in between fully adversarial and random settings.

arxiv情報

著者 Ilias Diakonikolas,Giannis Iakovidis,Daniel M. Kane,Thanasis Pittas
発行日 2025-02-20 17:53:13+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.DS, cs.LG, math.ST, stat.ML, stat.TH | Efficient Multivariate Robust Mean Estimation Under Mean-Shift Contamination はコメントを受け付けていません