Timing is Important: Risk-aware Fund Allocation based on Time-Series Forecasting

投稿日: 2025年6月6日 作成者: jarxiv

要約

ファンドの配分は、金融領域でますます重要な問題でした。
実際には、特定の将来の期間内に特定の資産を購入するために資金を割り当てることを目指しています。
予測のみや予測 – 最適化アプローチなどの素朴なソリューションは、目標の不一致に苦しんでいます。
さらに、SOTA時系列予測モデルの導入は、予測された結果に追加の不確実性を必然的に導入します。
上記の両方の問題を解決するために、リスク認識の時系列の予測と割り当て（RTS-PNO）フレームワークを導入します。これは、予測モデルに事前の仮定を保持していません。
このようなフレームワークには、3つの機能が含まれています。（i）客観的なアライメント測定によるエンドツーエンドのトレーニング、（ii）適応予測不確実性キャリブレーション、および（iii）予測モデルに対する不可知論者。
RTS-PNOの評価は、オンラインとオフラインの両方の実験で行われます。
オフラインの実験では、3つのカテゴリの財務アプリケーションからの8つのデータセットが使用されます：通貨、株式、および暗号。
RTS-PNOは、他の競争のベースラインよりも一貫して優れています。
オンライン実験は、FIT、Tencent、Tencentの国境を越えた支払い事業で実施され、製品ラインアプローチと比較した場合、後悔の8.4 \％の減少が目撃されます。
オフライン実験のコードは、https：//github.com/fuyuanlyu/rts-pnoで入手できます。

要約(オリジナル)

Fund allocation has been an increasingly important problem in the financial domain. In reality, we aim to allocate the funds to buy certain assets within a certain future period. Naive solutions such as prediction-only or Predict-then-Optimize approaches suffer from goal mismatch. Additionally, the introduction of the SOTA time series forecasting model inevitably introduces additional uncertainty in the predicted result. To solve both problems mentioned above, we introduce a Risk-aware Time-Series Predict-and-Allocate (RTS-PnO) framework, which holds no prior assumption on the forecasting models. Such a framework contains three features: (i) end-to-end training with objective alignment measurement, (ii) adaptive forecasting uncertainty calibration, and (iii) agnostic towards forecasting models. The evaluation of RTS-PnO is conducted over both online and offline experiments. For offline experiments, eight datasets from three categories of financial applications are used: Currency, Stock, and Cryptos. RTS-PnO consistently outperforms other competitive baselines. The online experiment is conducted on the Cross-Border Payment business at FiT, Tencent, and an 8.4\% decrease in regret is witnessed when compared with the product-line approach. The code for the offline experiment is available at https://github.com/fuyuanlyu/RTS-PnO.

arxiv情報

著者 Fuyuan Lyu,Linfeng Du,Yunpeng Weng,Qiufang Ying,Zhiyan Xu,Wen Zou,Haolun Wu,Xiuqiang He,Xing Tang
発行日 2025-06-05 16:57:09+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | コメントする

Evaluating Sparse Autoencoders: From Shallow Design to Matching Pursuit

投稿日: 2025年6月6日 作成者: jarxiv

要約

スパース自動エンコーダー（SAE）は最近、解釈可能性のための中心的なツールになりました。辞書学習原則を活用して、基礎となる構造が一般的に不明である神経表現からまばらで解釈可能な特徴を抽出します。
このホワイトペーパーでは、MNISTを使用して制御された設定でSAEを評価します。これは、現在の浅いアーキテクチャが、相関する特徴を抽出する能力を制限する準正所性の仮定に暗黙的に依存していることを明らかにしています。
これを超えて、マッチング追跡（MP-SAE）を展開することによりマルチエリテーションSAEを導入し、手書きのデジット生成などの階層設定で生じる相関特徴の残留誘導抽出を可能にしながら、より多くのATOMが選択されるにつれて再構築の単調な改善を保証します。

要約(オリジナル)

Sparse autoencoders (SAEs) have recently become central tools for interpretability, leveraging dictionary learning principles to extract sparse, interpretable features from neural representations whose underlying structure is typically unknown. This paper evaluates SAEs in a controlled setting using MNIST, which reveals that current shallow architectures implicitly rely on a quasi-orthogonality assumption that limits the ability to extract correlated features. To move beyond this, we introduce a multi-iteration SAE by unrolling Matching Pursuit (MP-SAE), enabling the residual-guided extraction of correlated features that arise in hierarchical settings such as handwritten digit generation while guaranteeing monotonic improvement of the reconstruction as more atoms are selected.

arxiv情報

著者 Valérie Costa,Thomas Fel,Ekdeep Singh Lubana,Bahareh Tolooshams,Demba Ba
発行日 2025-06-05 16:57:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | コメントする

Robust Moment Identification for Nonlinear PDEs via a Neural ODE Approach

投稿日: 2025年6月6日 作成者: jarxiv

要約

ニューラルODEを使用して、PDEガバーンシステムから減少したモーメントダイナミクスを学習するためのデータ駆動型フレームワークを提案します。
密にサンプリングされたデータを必要とし、ノイズに敏感なSindyのような派生ベースの方法とは対照的に、ニューラルODEに基づくアプローチはモーメントの軌跡を直接モデル化し、まばらで潜在的に不規則な時系列からの堅牢な学習を可能にします。
アプリケーションプラットフォームとして非線形Schr \ ‘{o}ディンガー方程式を使用すると、フレームワークは、限られた不規則な観測であっても、閉鎖が利用可能であるときに、瞬間のダイナミクスを正確に回復します。
分析的閉鎖のないシステムについては、Stiefelマニホールド最適化に基づいてデータ駆動型の座標変換戦略を導入し、瞬間のダイナミクスが閉じられる低次元表現の発見を可能にし、解釈可能で信頼できるモデリングを促進します。
また、Fisher-KPP反応拡散システムなど、閉鎖モデルが知られていない場合も調査します。
ここでは、ニューラルODが、閉鎖されていないモーメントのダイナミクスを効果的に近似し、物理的なエクスパー由来のODEモデルと比較して優れた外挿精度を達成できることを実証します。
この利点は、まばらで不規則なサンプリングの下で​​も堅牢なままであり、データに制限された設定におけるメソッドの堅牢性を強調しています。
我々の結果は、複雑なPDEガバーンシステムで解釈可能で低次元モーメントダイナミクスを学習するための強力で柔軟なツールとして、ニューラルODEフレームワークを強調しています。

要約(オリジナル)

We propose a data-driven framework for learning reduced-order moment dynamics from PDE-governed systems using Neural ODEs. In contrast to derivative-based methods like SINDy, which necessitate densely sampled data and are sensitive to noise, our approach based on Neural ODEs directly models moment trajectories, enabling robust learning from sparse and potentially irregular time series. Using as an application platform the nonlinear Schr\'{o}dinger equation, the framework accurately recovers governing moment dynamics when closure is available, even with limited and irregular observations. For systems without analytical closure, we introduce a data-driven coordinate transformation strategy based on Stiefel manifold optimization, enabling the discovery of low-dimensional representations in which the moment dynamics become closed, facilitating interpretable and reliable modeling. We also explore cases where a closure model is not known, such as a Fisher-KPP reaction-diffusion system. Here we demonstrate that Neural ODEs can still effectively approximate the unclosed moment dynamics and achieve superior extrapolation accuracy compared to physical-expert-derived ODE models. This advantage remains robust even under sparse and irregular sampling, highlighting the method’s robustness in data-limited settings. Our results highlight the Neural ODE framework as a powerful and flexible tool for learning interpretable, low-dimensional moment dynamics in complex PDE-governed systems.

arxiv情報

著者 Shaoxuan Chen,Su Yang,Panayotis G. Kevrekidis,Wei Zhu
発行日 2025-06-05 17:03:42+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, nlin.PS | コメントする

On the Convergence of Gradient Descent on Learning Transformers with Residual Connections

投稿日: 2025年6月6日 作成者: jarxiv

要約

トランスモデルは、多様なアプリケーションでの優れたパフォーマンスにより、さまざまな科学および工学分野にわたって基本的なツールとして浮上しています。
この経験的な成功にもかかわらず、トランスの理論的基盤は、特にトレーニングのダイナミクスを理解する上で、比較的未開発のままです。
既存の研究では、特にこれらのコンポーネント間の相互依存関係を徹底的に調査することなく、特に残留接続が存在する場合、自己触媒メカニズムやフィードフォワードネットワークなど、孤立したコンポーネントを主に検討します。
このホワイトペーパーでは、構造的に完全でありながら単一層変圧器の収束挙動を分析することにより、このギャップを埋めることを目指しています。
適切な初期化の下で、勾配降下は線形収束速度を示すことを実証します。ここでは、収束速度は注意層からの出力マトリックスの最小および最大特異値によって決定されます。
さらに、我々の分析では、残留接続がこの出力マトリックスの不条件を改善するのに役立つことが明らかになりました。これは、ソフトマックス動作によって課される低ランク構造に起因する問題であり、それにより最適化の安定性の強化を促進します。
また、理論的な調査結果を多層変圧器アーキテクチャに拡張し、適切な初期化下での勾配降下の線形収束速度を確認します。
経験的結果は、私たちの理論的洞察を裏付け、収束安定性を促進する上での残留接続の有益な役割を示しています。

要約(オリジナル)

Transformer models have emerged as fundamental tools across various scientific and engineering disciplines, owing to their outstanding performance in diverse applications. Despite this empirical success, the theoretical foundations of Transformers remain relatively underdeveloped, particularly in understanding their training dynamics. Existing research predominantly examines isolated components–such as self-attention mechanisms and feedforward networks–without thoroughly investigating the interdependencies between these components, especially when residual connections are present. In this paper, we aim to bridge this gap by analyzing the convergence behavior of a structurally complete yet single-layer Transformer, comprising self-attention, a feedforward network, and residual connections. We demonstrate that, under appropriate initialization, gradient descent exhibits a linear convergence rate, where the convergence speed is determined by the minimum and maximum singular values of the output matrix from the attention layer. Moreover, our analysis reveals that residual connections serve to ameliorate the ill-conditioning of this output matrix, an issue stemming from the low-rank structure imposed by the softmax operation, thereby promoting enhanced optimization stability. We also extend our theoretical findings to a multi-layer Transformer architecture, confirming the linear convergence rate of gradient descent under suitable initialization. Empirical results corroborate our theoretical insights, illustrating the beneficial role of residual connections in promoting convergence stability.

arxiv情報

著者 Zhen Qin,Jinxin Zhou,Zhihui Zhu
発行日 2025-06-05 17:10:22+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.OC | コメントする

Conservative classifiers do consistently well with improving agents: characterizing statistical and online learning

投稿日: 2025年6月6日 作成者: jarxiv

要約

機械学習は、たとえば、求職者やローン申請の評価において、社会的意思決定において遍在しており、分類されたエージェントが学習アルゴリズムにどのように反応するかを考慮することがますます重要になっています。
戦略的分類に関する最近の文献の大部分は、分類されたエージェントによる欺cept的な行動の削減と対抗に焦点を当てていますが、Attias et al。
標準のPACラーニングよりも小さな一般化エラーなど、望ましい分類を達成するためにエージェントが真に改善するとき、学習性の驚くべき特性を特定します。
この論文では、複数の新しい軸にわたって改善されたいわゆる学習性を特徴付けています。
最小限の一貫した概念クラスの非対称バリアントを導入し、それを使用して、実現可能な設定で改善された適切な学習の正確な特性評価を提供します。
一般的な研究では、一般的な任意のエージェント改善地域でのみ学習可能性がありますが、より自然なユークリッドボールの改善セットについては肯定的な結果を得ています。
特に、データ分布の軽度の生成仮定の下で不適切な学習を特徴付けます。
さらに、より挑戦的な設定で学習する方法を示し、適切に研究された限界ノイズモデルの下でより低い一般化エラーを達成し、実現可能で不可知のオンライン学習で間違いの境界を獲得します。
Attiasらによって提起された未解決の質問を解決します。
適切な学習と不適切な学習の両方。

要約(オリジナル)

Machine learning is now ubiquitous in societal decision-making, for example in evaluating job candidates or loan applications, and it is increasingly important to take into account how classified agents will react to the learning algorithms. The majority of recent literature on strategic classification has focused on reducing and countering deceptive behaviors by the classified agents, but recent work of Attias et al. identifies surprising properties of learnability when the agents genuinely improve in order to attain the desirable classification, such as smaller generalization error than standard PAC-learning. In this paper we characterize so-called learnability with improvements across multiple new axes. We introduce an asymmetric variant of minimally consistent concept classes and use it to provide an exact characterization of proper learning with improvements in the realizable setting. While prior work studies learnability only under general, arbitrary agent improvement regions, we give positive results for more natural Euclidean ball improvement sets. In particular, we characterize improper learning under a mild generative assumption on the data distribution. We further show how to learn in more challenging settings, achieving lower generalization error under well-studied bounded noise models and obtaining mistake bounds in realizable and agnostic online learning. We resolve open questions posed by Attias et al. for both proper and improper learning.

arxiv情報

著者 Dravyansh Sharma,Alec Sun
発行日 2025-06-05 17:13:59+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.GT, cs.LG, cs.MA | コメントする

Continual Learning from Simulated Interactions via Multitask Prospective Rehearsal for Bionic Limb Behavior Modeling

投稿日: 2025年6月6日 作成者: jarxiv

要約

下肢切断と神経筋の障害は、可動性を厳しく制限し、従来の義肢を超えた進歩を必要とします。
電動化されたバイオニック肢は有望ですが、それらの有効性は、多様な環境にわたる人間の動きの動的な調整を複製することに依存します。
この論文では、バイオニックプロテーゼコントロールの文脈で人間の行動のモデルを紹介します。
私たちのアプローチは、人間の移動デモンストレーションを活用して、下肢の相乗的な結合を学習し、歩行、登山、階段、階段などのタスク中に欠けている手足の運動学的挙動の予測を可能にします。
時間の経過とともに動きを予測および改良するマルチタスクの継続的な適応モデルを提案します。
私たちの方法の中核には、MultiTaskの前向きリハーサルと呼ばれる手法があります。これは、以前の予測に基づいて将来の動きを予測および統合し、その後の予測のための修正メカニズムを採用しています。
進化するアーキテクチャは、共有バックボーン上に軽量のタスク固有のモジュールをマージし、特異性とスケーラビリティの両方を確保します。
幅広い運動タスクにわたる、鎖角切断者を含む現実世界の人間の歩行データセットに関する実験を通じてモデルを検証します。
結果は、私たちのアプローチが、特に分布シフト、敵対的な摂動、騒音を備えたシナリオで、ベースラインモデルよりも一貫して優れていることを示しています。

要約(オリジナル)

Lower limb amputations and neuromuscular impairments severely restrict mobility, necessitating advancements beyond conventional prosthetics. While motorized bionic limbs show promise, their effectiveness depends on replicating the dynamic coordination of human movement across diverse environments. In this paper, we introduce a model for human behavior in the context of bionic prosthesis control. Our approach leverages human locomotion demonstrations to learn the synergistic coupling of the lower limbs, enabling the prediction of the kinematic behavior of a missing limb during tasks such as walking, climbing inclines, and stairs. We propose a multitasking, continually adaptive model that anticipates and refines movements over time. At the core of our method is a technique called multitask prospective rehearsal, that anticipates and synthesizes future movements based on the previous prediction and employs a corrective mechanism for subsequent predictions. Our evolving architecture merges lightweight, task-specific modules on a shared backbone, ensuring both specificity and scalability. We validate our model through experiments on real-world human gait datasets, including transtibial amputees, across a wide range of locomotion tasks. Results demonstrate that our approach consistently outperforms baseline models, particularly in scenarios with distributional shifts, adversarial perturbations, and noise.

arxiv情報

著者 Sharmita Dey,Benjamin Paassen,Sarath Ravindran Nair,Sabri Boughorbel,Arndt F. Schilling
発行日 2025-06-05 17:17:51+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.RO | コメントする

Learning long range dependencies through time reversal symmetry breaking

投稿日: 2025年6月6日 作成者: jarxiv

要約

Deep State Space Models（SSMS）は、RNNが動的システムにネイティブに具体化できるため、物理学に基づいたコンピューティングパラダイムを再燃させます。
これには、これらのシステムをシミュレートして設計を導くための効率的な手法を使用して、物理的な原則に従う専用の学習アルゴリズムが必要です。
再発したハミルトニアンエコーラーニング（RHEL）を提案します。これは、非微分的であるハミルトニアンシステムの物理的軌跡の有限差として損失勾配を確実に計算するアルゴリズムです。
MLの用語では、RHELは、明示的なヤコビアン計算なしで、モデルサイズに関係なく、3つの「フォワードパス」のみを必要とし、勾配推定に分散が発生しません。
アルゴリズムの物理的実現に動機付けられ、まず継続的な時間にRHELを導入し、連続的な補助状態法との正式な同等性を実証します。
RHELが訓練したハミルトニアンシステムのシミュレーションを容易にするために、ハミルトニアン再生ユニット（HRU）と呼ばれる再発モジュールのクラスに適用される場合、バックプロパゲーション（BPTT）とのバックプロパゲーションに相当するレルの離散時間バージョンを提案します。
この設定により、これらの結果をHRUSの階層に一般化することにより、RHELのスケーラビリティを実証することができます。
RHELを適用して、ミッドレンジから長距離分類と$ \ SIM 50K $に達する長距離分類と回帰までのさまざまな時系列タスクで、線形および非線形ダイナミクスを備えたHSSMを訓練します。
RHELがすべてのモデルとタスクにわたるBPTTのパフォーマンスと一貫して一致することを示します。
この作業は、シーケンスモデリングのための自己学習機能を備えたスケーラブルでエネルギー効率の高い物理システムの設計のための新しいドアを開きます。

要約(オリジナル)

Deep State Space Models (SSMs) reignite physics-grounded compute paradigms, as RNNs could natively be embodied into dynamical systems. This calls for dedicated learning algorithms obeying to core physical principles, with efficient techniques to simulate these systems and guide their design. We propose Recurrent Hamiltonian Echo Learning (RHEL), an algorithm which provably computes loss gradients as finite differences of physical trajectories of non-dissipative, Hamiltonian systems. In ML terms, RHEL only requires three ‘forward passes’ irrespective of model size, without explicit Jacobian computation, nor incurring any variance in the gradient estimation. Motivated by the physical realization of our algorithm, we first introduce RHEL in continuous time and demonstrate its formal equivalence with the continuous adjoint state method. To facilitate the simulation of Hamiltonian systems trained by RHEL, we propose a discrete-time version of RHEL which is equivalent to Backpropagation Through Time (BPTT) when applied to a class of recurrent modules which we call Hamiltonian Recurrent Units (HRUs). This setting allows us to demonstrate the scalability of RHEL by generalizing these results to hierarchies of HRUs, which we call Hamiltonian SSMs (HSSMs). We apply RHEL to train HSSMs with linear and nonlinear dynamics on a variety of time-series tasks ranging from mid-range to long-range classification and regression with sequence length reaching $\sim 50k$. We show that RHEL consistently matches the performance of BPTT across all models and tasks. This work opens new doors for the design of scalable, energy-efficient physical systems endowed with self-learning capabilities for sequence modelling.

arxiv情報

著者 Guillaume Pourcel,Maxence Ernoult
発行日 2025-06-05 17:20:39+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | コメントする

Tight analyses of first-order methods with error feedback

投稿日: 2025年6月6日 作成者: jarxiv

要約

エージェント間の通信は、分散学習における主要な計算ボトルネックになることがよくあります。
最も一般的な緩和戦略の1つは、交換された情報を圧縮し、それによりコミュニケーションのオーバーヘッドを削減することです。
圧縮通信に関連する収束の分解に対抗するために、エラーフィードバックスキーム（特に$ \ mathrm {ef} $および$ \ mathrm {ef}^{21} $）が導入されました。
この作業では、これらの両方の方法の厳しい分析を提供します。
具体的には、各メソッドの可能な限り最高の収束速度を生成するLyapunov関数が、下限が一致することがわかります。
この原則的なアプローチは、急激なパフォーマンス保証をもたらし、$ \ mathrm {ef} $、$ \ mathrm {ef}^{21} $、および圧縮勾配降下の間の厳格なリンゴとアプリの比較を可能にします。
私たちの分析は、簡素化されたが代表的な設定で実施されているため、清潔な理論的洞察と基礎となるメカニズムの公正な比較が可能になります。

要約(オリジナル)

Communication between agents often constitutes a major computational bottleneck in distributed learning. One of the most common mitigation strategies is to compress the information exchanged, thereby reducing communication overhead. To counteract the degradation in convergence associated with compressed communication, error feedback schemes — most notably $\mathrm{EF}$ and $\mathrm{EF}^{21}$ — were introduced. In this work, we provide a tight analysis of both of these methods. Specifically, we find the Lyapunov function that yields the best possible convergence rate for each method — with matching lower bounds. This principled approach yields sharp performance guarantees and enables a rigorous, apples-to-apples comparison between $\mathrm{EF}$, $\mathrm{EF}^{21}$, and compressed gradient descent. Our analysis is carried out in a simplified yet representative setting, which allows for clean theoretical insights and fair comparison of the underlying mechanisms.

arxiv情報

著者 Daniel Berg Thomsen,Adrien Taylor,Aymeric Dieuleveut
発行日 2025-06-05 17:30:18+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.DC, cs.LG, math.OC | コメントする

How to Unlock Time Series Editing? Diffusion-Driven Approach with Multi-Grained Control

投稿日: 2025年6月6日 作成者: jarxiv

要約

時系列の生成における最近の進歩は有望であるが、生成されたシーケンスの制御特性を制御することは依然として困難です。
時系列編集（TSE） – 時間的コヒーレンスを維持しながら正確な変更を加える – 現在の方法が提供するのに苦労しているポイントレベルの制約とセグメントレベルのコントロールの両方を検討します。
さまざまな種類の制約にわたって同時に柔軟な制御を有効にするために、カクテル編集フレームワークを紹介します。
このフレームワークには、2つの重要なメカニズムが組み合わされています。ポイントワイズ制約の信頼加重アンカー制御と、セグメントの平均や平均などの統計的特性を管理するための分類器ベースの制御です。
私たちの方法は、条件付き訓練された拡散ベースの時系列モデルと、一時的なコヒーレンスを維持し、シームレスに統合しながら、除去推論段階で正確な局所制御を実現します。
多様なデータセットとモデルにわたる広範な実験は、その有効性を示しています。
私たちの仕事は、純粋な生成モデリングと現実世界の時系列の編集ニーズの間のギャップを埋め、ループ内の時系列の生成と編集に柔軟なソリューションを提供します。
コードとデモは検証用に提供されます。

要約(オリジナル)

Recent advances in time series generation have shown promise, yet controlling properties in generated sequences remains challenging. Time Series Editing (TSE) – making precise modifications while preserving temporal coherence – consider both point-level constraints and segment-level controls that current methods struggle to provide. We introduce the CocktailEdit framework to enable simultaneous, flexible control across different types of constraints. This framework combines two key mechanisms: a confidence-weighted anchor control for point-wise constraints and a classifier-based control for managing statistical properties such as sums and averages over segments. Our methods achieve precise local control during the denoising inference stage while maintaining temporal coherence and integrating seamlessly, with any conditionally trained diffusion-based time series models. Extensive experiments across diverse datasets and models demonstrate its effectiveness. Our work bridges the gap between pure generative modeling and real-world time series editing needs, offering a flexible solution for human-in-the-loop time series generation and editing. The code and demo are provided for validation.

arxiv情報

著者 Hao Yu,Chu Xin Cheng,Runlong Yu,Yuyang Ye,Shiwei Tong,Zhaofeng Liu,Defu Lian
発行日 2025-06-05 17:32:00+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | コメントする

Learning Beyond Experience: Generalizing to Unseen State Space with Reservoir Computing

投稿日: 2025年6月6日 作成者: jarxiv

要約

機械学習技術は、観察されたデータからのみ動的システムをモデル化するための効果的なアプローチを提供します。
ただし、これらの手法は、通常、トレーニングデータに不十分に表されているダイナミクスの側面に一般化するのに苦労している、明示的な構造的前提（基礎となるダイナミクスに関する仮定が組み込まれていない）がなければ。
ここでは、ダイナミカルシステムのデータ駆動型モデリングによく使用されるシンプルで効率的で汎用性の高い機械学習フレームワークである貯水池コンピューティングが、明示的な構造プライアーなしで未開拓の状態空間の領域に一般化できることを実証します。
まず、馬鹿げた時系列のコレクション全体でトレーニングをサポートし、利用可能なトレーニングデータの効果的な使用を可能にする貯水池コンピューターの多注文トレーニングスキームについて説明します。
次に、このトレーニングスキームを多数の動的システムに適用すると、単一のアトラクション盆地からの軌跡をトレーニングしたRCSが、完全に観測されていない盆地でシステムの動作をキャプチャすることにより、ドメイン外の一般化を達成できることを示します。

要約(オリジナル)

Machine learning techniques offer an effective approach to modeling dynamical systems solely from observed data. However, without explicit structural priors — built-in assumptions about the underlying dynamics — these techniques typically struggle to generalize to aspects of the dynamics that are poorly represented in the training data. Here, we demonstrate that reservoir computing — a simple, efficient, and versatile machine learning framework often used for data-driven modeling of dynamical systems — can generalize to unexplored regions of state space without explicit structural priors. First, we describe a multiple-trajectory training scheme for reservoir computers that supports training across a collection of disjoint time series, enabling effective use of available training data. Then, applying this training scheme to multistable dynamical systems, we show that RCs trained on trajectories from a single basin of attraction can achieve out-of-domain generalization by capturing system behavior in entirely unobserved basins.

arxiv情報

著者 Declan A. Norton,Yuanzhao Zhang,Michelle Girvan
発行日 2025-06-05 17:46:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.DS, nlin.CD, physics.comp-ph | コメントする