A Role of Environmental Complexity on Representation Learning in Deep Reinforcement Learning Agents

投稿日: 2025年3月20日 作成者: jarxiv

要約

ヒトナビゲーターに使用されるデュアルソリューションパラダイムテストによって動機付けられたショートカット使用ナビゲーションタスクで、深い補強学習エージェントを訓練するためのシミュレートされた環境を開発しました。
エージェントがショートカットとナビゲーションキューにさらされた頻度を操作し、これらの要因がショートカットの使用開発にどのように影響するかを調査しました。
すべてのエージェントは、初期学習が開始されると、クローズドショートカットトライアルで最適なパフォーマンスを急速に達成することがわかります。
ただし、開いているときのナビゲーション速度とショートカットの使用は、より高いショートカット曝露を伴うエージェントでより速く発生します。
エージェントの人工ニューラルネットワークアクティビティの分析により、キューの頻繁な提示により、最初は個々のノードのアクティビティでキューのエンコードが発生したことが明らかになりました。
ただし、単に露出ではなく、ナビゲーション計画のコンテキストでキューを使用することにより、最終的にはより強いキュー表現が形成されました。
すべてのエージェントで、空間表現はトレーニングの早い段階で発達し、その後ナビゲーション戦略が完全に発達する前に安定することがわかりました。
さらに、新しい分析手法を使用して、エージェントの直接の位置ではなく、計画された軌道がエージェントのネットワークにエンコードされていることがわかりました。
さらに、エンコーディングは、個々のノードレベルではなく母集団で表されます。
これらの手法は、個々の活動パターンを超えたニューロンまたはネットワークノードの集団間で神経活動を研究する際に、より広範な用途を持つ可能性があります。

要約(オリジナル)

We developed a simulated environment to train deep reinforcement learning agents on a shortcut usage navigation task, motivated by the Dual Solutions Paradigm test used for human navigators. We manipulated the frequency with which agents were exposed to a shortcut and a navigation cue, to investigate how these factors influence shortcut usage development. We find that all agents rapidly achieve optimal performance in closed shortcut trials once initial learning starts. However, their navigation speed and shortcut usage when it is open happen faster in agents with higher shortcut exposure. Analysis of the agents’ artificial neural networks activity revealed that frequent presentation of a cue initially resulted in better encoding of the cue in the activity of individual nodes, compared to agents who encountered the cue less often. However, stronger cue representations were ultimately formed through the use of the cue in the context of navigation planning, rather than simply through exposure. We found that in all agents, spatial representations develop early in training and subsequently stabilize before navigation strategies fully develop, suggesting that having spatially consistent activations is necessary for basic navigation, but insufficient for advanced strategies. Further, using new analysis techniques, we found that the planned trajectory rather than the agent’s immediate location is encoded in the agent’s networks. Moreover, the encoding is represented at the population rather than the individual node level. These techniques could have broader applications in studying neural activity across populations of neurons or network nodes beyond individual activity patterns.

arxiv情報

著者 Andrew Liu,Alla Borisyuk
発行日 2025-03-19 16:54:44+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | A Role of Environmental Complexity on Representation Learning in Deep Reinforcement Learning Agents はコメントを受け付けていません

SAVA: Scalable Learning-Agnostic Data Valuation

投稿日: 2025年3月20日 作成者: jarxiv

要約

機械学習モデルのトレーニングのためのデータの選択は、個々のデータポイントの品質と関連性に影響を与えるノイズの多いアーティファクトが含まれているため、非常に重要です。
これらの騒々しいアーティファクトは、モデルのパフォーマンスに影響を与えます。
この問題をデータ評価タスクとして定式化し、クリーンでキュレーションされた検証セットと類似している、または類似していることに応じて、トレーニングセットのデータポイントに値を割り当てます。
最近、LAVAは、モデルのパフォーマンスに依存せずに、トレーニングデータを効率的に評価するために、大規模な騒々しいトレーニングデータセットとクリーンな検証セットの間で最適な輸送（OT）の使用を実証しました。
ただし、LAVAアルゴリズムでは、入力としてデータセット全体を必要とします。これにより、アプリケーションがより大きなデータセットに制限されます。
データセット全体の代わりにデータポイントのバッチで計算を実行する確率的（勾配）アプローチのスケーラビリティに触発されたため、データポイントのバッチに計算されたLAVAのスケーラブルなバリアントであるSavaを同様に提案します。
直感的に、Savaは、データ評価のために階層的に定義されたOTをレバレッジするLAVAと同じスキームに従います。
ただし、LAVAはデータセット全体を処理しますが、Savaはデータセットをデータポイントのバッチに分割し、それらのバッチでOT問題計算を実行します。
さらに、OT問題にエントロピー正規化を使用することのトレードオフに関する理論的派生には、以前の作業の改良が含まれます。
広範な実験を実行して、Savaが数百万のデータポイントを持つ大規模なデータセットにスケーリングできることを実証し、データの評価パフォーマンスをトレードオフしないことを実証します。

要約(オリジナル)

Selecting data for training machine learning models is crucial since large, web-scraped, real datasets contain noisy artifacts that affect the quality and relevance of individual data points. These noisy artifacts will impact model performance. We formulate this problem as a data valuation task, assigning a value to data points in the training set according to how similar or dissimilar they are to a clean and curated validation set. Recently, LAVA demonstrated the use of optimal transport (OT) between a large noisy training dataset and a clean validation set, to value training data efficiently, without the dependency on model performance. However, the LAVA algorithm requires the entire dataset as an input, this limits its application to larger datasets. Inspired by the scalability of stochastic (gradient) approaches which carry out computations on batches of data points instead of the entire dataset, we analogously propose SAVA, a scalable variant of LAVA with its computation on batches of data points. Intuitively, SAVA follows the same scheme as LAVA which leverages the hierarchically defined OT for data valuation. However, while LAVA processes the whole dataset, SAVA divides the dataset into batches of data points, and carries out the OT problem computation on those batches. Moreover, our theoretical derivations on the trade-off of using entropic regularization for OT problems include refinements of prior work. We perform extensive experiments, to demonstrate that SAVA can scale to large datasets with millions of data points and does not trade off data valuation performance.

arxiv情報

著者 Samuel Kessler,Tam Le,Vu Nguyen
発行日 2025-03-19 17:02:40+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | SAVA: Scalable Learning-Agnostic Data Valuation はコメントを受け付けていません

Uncertainty-Aware PPG-2-ECG for Enhanced Cardiovascular Diagnosis using Diffusion Models

投稿日: 2025年3月20日 作成者: jarxiv

要約

心電図（ECG）を介した心血管系の状態を分析することは、一般的で非常に効果的なアプローチであり、何十年にもわたって実践され、完成してきました。
ECGセンシングは非侵襲的であり、取得は比較的簡単ですが、それでも数時間や数日にわたって至るまで、ホルター監視テストにとっては面倒です。
このコンテキストでの可能な選択肢は、フォトプレチスモグラフィー（PPG）です。通常、従来の「ウェアラブルデバイス」によって感知されるように、血液量の変動を測定する光学ベースの信号です。
PPGは買収、利便性、費用対効果に明確な利点をもたらしますが、ECGはより包括的な情報を提供し、心臓病のより正確な検出を可能にします。
これは、文献で最近議論されたように、PPGからECGへの変換には、本質的に避けられないレベルの不確実性が含まれることを意味します。
このペーパーでは、PPG-2-ECG変換に対処するための新しい方法論を紹介し、変換プロセスから生じる不確実性を考慮しながら、与えられたPPGを使用して心血管条件の強化された分類を提供します。
提案された計算アプローチの数学的正当化を提供し、最先端のベースライン方法と比較してその優れたパフォーマンスを実証する実証研究を提示します。

要約(オリジナル)

Analyzing the cardiovascular system condition via Electrocardiography (ECG) is a common and highly effective approach, and it has been practiced and perfected over many decades. ECG sensing is non-invasive and relatively easy to acquire, and yet it is still cumbersome for holter monitoring tests that may span over hours and even days. A possible alternative in this context is Photoplethysmography (PPG): An optically-based signal that measures blood volume fluctuations, as typically sensed by conventional “wearable devices”. While PPG presents clear advantages in acquisition, convenience, and cost-effectiveness, ECG provides more comprehensive information, allowing for a more precise detection of heart conditions. This implies that a conversion from PPG to ECG, as recently discussed in the literature, inherently involves an unavoidable level of uncertainty. In this paper we introduce a novel methodology for addressing the PPG-2-ECG conversion, and offer an enhanced classification of cardiovascular conditions using the given PPG, all while taking into account the uncertainties arising from the conversion process. We provide a mathematical justification for our proposed computational approach, and present empirical studies demonstrating its superior performance compared to state-of-the-art baseline methods.

arxiv情報

著者 Omer Belhasin,Idan Kligvasser,George Leifman,Regev Cohen,Erin Rainaldi,Li-Fang Cheng,Nishant Verma,Paul Varghese,Ehud Rivlin,Michael Elad
発行日 2025-03-19 17:10:51+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Uncertainty-Aware PPG-2-ECG for Enhanced Cardiovascular Diagnosis using Diffusion Models はコメントを受け付けていません

Accurate, transferable, and verifiable machine-learned interatomic potentials for layered materials

投稿日: 2025年3月20日 作成者: jarxiv

要約

ねじれた層状のヴァン・ダー・ワールズの素材は、しばしば、非ツイストの対応物にはユニークな電子的および光学的特性がないことを示します。
残念ながら、そのような特性を予測することは、大きなMoir \ ‘eドメインを表示する材料の原子構造を決定するのが難しいことによって妨げられます。
ここでは、内部層と層間の相互作用を分離し、モデルの精度を大幅に向上させる分割マシンを学習した原子間ポテンシャルおよびデータセットキュレーションアプローチを導入します。
さらに、従来のMLIP検証メトリック（力とエネルギーエラー）がMoir \ ‘e構造には不十分であり、スタッキング構成の分布に基づいて、より全体的で物理的に動機付けられたメトリックを開発することを実証します。
このメトリックは、小さな相応した細胞で評価されている従来の測定に依存するのではなく、2つの構造間の大規模なMoir \ ‘eドメイン全体を効果的に比較します。
最後に、2次元MOIR \ ‘E構造の代わりに1次元の代わりに、MLIPを検証するための効率的な代理システムとして機能し、明示的なDFT計算に対する実用的なモデル検証プロトコルを可能にすることを確立します。
フレームワークをHFS2/Gas Bilayersに適用すると、正確な構造予測が信頼できる電子特性に直接変換されることが明らかになります。
私たちのモデルに依存しないアプローチは、さまざまな内部および層間相互作用モデルとシームレスに統合され、二重層から複雑な多層まで、Moir \ ‘e材料の計算上の扱いやすい緩和を、厳密に検証された精度を可能にします。

要約(オリジナル)

Twisted layered van-der-Waals materials often exhibit unique electronic and optical properties absent in their non-twisted counterparts. Unfortunately, predicting such properties is hindered by the difficulty in determining the atomic structure in materials displaying large moir\’e domains. Here, we introduce a split machine-learned interatomic potential and dataset curation approach that separates intralayer and interlayer interactions and significantly improves model accuracy — with a tenfold increase in energy and force prediction accuracy relative to conventional models. We further demonstrate that traditional MLIP validation metrics — force and energy errors — are inadequate for moir\’e structures and develop a more holistic, physically-motivated metric based on the distribution of stacking configurations. This metric effectively compares the entirety of large-scale moir\’e domains between two structures instead of relying on conventional measures evaluated on smaller commensurate cells. Finally, we establish that one-dimensional instead of two-dimensional moir\’e structures can serve as efficient surrogate systems for validating MLIPs, allowing for a practical model validation protocol against explicit DFT calculations. Applying our framework to HfS2/GaS bilayers reveals that accurate structural predictions directly translate into reliable electronic properties. Our model-agnostic approach integrates seamlessly with various intralayer and interlayer interaction models, enabling computationally tractable relaxation of moir\’e materials, from bilayer to complex multilayers, with rigorously validated accuracy.

arxiv情報

著者 Johnathan D. Georgaras,Akash Ramdas,Chung Hsuan Shan,Elena Halsted,Berwyn,Tianshu Li,Felipe H. da Jornada
発行日 2025-03-19 17:14:02+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cond-mat.mtrl-sci, cs.LG | Accurate, transferable, and verifiable machine-learned interatomic potentials for layered materials はコメントを受け付けていません

A discontinuity-capturing neural network with categorical embedding and its application to anisotropic elliptic interface problems

投稿日: 2025年3月20日 作成者: jarxiv

要約

この論文では、区分的な滑らかな機能を表すために、カテゴリー埋め込みを備えた不連続にキャプチャする浅いニューラルネットワークを提案します。
ネットワークには、3つの隠された層、不連続キャプチャレイヤー、カテゴリー埋め込み層、および完全に接続されたレイヤーが含まれます。
このような設計の下では、多数のピースを使用しても、区分的な滑らかな機能が、予測精度が高い単一のニューラルネットワークによって近似できることを示しています。
次に、提案されたネットワークモデルを活用して、異方性楕円形の界面の問題を解決します。
ネットワークは、システムの平均四角誤差損失を最小化することによりトレーニングされます。
我々の結果は、その単純で浅い構造にもかかわらず、提案されたニューラルネットワークモデルは、従来のグリッドベースの数値的手法と同等の効率と精度を示すことを示しています。

要約(オリジナル)

In this paper, we propose a discontinuity-capturing shallow neural network with categorical embedding to represent piecewise smooth functions. The network comprises three hidden layers, a discontinuity-capturing layer, a categorical embedding layer, and a fully-connected layer. Under such a design, we show that a piecewise smooth function, even with a large number of pieces, can be approximated by a single neural network with high prediction accuracy. We then leverage the proposed network model to solve anisotropic elliptic interface problems. The network is trained by minimizing the mean squared error loss of the system. Our results show that, despite its simple and shallow structure, the proposed neural network model exhibits comparable efficiency and accuracy to traditional grid-based numerical methods.

arxiv情報

著者 Wei-Fan Hu,Te-Sheng Lin,Ming-Chih Lai
発行日 2025-03-19 17:21:51+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: 41A46, 65C05, 65N99, 68T01, cs.LG, cs.NA, math.NA | A discontinuity-capturing neural network with categorical embedding and its application to anisotropic elliptic interface problems はコメントを受け付けていません

Reducing Communication Overhead in Federated Learning for Network Anomaly Detection with Adaptive Client Selection

投稿日: 2025年3月20日 作成者: jarxiv

要約

連邦学習（FL）の通信オーバーヘッドは、多様なクライアント構成とネットワーク条件が効率と検出の精度に影響を与えるネットワーク異常検出システムに大きな課題をもたらします。
既存のアプローチは個別に最適化を試みますが、オーバーヘッドとパフォーマンスのバランスをとるのに苦労しています。
このペーパーでは、バッチサイズの最適化、クライアントの選択、および効率的な異常検出のための非同期更新を組み合わせたAdaptive FLフレームワークを紹介します。
UNSW-NB15を一般的なネットワークトラフィックと自動車ネットワーク用の道路に使用すると、当社のフレームワークは、同等の精度（95.10％対95.12％）を維持しながら、通信オーバーヘッドを97.6％（700.0〜16.8s）削減します。
Mann-Whitney Uテストは、大幅な改善を確認しています（P <0.05）。 プロファイリング分析により、GPUの操作とメモリ転送の減少により効率の向上が明らかになり、さまざまなクライアント条件全体で堅牢な検出が確保されます。

要約(オリジナル)

Communication overhead in federated learning (FL) poses a significant challenge for network anomaly detection systems, where diverse client configurations and network conditions impact efficiency and detection accuracy. Existing approaches attempt optimization individually but struggle to balance reduced overhead with performance. This paper presents an adaptive FL framework combining batch size optimization, client selection, and asynchronous updates for efficient anomaly detection. Using UNSW-NB15 for general network traffic and ROAD for automotive networks, our framework reduces communication overhead by 97.6% (700.0s to 16.8s) while maintaining comparable accuracy (95.10% vs. 95.12%). The Mann-Whitney U test confirms significant improvements (p < 0.05). Profiling analysis reveals efficiency gains via reduced GPU operations and memory transfers, ensuring robust detection across varying client conditions.

arxiv情報

著者 William Marfo,Deepak Tosh,Shirley Moore,Joshua Suetterlein,Joseph Manzano
発行日 2025-03-19 17:29:21+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.DC, cs.LG | Reducing Communication Overhead in Federated Learning for Network Anomaly Detection with Adaptive Client Selection はコメントを受け付けていません

Privacy amplification by random allocation

投稿日: 2025年3月20日 作成者: jarxiv

要約

ユーザーのデータが$ k $ステップでランダムに均一に選択されるアルゴリズムのプライバシー保証を検討し、$ t $差までのプライベートステップのシーケンス（またはセット）から均一に選択します。
このサンプリングスキームのプライバシー保証は、各ステップがユーザーのデータを確率$（1+ O（1））k/t $で使用する適切に研究された独立（またはポアソン）サブサンプリングのプライバシー保証によって上限になる可能性があることを実証します。
さらに、いくつかのパラメーターレジームの数値の改善につながる2つの追加分析手法を提供します。
$ k = 1 $の場合は、BalleらのDP-SGDのコンテキストで以前に研究されています。
（2020）そしてごく最近、Chua et al。
（2024）;
Choquette-Choo et al。
（2024）。
Balleらのプライバシー分析。
（2020）過度に保守的な境界につながるシャッフルによるプライバシー増幅に依存しています。
チュアらのプライバシー分析。
（2024a）;
Choquette-Choo et al。
（2024）多くの実用的なシナリオで計算的に禁止されており、追加の固有の制限があるモンテカルロシミュレーションに依存しています。

要約(オリジナル)

We consider the privacy guarantees of an algorithm in which a user’s data is used in $k$ steps randomly and uniformly chosen from a sequence (or set) of $t$ differentially private steps. We demonstrate that the privacy guarantees of this sampling scheme can be upper bound by the privacy guarantees of the well-studied independent (or Poisson) subsampling in which each step uses the user’s data with probability $(1+ o(1))k/t $. Further, we provide two additional analysis techniques that lead to numerical improvements in some parameter regimes. The case of $k=1$ has been previously studied in the context of DP-SGD in Balle et al. (2020) and very recently in Chua et al. (2024); Choquette-Choo et al. (2024). Privacy analysis of Balle et al. (2020) relies on privacy amplification by shuffling which leads to overly conservative bounds. Privacy analysis of Chua et al. (2024a); Choquette-Choo et al. (2024) relies on Monte Carlo simulations that are computationally prohibitive in many practical scenarios and have additional inherent limitations.

arxiv情報

著者 Vitaly Feldman,Moshe Shenfeld
発行日 2025-03-19 17:33:33+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Privacy amplification by random allocation はコメントを受け付けていません

Temporal Encoding Strategies for Energy Time Series Prediction

投稿日: 2025年3月20日 作成者: jarxiv

要約

現代の電力システムでは、エネルギー消費予測は、グリッドの安定性とリソース配分を維持する上で重要な役割を果たし、電力会社がエネルギー廃棄物を最小限に抑え、グリッドの過負荷を避けることができます。
エネルギーの最適化に関するいくつかの研究作業がありますが、リアルタイムの変動の複雑さとエネルギー消費の周期的なパターンに対処できないことがよくあります。
この作業は、時系列データの周期的特徴を正弦波エンコードすることにより、予測モデルの精度を高めるための新しいアプローチを提案します。
パフォーマンスの増加を実証するために、提案された正弦波エンコードを使用して、エネルギー需要データセットでいくつかの統計的およびアンサンブル機械学習モデルをトレーニングしました。
これらのモデルのパフォーマンスは、従来のエンコーディング方法で訓練された同一のモデルに対してベンチマークされました。
結果は、ルート平均二乗誤差（0.5497から0.4802）の12.6％の改善とR^2スコアの7.8％の増加（0.7530から0.8118）を示し、提案されたエンコードが従来の方法よりも時間パターンの環状性質をよりよく捕らえることを示しています。
提案された方法論は、計算効率を維持しながら予測精度を大幅に向上させ、スマートグリッドシステムのリアルタイムアプリケーションに適しています。

要約(オリジナル)

In contemporary power systems, energy consumption prediction plays a crucial role in maintaining grid stability and resource allocation enabling power companies to minimize energy waste and avoid overloading the grid. While there are several research works on energy optimization, they often fail to address the complexities of real-time fluctuations and the cyclic pattern of energy consumption. This work proposes a novel approach to enhance the accuracy of predictive models by employing sinusoidal encoding on periodic features of time-series data. To demonstrate the increase in performance, several statistical and ensemble machine learning models were trained on an energy demand dataset, using the proposed sinusoidal encoding. The performance of these models was then benchmarked against identical models trained on traditional encoding methods. The results demonstrated a 12.6% improvement of Root Mean Squared Error (from 0.5497 to 0.4802) and a 7.8% increase in the R^2 score (from 0.7530 to 0.8118), indicating that the proposed encoding better captures the cyclic nature of temporal patterns than traditional methods. The proposed methodology significantly improves prediction accuracy while maintaining computational efficiency, making it suitable for real-time applications in smart grid systems.

arxiv情報

著者 Aayam Bansal,Keertan Balaji,Zeus Lalani
発行日 2025-03-19 17:36:53+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Temporal Encoding Strategies for Energy Time Series Prediction はコメントを受け付けていません

SWEET-RL: Training Multi-Turn LLM Agents on Collaborative Reasoning Tasks

投稿日: 2025年3月20日 作成者: jarxiv

要約

大規模な言語モデル（LLM）エージェントは、実際のタスクでマルチターン相互作用を実行する必要があります。
ただし、LLMエージェントを最適化するための既存のマルチターンRLアルゴリズムは、LLMの一般化機能を活用しながら、複数回転にわたって効果的なクレジット割り当てを実行できず、そのようなアルゴリズムを開発する方法は不明のままです。
これを研究するために、最初に新しいベンチマークであるColbenchを紹介します。Colbenchでは、LLMエージェントが複数ターンで人間の協力者と対話し、バックエンドプログラミングとフロントエンドデザインの現実的なタスクを解決します。
このベンチマークに基づいて、慎重に設計された最適化目標を使用して、追加のトレーニング時間情報にアクセスできる批評家モデルをトレーニングする新しいRLアルゴリズムであるSweet-RL（トレーニング時間情報からの段階的な評価を備えたRL）を提案します。
批評家は、ポリシーモデルを改善するためのステップレベルの報酬を提供します。
私たちの実験は、Sweet-RLが他の最先端のマルチターンRLアルゴリズムと比較して、Colbenchの成功と勝利率の6％の絶対的な改善を達成することを示しており、Llama-3.1-8Bが現実的な共同コンテンツの作成におけるGPT4-Oのパフォーマンスに合わせたり、それを超えることができます。

要約(オリジナル)

Large language model (LLM) agents need to perform multi-turn interactions in real-world tasks. However, existing multi-turn RL algorithms for optimizing LLM agents fail to perform effective credit assignment over multiple turns while leveraging the generalization capabilities of LLMs and it remains unclear how to develop such algorithms. To study this, we first introduce a new benchmark, ColBench, where an LLM agent interacts with a human collaborator over multiple turns to solve realistic tasks in backend programming and frontend design. Building on this benchmark, we propose a novel RL algorithm, SWEET-RL (RL with Step-WisE Evaluation from Training-time information), that uses a carefully designed optimization objective to train a critic model with access to additional training-time information. The critic provides step-level rewards for improving the policy model. Our experiments demonstrate that SWEET-RL achieves a 6% absolute improvement in success and win rates on ColBench compared to other state-of-the-art multi-turn RL algorithms, enabling Llama-3.1-8B to match or exceed the performance of GPT4-o in realistic collaborative content creation.

arxiv情報

著者 Yifei Zhou,Song Jiang,Yuandong Tian,Jason Weston,Sergey Levine,Sainbayar Sukhbaatar,Xian Li
発行日 2025-03-19 17:55:08+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | SWEET-RL: Training Multi-Turn LLM Agents on Collaborative Reasoning Tasks はコメントを受け付けていません

Natural Quantization of Neural Networks

投稿日: 2025年3月20日 作成者: jarxiv

要約

ニューロンがキュービットに対応し、活性化関数が量子ゲートと測定を介して実装される標準的なニューラルネットワークの自然量子化を提案します。
最も単純な量子化されたニューラルネットワークは、シングルキット回転の適用に対応し、回転角度は前の層の重みと測定結果に依存します。
この実現には、量子の不確実性（それによって古典的なニューラルネットワークを正確に再現する）がなく、重ね合わせがネットワークに本質的な不確実性を導入する量子ケースには、純粋に古典的な制限からスムーズに調整できるという利点があります。
このアーキテクチャは、標準のMNISTデータセットのサブセットに基づいてベンチマークし、「Quantum Advantage」のレジームを見つけます。この場合、量子実現の検証エラー率は古典モデルの検証エラー率よりも小さくなります。
また、ニューロンのキビットに絡み合った補助キービットの弱い測定によって量子性が導入される別のアプローチを検討します。
また、この量子ニューラルネットワークは、$ g = \ frac \ pi 2 $を古典的な体制を複製する$ g = \ frac \ pi 2 $で、エンタングルメント角$ g $を制御することにより、量子性の程度のスムーズな調整を可能にします。
このアプローチの量子領域内では、検証エラーも最小限に抑えられていることがわかります。
また、重要なポイント$ g_c $で学習する量子ネットワークの能力を急激に失うことで、量子遷移も観察されます。
提案されている量子ニューラルネットワークは、商用データセット上の現在の量子コンピューターで容易に実現できます。

要約(オリジナル)

We propose a natural quantization of a standard neural network, where the neurons correspond to qubits and the activation functions are implemented via quantum gates and measurements. The simplest quantized neural network corresponds to applying single-qubit rotations, with the rotation angles being dependent on the weights and measurement outcomes of the previous layer. This realization has the advantage of being smoothly tunable from the purely classical limit with no quantum uncertainty (thereby reproducing the classical neural network exactly) to a quantum case, where superpositions introduce an intrinsic uncertainty in the network. We benchmark this architecture on a subset of the standard MNIST dataset and find a regime of ‘quantum advantage,’ where the validation error rate in the quantum realization is smaller than that in the classical model. We also consider another approach where quantumness is introduced via weak measurements of ancilla qubits entangled with the neuron qubits. This quantum neural network also allows for smooth tuning of the degree of quantumness by controlling an entanglement angle, $g$, with $g=\frac\pi 2$ replicating the classical regime. We find that validation error is also minimized within the quantum regime in this approach. We also observe a quantum transition, with sharp loss of the quantum network’s ability to learn at a critical point $g_c$. The proposed quantum neural networks are readily realizable in present-day quantum computers on commercial datasets.

arxiv情報

著者 Richard Barney,Djamil Lakhdar-Hamina,Victor Galitski
発行日 2025-03-19 17:57:11+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cond-mat.dis-nn, cs.LG, quant-ph | Natural Quantization of Neural Networks はコメントを受け付けていません