Discrepancies are Virtue: Weak-to-Strong Generalization through Lens of Intrinsic Dimension

投稿日: 2025年2月10日 作成者: jarxiv

要約

弱い（W2S）一般化は、弱い教師によって生成された擬似ラベルで強力な（大）生徒モデルが訓練される微調整（FT）の一種です。
驚くべきことに、W2S FTはしばしば弱い先生を上回ります。
私たちは、FTが本質的に低次元空間でしばしば発生するという観察を通して、この現象を理解しようとします。
FTの低い内因性次元を活用すると、分散削減の観点から、Ridgeless Regression設定のW2を分析します。
強力な生徒の場合 – 十分に表現力の低い低次元の特徴サブスペースを持つ弱い教師のペア$ \ mathcal {v} _s、\ mathcal {v} _w $、W2Sの一般化誤差を支配する分散の正確な特性評価を提供します。
これは、W2Sの強いモデルと弱いモデルの間の矛盾の美徳を明らかにします。弱い教師の分散は、$ \ Mathcal {v} _s \ cap \ mathcal {v} _w $で強い生徒に継承されますが、因子によって減少します。
$ \ dim（\ mathcal {v} _s）/n $の不一致のサブスペースの$ \ mathcal {v} _w \ setminus \ mathcal {v} _s $ with $ n $ pseudo-labels for w2s。
さらに、分析では、サンプルの複雑さと、W2Sのパフォーマンスギャップ回復のスケーリングに光を当てます。
この分析は、合成回帰問題と実際の視覚タスクの両方に関する実験でサポートされています。

要約(オリジナル)

Weak-to-strong (W2S) generalization is a type of finetuning (FT) where a strong (large) student model is trained on pseudo-labels generated by a weak teacher. Surprisingly, W2S FT often outperforms the weak teacher. We seek to understand this phenomenon through the observation that FT often occurs in intrinsically low-dimensional spaces. Leveraging the low intrinsic dimensionality of FT, we analyze W2S in the ridgeless regression setting from a variance reduction perspective. For a strong student – weak teacher pair with sufficiently expressive low-dimensional feature subspaces $\mathcal{V}_s, \mathcal{V}_w$, we provide an exact characterization of the variance that dominates the generalization error of W2S. This unveils a virtue of discrepancy between the strong and weak models in W2S: the variance of the weak teacher is inherited by the strong student in $\mathcal{V}_s \cap \mathcal{V}_w$, while reduced by a factor of $\dim(\mathcal{V}_s)/N$ in the subspace of discrepancy $\mathcal{V}_w \setminus \mathcal{V}_s$ with $N$ pseudo-labels for W2S. Further, our analysis casts light on the sample complexities and the scaling of performance gap recovery in W2S. The analysis is supported with experiments on both synthetic regression problems and real vision tasks.

arxiv情報

著者 Yijun Dong,Yicheng Li,Yunai Li,Jason D. Lee,Qi Lei
発行日 2025-02-07 16:46:43+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.NA, math.NA, stat.ML | Discrepancies are Virtue: Weak-to-Strong Generalization through Lens of Intrinsic Dimension はコメントを受け付けていません

Representation of Molecules via Algebraic Data Types : Advancing Beyond SMILES & SELFIES

投稿日: 2025年2月10日 作成者: jarxiv

要約

代数法則に従うより単純なタイプの組み合わせにより形成された複合データ構造（ADT）を通じて、新しい分子表現を導入します。
表現のデータタイプが実行される可能性のある操作をどのように制約するかを明示的に検討することにより、生成モデル（サンプルを備えたプログラム}およびスコア操作）に対して意味のある推論を実行できるようにします。
これは、ストリングタイプの操作が間接的に化学的および物理分子特性にのみ対応し、最悪の場合は無意味な出力を生成する文字列ベースの表現とは対照的です。
ADTは、マルチグラフとボンディングシステムを介して分子構成のDIETZ表現を実装し、アトミック座標データを使用して3D情報と立体化学的特徴を表します。
これにより、文字列ベースの表現の制限と、それらが基づいている2Dグラフベースのモデルを上回る一般的なデジタル分子表現が作成されます。
さらに、シェル、サブシェル、軌道の表現を通じて量子情報に対する新しいサポートを提示し、分子軌道理論のように、現在のアプローチを超えて表現範囲を大幅に拡大します。
フレームワークの機能は、主要なアプリケーションを通じて実証されています。ベイジアン確率的プログラミングは、怠zyな確率的プログラミングライブラリであるLazyPplとの統合を通じて実証されています。
分子は、さまざまな表現の下で分子特性の不変性を活用する幾何学学習技術に必要な、回転中のグループのインスタンスで作られています。
また、フレームワークの柔軟性は、化学反応をモデル化するための拡張を通じて実証されています。
以前の表現を批判した後、Haskellでオープンソースソリューションを提供します。これは、タイプセーフ、純粋に機能的なプログラミング言語です。

要約(オリジナル)

We introduce a novel molecular representation through Algebraic Data Types (ADTs) – composite data structures formed through the combination of simpler types that obey algebraic laws. By explicitly considering how the datatype of a representation constrains the operations which may be performed, we ensure meaningful inference can be performed over generative models (programs with sample} and score operations). This stands in contrast to string-based representations where string-type operations may only indirectly correspond to chemical and physical molecular properties, and at worst produce nonsensical output. The ADT presented implements the Dietz representation for molecular constitution via multigraphs and bonding systems, and uses atomic coordinate data to represent 3D information and stereochemical features. This creates a general digital molecular representation which surpasses the limitations of the string-based representations and the 2D-graph based models on which they are based. In addition, we present novel support for quantum information through representation of shells, subshells, and orbitals, greatly expanding the representational scope beyond current approaches, for instance in Molecular Orbital theory. The framework’s capabilities are demonstrated through key applications: Bayesian probabilistic programming is demonstrated through integration with LazyPPL, a lazy probabilistic programming library; molecules are made instances of a group under rotation, necessary for geometric learning techniques which exploit the invariance of molecular properties under different representations; and the framework’s flexibility is demonstrated through an extension to model chemical reactions. After critiquing previous representations, we provide an open-source solution in Haskell – a type-safe, purely functional programming language.

arxiv情報

著者 Oliver Goldstein,Samuel March
発行日 2025-02-07 16:58:33+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.PL | Representation of Molecules via Algebraic Data Types : Advancing Beyond SMILES & SELFIES はコメントを受け付けていません

Non-linear Quantum Monte Carlo

投稿日: 2025年2月10日 作成者: jarxiv

要約

ランダム変数の平均は、確率分布の空間で$ \ textit {linear} $機能として理解できます。
量子コンピューティングは、平均推定のために古典的なモンテカルロ法よりも2次スピードアップを提供することが知られています。
このホワイトペーパーでは、$ \ textIT {non-linear} $の確率分布の機能を推定するために、同様の二次スピードアップが達成できるかどうかを調査します。
ネストされた条件付きの期待や確率的最適化など、幅広いクラスの非線形推定問題のためにこのようなスピードアップを達成する量子インスサイド – 四四質カルロアルゴリズムを提案します。
私たちのアルゴリズムは、AN等によって導入された量子マルチレベルモンテカルロアルゴリズムの直接適用により改善されます。既存の下限は、アルゴリズムが最適なポリロガリズム因子であることを示しています。
私たちのアプローチの重要な革新は、アルゴリズムのパフォーマンスの向上の中心である量子コンピューティングのために特別に設計されたマルチレベルモンテカルロ近似の新しいシーケンスです。

要約(オリジナル)

The mean of a random variable can be understood as a $\textit{linear}$ functional on the space of probability distributions. Quantum computing is known to provide a quadratic speedup over classical Monte Carlo methods for mean estimation. In this paper, we investigate whether a similar quadratic speedup is achievable for estimating $\textit{non-linear}$ functionals of probability distributions. We propose a quantum-inside-quantum Monte Carlo algorithm that achieves such a speedup for a broad class of non-linear estimation problems, including nested conditional expectations and stochastic optimization. Our algorithm improves upon the direct application of the quantum multilevel Monte Carlo algorithm introduced by An et al.. The existing lower bound indicates that our algorithm is optimal up polylogarithmic factors. A key innovation of our approach is a new sequence of multilevel Monte Carlo approximations specifically designed for quantum computing, which is central to the algorithm’s improved performance.

arxiv情報

著者 Jose Blanchet,Yassine Hamoudi,Mario Szegedy,Guanyang Wang
発行日 2025-02-07 17:13:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.NA, math.NA, quant-ph, stat.CO, stat.ML | Non-linear Quantum Monte Carlo はコメントを受け付けていません

3DMolFormer: A Dual-channel Framework for Structure-based Drug Discovery

投稿日: 2025年2月10日 作成者: jarxiv

要約

タンパク質リガンドドッキングとポケットアウェア3Dドラッグデザインのタスクを網羅する構造ベースの創薬は、創薬の中心的な課題を表しています。
ただし、両方のタスクに対処するための既存の作業は、それらの間の二重性を効果的に活用することはできません。各タスクの現在の方法は、3D情報のモデリングと利用可能なデータの制限の課題によって妨げられます。
これらの問題に対処するために、ドッキングと3Dの薬物設計タスクの両方に適用される統一されたデュアルチャネルトランスベースのフレームワークである3Dmolformerを提案します。
具体的には、離散トークンと連続数の並列シーケンスを使用して3Dポケットリガンド複合体を表し、対応するデュアルチャネルトランスモデルを設計してこの形式を処理し、3D情報モデリングの課題を克服します。
さらに、混合データセットでの大規模なトレーニングを通じてデータの制限を緩和し、2つのタスクに合わせてそれぞれ監視された補強学習微調整技術が続きます。
実験結果は、3Dmolformerがタンパク質リガンドドッキングとポケットアウェア3D薬物設計の両方で以前のアプローチを上回ることを示しており、構造ベースの創薬における有望なアプリケーションを強調しています。
このコードは、https：//github.com/hxyfighter/3dmolformerで入手できます。

要約(オリジナル)

Structure-based drug discovery, encompassing the tasks of protein-ligand docking and pocket-aware 3D drug design, represents a core challenge in drug discovery. However, no existing work can deal with both tasks to effectively leverage the duality between them, and current methods for each task are hindered by challenges in modeling 3D information and the limitations of available data. To address these issues, we propose 3DMolFormer, a unified dual-channel transformer-based framework applicable to both docking and 3D drug design tasks, which exploits their duality by utilizing docking functionalities within the drug design process. Specifically, we represent 3D pocket-ligand complexes using parallel sequences of discrete tokens and continuous numbers, and we design a corresponding dual-channel transformer model to handle this format, thereby overcoming the challenges of 3D information modeling. Additionally, we alleviate data limitations through large-scale pre-training on a mixed dataset, followed by supervised and reinforcement learning fine-tuning techniques respectively tailored for the two tasks. Experimental results demonstrate that 3DMolFormer outperforms previous approaches in both protein-ligand docking and pocket-aware 3D drug design, highlighting its promising application in structure-based drug discovery. The code is available at: https://github.com/HXYfighter/3DMolFormer .

arxiv情報

著者 Xiuyuan Hu,Guoqing Liu,Can Chen,Yang Zhao,Hao Zhang,Xue Liu
発行日 2025-02-07 17:28:10+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CE, cs.LG | 3DMolFormer: A Dual-channel Framework for Structure-based Drug Discovery はコメントを受け付けていません

Graph Contrastive Learning for Connectome Classification

投稿日: 2025年2月10日 作成者: jarxiv

要約

磁気共鳴イメージング（MRI）などの脳活動を測定するための非侵襲的技術の最近の進歩により、グラフ信号処理（GSP）を介した構造的および機能的脳ネットワークの研究は顕著な目立っています。
GSPは、脳の機能と構造間の相互作用を解明する重要なツールとして存在し、関心のある領域間のつながりによって定義されるグラフの分析を可能にします – このコンテキストではコネクマムと呼ばれます。
私たちの作品は、グラフ表現学習の領域内で監視された対照学習方法を調査することにより、この方向へのさらなるステップを表しています。
このアプローチの主な目的は、異なるラベルで同じラベルを分離しながら同じラベルを共有する被験者をまとめるサブジェクトレベル（つまり、グラフレベル）ベクトル表現を生成することです。
これらのConnectome埋め込みは、構造的および機能的接続性を共同で考慮するグラフニューラルネットワークエンコーダーデコーダーアーキテクチャから派生しています。
データ増強技術を活用することにより、提案されたフレームワークは、Human Connectomeプロジェクトデータを使用して、性別分類タスクで最先端のパフォーマンスを実現します。
より広く、私たちのコネクトーム中心の方法論的進歩は、精密医療と診断のための神経変性の不均一性を理解するための潜在的な影響を与えるためにGSPを使用してより多くを発見するという有望な見通しをサポートしています。

要約(オリジナル)

With recent advancements in non-invasive techniques for measuring brain activity, such as magnetic resonance imaging (MRI), the study of structural and functional brain networks through graph signal processing (GSP) has gained notable prominence. GSP stands as a key tool in unraveling the interplay between the brain’s function and structure, enabling the analysis of graphs defined by the connections between regions of interest — referred to as connectomes in this context. Our work represents a further step in this direction by exploring supervised contrastive learning methods within the realm of graph representation learning. The main objective of this approach is to generate subject-level (i.e., graph-level) vector representations that bring together subjects sharing the same label while separating those with different labels. These connectome embeddings are derived from a graph neural network Encoder-Decoder architecture, which jointly considers structural and functional connectivity. By leveraging data augmentation techniques, the proposed framework achieves state-of-the-art performance in a gender classification task using Human Connectome Project data. More broadly, our connectome-centric methodological advances support the promising prospect of using GSP to discover more about brain function, with potential impact to understanding heterogeneity in the neurodegeneration for precision medicine and diagnosis.

arxiv情報

著者 Martín Schmidt,Sara Silva,Federico Larroca,Gonzalo Mateos,Pablo Musé
発行日 2025-02-07 17:30:47+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Graph Contrastive Learning for Connectome Classification はコメントを受け付けていません

Supervised Quadratic Feature Analysis: An Information Geometry Approach to Dimensionality Reduction

投稿日: 2025年2月10日 作成者: jarxiv

要約

監視された次元削減は、クラスの識別性を最大化しながら、ラベル付きデータを低次元の特徴空間にマッピングすることを目的としています。
複雑な非線形機能を学習するための方法（深い学習など）の可用性にもかかわらず、解釈可能性、低い計算コスト、幅広い適用性のために線形機能を学習する次元削減方法に対する永続的な需要があります。
ただし、線形分離性（LDAなど）を最適化する方法と、任意のクラス境界（例：メトリックラーニング方法）にわたって最適化するより柔軟であるが計算上の高価な方法の間にはギャップがあります。
ここでは、二次識別を可能にするクラス条件付きの1次統計と2次統計の違いを最大化する線形特徴を学習するための次元削減方法である、監視された二次機能分析（SQFA）を提示します。
SQFAは、対称陽性の明確なマニホールドにおける2次統計の情報ジオメトリを悪用します。
SQFAは、現実世界の問題における2次識別性をサポートしていることを示しています。
また、情報ジオメトリに基づいて、SQFAと二次判別分析（QDA）分類器の間の理論的リンクを提供します。

要約(オリジナル)

Supervised dimensionality reduction aims to map labeled data to a low-dimensional feature space while maximizing class discriminability. Despite the availability of methods for learning complex non-linear features (e.g. Deep Learning), there is an enduring demand for dimensionality reduction methods that learn linear features due to their interpretability, low computational cost, and broad applicability. However, there is a gap between methods that optimize linear separability (e.g. LDA), and more flexible but computationally expensive methods that optimize over arbitrary class boundaries (e.g. metric-learning methods). Here, we present Supervised Quadratic Feature Analysis (SQFA), a dimensionality reduction method for learning linear features that maximize the differences between class-conditional first- and second-order statistics, which allow for quadratic discrimination. SQFA exploits the information geometry of second-order statistics in the symmetric positive definite manifold. We show that SQFA features support quadratic discriminability in real-world problems. We also provide a theoretical link, based on information geometry, between SQFA and the Quadratic Discriminant Analysis (QDA) classifier.

arxiv情報

著者 Daniel Herrera-Esposito,Johannes Burge
発行日 2025-02-07 17:31:46+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.DG, math.ST, stat.ML, stat.TH | Supervised Quadratic Feature Analysis: An Information Geometry Approach to Dimensionality Reduction はコメントを受け付けていません

Measuring Variable Importance in Heterogeneous Treatment Effects with Confidence

投稿日: 2025年2月10日 作成者: jarxiv

要約

因果機械学習（ML）は、複雑なデータから個々の治療効果を推定することを約束しています。
機械学習方法を使用した実世界のアプリケーションを成功させるためには、変数が治療への反応において不均一性を促進する信頼できる洞察を得ることが最も重要です。
条件付き平均治療効果（CATE）の推定における統計的に厳格なグローバル変数の重要性評価のために、条件付き順列の重要性（CPI）メソッドに基づくアルゴリズムであるPormucateを提案します。
有限サンプルレジームと経験的研究の理論的分析は、許可が休暇1-コバリエーションアウト（LOCO）参照法よりも低い分散があり、さまざまな重要性の信頼できる尺度を提供することを示しています。
この特性は統計力を高めます。これは、生物医学的応用に共通する限られたデータレジームにおける因果関係の推論に不可欠です。
最大数百の相関変数を持つ設定を含む、シミュレートされた現実世界の健康データセットで許可の利点を経験的に実証します。

要約(オリジナル)

Causal machine learning (ML) holds promise for estimating individual treatment effects from complex data. For successful real-world applications using machine learning methods, it is of paramount importance to obtain reliable insights into which variables drive heterogeneity in the response to treatment. We propose PermuCATE, an algorithm based on the Conditional Permutation Importance (CPI) method, for statistically rigorous global variable importance assessment in the estimation of the Conditional Average Treatment Effect (CATE). Theoretical analysis of the finite sample regime and empirical studies show that PermuCATE has lower variance than the Leave-One-Covariate-Out (LOCO) reference method and provides a reliable measure of variable importance. This property increases statistical power, which is crucial for causal inference in the limited-data regime common to biomedical applications. We empirically demonstrate the benefits of PermuCATE in simulated and real-world health datasets, including settings with up to hundreds of correlated variables.

arxiv情報

著者 Joseph Paillard,Angel Reyero Lobo,Vitaliy Kolodyazhniy,Bertrand Thirion,Denis A. Engemann
発行日 2025-02-07 17:35:23+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Measuring Variable Importance in Heterogeneous Treatment Effects with Confidence はコメントを受け付けていません

SpecTUS: Spectral Translator for Unknown Structures annotation from EI-MS spectra

投稿日: 2025年2月10日 作成者: jarxiv

要約

質量スペクトルからの化合物の識別と構造注釈は、薬物検出、刑事法医学、小分子バイオマーカーの発見および化学工学に広く適用される確立されたタスクです。
スペクトルを提案します。未知の構造のスペクトル翻訳者、低解像度ガスクロマトグラフィー電子イオンイオン化質量スペクトル（GC-EI-MS）からの小分子の構造注釈のタスクに対処する深い神経モデル。
私たちのモデルは、\ textit {de novo}マナーでスペクトルを分析します – スペクトルから2D構造表現への直接的な変換。
私たちのアプローチは、スペクトルライブラリで利用できない化合物の分析に特に役立ちます。
さまざまなライブラリにわたる新規構造注釈タスクに関するモデルの厳密な評価では、標準のデータベース検索手法を広いマージンで上回りました。
NISTデータベースからの\ numprint {28267}スペクトルを含む延長されたテストセットでは、モデルの単一の提案がサブセットの化合物の43％を完全に再構築することを示します。
この単一の提案は、76％のケースでデータベースハイブリッド検索の候補（開業医の共通方法）よりも厳密に優れています。
〜10の提案のまだ手頃な価格のシナリオでは、65 \％で完全な再構成が達成され、84 \％はハイブリッド検索よりも優れています。

要約(オリジナル)

Compound identification and structure annotation from mass spectra is a well-established task widely applied in drug detection, criminal forensics, small molecule biomarker discovery and chemical engineering. We propose SpecTUS: Spectral Translator for Unknown Structures, a deep neural model that addresses the task of structural annotation of small molecules from low-resolution gas chromatography electron ionization mass spectra (GC-EI-MS). Our model analyzes the spectra in \textit{de novo} manner — a direct translation from the spectra into 2D-structural representation. Our approach is particularly useful for analyzing compounds unavailable in spectral libraries. In a rigorous evaluation of our model on the novel structure annotation task across different libraries, we outperformed standard database search techniques by a wide margin. On a held-out testing set, including \numprint{28267} spectra from the NIST database, we show that our model’s single suggestion perfectly reconstructs 43\% of the subset’s compounds. This single suggestion is strictly better than the candidate of the database hybrid search (common method among practitioners) in 76\% of cases. In a~still affordable scenario of~10 suggestions, perfect reconstruction is achieved in 65\%, and 84\% are better than the hybrid search.

arxiv情報

著者 Adam Hájek,Helge Hecht,Elliott J. Price,Aleš Křenek
発行日 2025-02-07 17:36:13+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, physics.data-an | SpecTUS: Spectral Translator for Unknown Structures annotation from EI-MS spectra はコメントを受け付けていません

Optimizing Wireless Resource Management and Synchronization in Digital Twin Networks

投稿日: 2025年2月10日 作成者: jarxiv

要約

この論文では、物理ネットワークとそのデジタルネットワークツイン（DNT）の間の正確な同期を調査します。これは、物理ネットワークの仮想表現として機能します。
考慮されたネットワークには、限られたスペクトルリソースを割り当ててユーザーのセットにサービスを提供すると同時に、DNTを生成するために部分的に観察された物理ネットワーク情報をクラウドサーバーに送信すると、ベースステーション（BSS）のセットが含まれています。
DNTはその履歴ステータスに基づいて物理ネットワークのステータスを予測できるため、BSSは各タイムスロットで物理ネットワーク情報を送信する必要がない場合があり、ユーザーにサービスを提供するためのスペクトルリソースを節約できるようにします。
ただし、DNTが大きな期間にわたってBSSの物理ネットワーク情報を受信しない場合、物理ネットワークを表す際のDNTの精度は低下する可能性があります。
この目的のために、各BSは、DNTを更新するために物理ネットワーク情報をクラウドサーバーにいつ送信するかを決定すると同時に、DNT同期とユーザーへのサービスの両方のスペクトルリソース割り当てポリシーを決定する必要があります。
このリソース割り当てタスクを最適化問題として策定し、物理ネットワークとDNT間の非同期化を最小限に抑えながら、すべてのユーザーの総データレートを最大化することを目指しています。
この問題に対処するために、Grusと値分解ネットワーク（VDN）に基づいた方法を提案します。
シミュレーション結果は、GRUとVDNベースのアルゴリズムが、GRUと独立Q学習を組み合わせたベースラインメソッドと比較して、DNTと物理ネットワークのステータスの類似性を最大28.96％改善することを示しています。

要約(オリジナル)

In this paper, we investigate an accurate synchronization between a physical network and its digital network twin (DNT), which serves as a virtual representation of the physical network. The considered network includes a set of base stations (BSs) that must allocate its limited spectrum resources to serve a set of users while also transmitting its partially observed physical network information to a cloud server to generate the DNT. Since the DNT can predict the physical network status based on its historical status, the BSs may not need to send their physical network information at each time slot, allowing them to conserve spectrum resources to serve the users. However, if the DNT does not receive the physical network information of the BSs over a large time period, the DNT’s accuracy in representing the physical network may degrade. To this end, each BS must decide when to send the physical network information to the cloud server to update the DNT, while also determining the spectrum resource allocation policy for both DNT synchronization and serving the users. We formulate this resource allocation task as an optimization problem, aiming to maximize the total data rate of all users while minimizing the asynchronization between the physical network and the DNT. To address this problem, we propose a method based on the GRUs and the value decomposition network (VDN). Simulation results show that our GRU and VDN based algorithm improves the weighted sum of data rates and the similarity between the status of the DNT and the physical network by up to 28.96%, compared to a baseline method combining GRU with the independent Q learning.

arxiv情報

著者 Hanzhi Yu,Yuchen Liu,Zhaohui Yang,Haijian Sun,Mingzhe Chen
発行日 2025-02-07 17:38:36+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.NI, cs.SY, eess.SY | Optimizing Wireless Resource Management and Synchronization in Digital Twin Networks はコメントを受け付けていません

Refining Integration-by-Parts Reduction of Feynman Integrals with Machine Learning

投稿日: 2025年2月10日 作成者: jarxiv

要約

Feynman Integralsの統合ごとの統合の削減により、理論的粒子と重力波物理学の最先端の計算において頻繁にボトルネックが生まれ、パートごとの統合アイデンティティを選択するためのヒューリスティックなアプローチに依存しています。
パフォーマンスに影響を与えます。
この論文では、機械学習技術の使用を調査して、ヒューリスティックの改善を見つけます。
大規模な言語モデルによるコード生成に基づいた遺伝子プログラミングバリアントであるFunSearchを使用して、考えられるアプローチを調査し、強力に型付けされた遺伝子プログラミングを使用して、有用なソリューションをゼロにします。
どちらのアプローチも、最近統合ごとのソルバーに組み込まれた最新のヒューリスティックを再発見することができ、一例では、この最先端の小さな進歩を見つけます。

要約(オリジナル)

Integration-by-parts reductions of Feynman integrals pose a frequent bottle-neck in state-of-the-art calculations in theoretical particle and gravitational-wave physics, and rely on heuristic approaches for selecting integration-by-parts identities, whose quality heavily influences the performance. In this paper, we investigate the use of machine-learning techniques to find improved heuristics. We use funsearch, a genetic programming variant based on code generation by a Large Language Model, in order to explore possible approaches, then use strongly typed genetic programming to zero in on useful solutions. Both approaches manage to re-discover the state-of-the-art heuristics recently incorporated into integration-by-parts solvers, and in one example find a small advance on this state of the art.

arxiv情報

著者 Matt von Hippel,Matthias Wilhelm
発行日 2025-02-07 17:48:42+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, hep-ph, hep-th | Refining Integration-by-Parts Reduction of Feynman Integrals with Machine Learning はコメントを受け付けていません