Highly Dynamic and Flexible Spatio-Temporal Spectrum Management with AI-Driven O-RAN: A Multi-Granularity Marketplace Framework

投稿日: 2025年2月20日 作成者: jarxiv

要約

現在のスペクトル共有フレームワークは、適応性と格闘しており、多くの場合、静的または不十分な動的であることがよくあります。
彼らは主に、空間的およびスペクトルの次元を見下ろしながら、時間的共有を強調しています。
O-RANアーキテクチャ内の適応型のAI駆動型スペクトル共有フレームワークを提案し、複数のタイムスケールと空間的粒度にわたってスペクトルのニーズを予測するために、識別および生成AI（genai）を統合します。
認定Spectrum Brokerが管理する市場モデルにより、オペレーターはSpectrumを動的に取引し、静的割り当てとリアルタイム取引のバランスをとることができます。
genaiは、トラフィックの予測、スペクトル推定、および割り当てを強化し、コストを削減しながら利用率を最適化します。
このモジュールで柔軟なアプローチは、オペレーターのコラボレーションを促進し、効率と収益を最大化します。
重要な研究の課題は、既存のモデルを超えて配分の粒度と時空間ダイナミクスを改良することです。

要約(オリジナル)

Current spectrum-sharing frameworks struggle with adaptability, often being either static or insufficiently dynamic. They primarily emphasize temporal sharing while overlooking spatial and spectral dimensions. We propose an adaptive, AI-driven spectrum-sharing framework within the O-RAN architecture, integrating discriminative and generative AI (GenAI) to forecast spectrum needs across multiple timescales and spatial granularities. A marketplace model, managed by an authorized spectrum broker, enables operators to trade spectrum dynamically, balancing static assignments with real-time trading. GenAI enhances traffic prediction, spectrum estimation, and allocation, optimizing utilization while reducing costs. This modular, flexible approach fosters operator collaboration, maximizing efficiency and revenue. A key research challenge is refining allocation granularity and spatio-temporal dynamics beyond existing models.

arxiv情報

著者 Mehdi Rasti,Elaheh Ataeebojd,Shiva Kazemi Taskooh,Mehdi Monemi,Siavash Razmi,Matti Latva-aho
発行日 2025-02-19 17:21:10+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.SY, eess.SY | Highly Dynamic and Flexible Spatio-Temporal Spectrum Management with AI-Driven O-RAN: A Multi-Granularity Marketplace Framework はコメントを受け付けていません

Mesh-based Super-Resolution of Fluid Flows with Multiscale Graph Neural Networks

投稿日: 2025年2月20日 作成者: jarxiv

要約

この作業では、グラフニューラルネットワーク（GNN）アプローチが導入されており、メッシュベースの3次元の流体フローの超解像度を可能にします。
このフレームワークでは、GNNは一度に完全なメッシュベースのフィールドではなく、要素（またはセル）の局所メッシュで直接動作するように設計されています。
スペクトル（または有限の）要素離散に類似した方法でメッシュベースのGNN表現を促進するために、ベースラインGNNレイヤー（ローカルノードプロパティを更新するメッセージの通過レイヤーと呼ばれる）を変更して、併用グラフノードの同期を考慮し、互換性をレンダリングするために修正されます
一般的に使用される要素ベースのメッシュ接続性。
アーキテクチャは本質的にマルチスケールであり、グラフ解除層で区切られた粗スケールとファインスケールの通過レイヤーシーケンス（プロセッサと呼ばれる）の組み合わせで構成されています。
粗スケールプロセッサは、クエリ要素（隣接する粗い要素のセット数と並んで）を埋め込み、要素の近隣を通過する粗スケールの同期メッセージを使用して、単一の潜在グラフ表現に埋め込み、ファインスケールプロセッサは、これに追加のメッセージの合格操作をレバレッジします
補間エラーを修正する潜在グラフ。
デモンストレーション研究は、1600および3200のレイノルズ数でのTaylor-Green Vortexおよび後方向けステップフローシミュレーションの六面体メッシュベースのデータを使用して実行されます。グローバルエラーとローカルエラーの両方の分析を通じて、結果は最終的にGNNがどのように生成できるかを示しています。
粗スケールおよびマルチスケールモデルの両方のモデル構成の両方のターゲットと比較した正確な超分解フィールド。
固定アーキテクチャの再構築誤差は、レイノルズ数に比例して増加することがわかりました。
個別のキャビティフロー構成に関するジオメトリ外蓄積研究は、超解像度戦略の有望なクロスメッシュ機能を示しています。

要約(オリジナル)

A graph neural network (GNN) approach is introduced in this work which enables mesh-based three-dimensional super-resolution of fluid flows. In this framework, the GNN is designed to operate not on the full mesh-based field at once, but on localized meshes of elements (or cells) directly. To facilitate mesh-based GNN representations in a manner similar to spectral (or finite) element discretizations, a baseline GNN layer (termed a message passing layer, which updates local node properties) is modified to account for synchronization of coincident graph nodes, rendering compatibility with commonly used element-based mesh connectivities. The architecture is multiscale in nature, and is comprised of a combination of coarse-scale and fine-scale message passing layer sequences (termed processors) separated by a graph unpooling layer. The coarse-scale processor embeds a query element (alongside a set number of neighboring coarse elements) into a single latent graph representation using coarse-scale synchronized message passing over the element neighborhood, and the fine-scale processor leverages additional message passing operations on this latent graph to correct for interpolation errors. Demonstration studies are performed using hexahedral mesh-based data from Taylor-Green Vortex and backward-facing step flow simulations at Reynolds numbers of 1600 and 3200. Through analysis of both global and local errors, the results ultimately show how the GNN is able to produce accurate super-resolved fields compared to targets in both coarse-scale and multiscale model configurations. Reconstruction errors for fixed architectures were found to increase in proportion to the Reynolds number. Geometry extrapolation studies on a separate cavity flow configuration show promising cross-mesh capabilities of the super-resolution strategy.

arxiv情報

著者 Shivam Barwey,Pinaki Pal,Saumil Patel,Riccardo Balin,Bethany Lusch,Venkatram Vishwanath,Romit Maulik,Ramesh Balakrishnan
発行日 2025-02-19 17:27:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CE, cs.LG, physics.comp-ph, physics.flu-dyn | Mesh-based Super-Resolution of Fluid Flows with Multiscale Graph Neural Networks はコメントを受け付けていません

Geometric Principles for Machine Learning of Dynamical Systems

投稿日: 2025年2月20日 作成者: jarxiv

要約

動的システムの数学的記述は、非ユークリッドの幾何学によって定義されたトポロジカル空間に深く根付いています。
このホワイトペーパーでは、モデルのないアーキテクチャに物理学バイアスを埋め込むこととは対照的に、データから物理システムをモデル化する際に構造一般化を実現するための機械学習のための構造が豊富な幾何学的空間を活用することを提案します。
モデルの一般化は、状態空間ダイナミクスからパラメーター空間までのトポロジーマッピングとして定義される、対称性、不変性、一意性の関数であると考えています。
このビューは、線形時間不変の動的システムの機械学習を通して説明します。

要約(オリジナル)

Mathematical descriptions of dynamical systems are deeply rooted in topological spaces defined by non-Euclidean geometry. This paper proposes leveraging structure-rich geometric spaces for machine learning to achieve structural generalization when modeling physical systems from data, in contrast to embedding physics bias within model-free architectures. We consider model generalization to be a function of symmetry, invariance and uniqueness, defined as a topological mapping from state space dynamics to the parameter space. We illustrate this view through the machine learning of linear time-invariant dynamical systems, whose dynamics reside on the symmetric positive definite manifold.

arxiv情報

著者 Zack Xuereb Conti,David J Wagg,Nick Pepper
発行日 2025-02-19 17:28:40+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Geometric Principles for Machine Learning of Dynamical Systems はコメントを受け付けていません

AI-Driven Discovery of High Performance Polymer Electrodes for Next-Generation Batteries

投稿日: 2025年2月20日 作成者: jarxiv

要約

電池での遷移グループ金属の使用には、リチウム、コバルト、ニッケルなどの重要な要素を広範囲に使用する必要があります。
これらの金属を酸化還元活性のある有機材料に置き換えると、有望な代替品が提供され、それによりバッテリーの二酸化炭素排出量が1桁減少します。
ただし、このアプローチは、適切な酸化還元活性のある有機材料の限られた利用可能性や、電子伝導率の低下、電圧、比容量、長期の安定性などの問題など、重大な障害に直面しています。
低電圧と特定の容量の制限を克服するために、機械学習（ML）駆動型のバッテリー情報フレームワークが開発および実装されています。
このフレームワークは、広範なバッテリーデータセットと高度なMLテクニックを利用して、酸化還元活性オーガニック材料の識別、最適化、設計を加速および強化します。
この寄与では、さまざまな有機負電極と電荷キャリア（正の電極材料）の組み合わせについて、バッテリー特性、電圧、および特異的容量を予測できるデータ融合ML結合メタ学習モデルを提示します。
MLモデルは、実験を加速し、バッテリー材料の逆設計を促進し、3つの広範な材料ライブラリの適切な候補を特定して、持続可能なエネルギー貯蔵技術を促進します。

要約(オリジナル)

The use of transition group metals in electric batteries requires extensive usage of critical elements like lithium, cobalt and nickel, which poses significant environmental challenges. Replacing these metals with redox-active organic materials offers a promising alternative, thereby reducing the carbon footprint of batteries by one order of magnitude. However, this approach faces critical obstacles, including the limited availability of suitable redox-active organic materials and issues such as lower electronic conductivity, voltage, specific capacity, and long-term stability. To overcome the limitations for lower voltage and specific capacity, a machine learning (ML) driven battery informatics framework is developed and implemented. This framework utilizes an extensive battery dataset and advanced ML techniques to accelerate and enhance the identification, optimization, and design of redox-active organic materials. In this contribution, a data-fusion ML coupled meta learning model capable of predicting the battery properties, voltage and specific capacity, for various organic negative electrodes and charge carriers (positive electrode materials) combinations is presented. The ML models accelerate experimentation, facilitate the inverse design of battery materials, and identify suitable candidates from three extensive material libraries to advance sustainable energy-storage technologies.

arxiv情報

著者 Subhash V. S. Ganti,Lukas Woelfel,Christopher Kuenneth
発行日 2025-02-19 17:32:17+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cond-mat.mtrl-sci, cs.LG, physics.app-ph | AI-Driven Discovery of High Performance Polymer Electrodes for Next-Generation Batteries はコメントを受け付けていません

Optimistically Optimistic Exploration for Provably Efficient Infinite-Horizon Reinforcement and Imitation Learning

投稿日: 2025年2月20日 作成者: jarxiv

要約

Infinite-Horizo​​nの割引線形マルコフ決定プロセス（MDP）における補強学習の問題を研究し、この設定で最適に近い後悔保証を達成する最初の計算効率の高いアルゴリズムを提案します。
私たちの主なアイデアは、楽観的な探索のための2つの古典的なテクニックを組み合わせることです。報酬機能に適用される加算的探査ボーナスと、最大のリターンで吸収状態に加えられた人工遷移です。
正規化された近似ダイナミックプログラミングスキームと組み合わせて、結果のアルゴリズムは注文$ \ tilde {\ mathcal {o}}}（\ sqrt {d^3（1- \ gamma）^{ – 7 /
2} t}）$、$ t $はサンプル遷移の総数、$ \ gamma \ in（0,1）$ is is
割引係数、および$ d $は機能の次元です。
結果は、敵対的な報酬シーケンスに対して引き続き保持され、最先端の結果を達成する線形MDPでの模倣学習の問題への方法の適用を可能にします。

要約(オリジナル)

We study the problem of reinforcement learning in infinite-horizon discounted linear Markov decision processes (MDPs), and propose the first computationally efficient algorithm achieving near-optimal regret guarantees in this setting. Our main idea is to combine two classic techniques for optimistic exploration: additive exploration bonuses applied to the reward function, and artificial transitions made to an absorbing state with maximal return. We show that, combined with a regularized approximate dynamic-programming scheme, the resulting algorithm achieves a regret of order $\tilde{\mathcal{O}} (\sqrt{d^3 (1 – \gamma)^{- 7 / 2} T})$, where $T$ is the total number of sample transitions, $\gamma \in (0,1)$ is the discount factor, and $d$ is the feature dimensionality. The results continue to hold against adversarial reward sequences, enabling application of our method to the problem of imitation learning in linear MDPs, where we achieve state-of-the-art results.

arxiv情報

著者 Antoine Moulin,Gergely Neu,Luca Viano
発行日 2025-02-19 17:32:35+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Optimistically Optimistic Exploration for Provably Efficient Infinite-Horizon Reinforcement and Imitation Learning はコメントを受け付けていません

MotifBench: A standardized protein design benchmark for motif-scaffolding problems

投稿日: 2025年2月20日 作成者: jarxiv

要約

モチーフスコホルディングの問題は、計算タンパク質設計の中心的なタスクです。目的の生化学機能（モチーフ）を付与するために選択された形状の原子の座標を考えると、モチーフとモチーフを含む多様なタンパク質構造（足場）を識別することです。
そのジオメトリを維持します。
信頼性の高いタンパク質構造予測と固定結合骨シーケンスの設計方法による計算評価により、モチーフスコホルディングに関する最近の大幅な進歩がなされています。
ただし、出版物全体の評価戦略の大幅な変動は、結果の比較可能性、挑戦された再現性、および堅牢な進歩を妨げました。
これに応じて、（1）正確に指定されたパイプラインおよび評価メトリックを含むモチーフベンチ、（2）30のベンチマーク問題のコレクション、および（3）github.com/blt2114/motifbenchでのこのベンチマークとリーダーボードの実装を紹介します。
モチーフベンチテストのケースは、以前のベンチマークと比較してより困難であり、ソリューションが既知であるが、私たちの知る限り、最先端の方法がソリューションを特定できないタンパク質設計の問題が含まれています。

要約(オリジナル)

The motif-scaffolding problem is a central task in computational protein design: Given the coordinates of atoms in a geometry chosen to confer a desired biochemical function (a motif), the task is to identify diverse protein structures (scaffolds) that include the motif and maintain its geometry. Significant recent progress on motif-scaffolding has been made due to computational evaluation with reliable protein structure prediction and fixed-backbone sequence design methods. However, significant variability in evaluation strategies across publications has hindered comparability of results, challenged reproducibility, and impeded robust progress. In response we introduce MotifBench, comprising (1) a precisely specified pipeline and evaluation metrics, (2) a collection of 30 benchmark problems, and (3) an implementation of this benchmark and leaderboard at github.com/blt2114/MotifBench. The MotifBench test cases are more difficult compared to earlier benchmarks, and include protein design problems for which solutions are known but on which, to the best of our knowledge, state-of-the-art methods fail to identify any solution.

arxiv情報

著者 Zhuoqi Zheng,Bo Zhang,Kieran Didi,Kevin K. Yang,Jason Yim,Joseph L. Watson,Hai-Feng Chen,Brian L. Trippe
発行日 2025-02-19 17:51:50+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, q-bio.BM | MotifBench: A standardized protein design benchmark for motif-scaffolding problems はコメントを受け付けていません

Playing Hex and Counter Wargames using Reinforcement Learning and Recurrent Neural Networks

投稿日: 2025年2月20日 作成者: jarxiv

要約

HEXとカウンターウォーゲームは、複雑な戦略的意思決定を必要とする実際の軍事紛争の敵対的な2人のプレイヤーシミュレーションです。
クラシックボードゲームとは異なり、これらのゲームは、複雑な地形/ユニットの相互作用、ユニットのスタッキング、さまざまなサイズの大きなマップ、および数百ユニットを含む同時の移動と戦闘の決定を備えています。
このペーパーでは、信頼できる最新の強化学習アルゴリズムであるAlphazeroと再発性ニューラルネットワークの最先端の進歩を統合することにより、HEXとカウンターウォーゲームの戦略的複雑さに対処するために設計された新しいシステムを紹介します。
このシステムは、これらの特定のゲーム環境に合わせて調整された革新的な状態と行動の表現を組み込んだ既存の研究から開発された新しいニューラルネットワークアーキテクチャを利用しています。
最小限のトレーニングにより、私たちのソリューションは、典型的なシナリオで有望な結果を示しており、さまざまな地形や戦術的な状況にわたって一般化する能力を示しています。
さらに、システムがより大きなマップサイズにスケーリングする可能性を調査します。
開発されたシステムは公然とアクセスしやすく、この挑戦​​的なドメイン内での継続的な研究と調査を促進します。

要約(オリジナル)

Hex and Counter Wargames are adversarial two-player simulations of real military conflicts requiring complex strategic decision-making. Unlike classical board games, these games feature intricate terrain/unit interactions, unit stacking, large maps of varying sizes, and simultaneous move and combat decisions involving hundreds of units. This paper introduces a novel system designed to address the strategic complexity of Hex and Counter Wargames by integrating cutting-edge advancements in Recurrent Neural Networks with AlphaZero, a reliable modern Reinforcement Learning algorithm. The system utilizes a new Neural Network architecture developed from existing research, incorporating innovative state and action representations tailored to these specific game environments. With minimal training, our solution has shown promising results in typical scenarios, demonstrating the ability to generalize across different terrain and tactical situations. Additionally, we explore the system’s potential to scale to larger map sizes. The developed system is openly accessible, facilitating continued research and exploration within this challenging domain.

arxiv情報

著者 Guilherme Palma,Pedro A. Santos,João Dias
発行日 2025-02-19 17:52:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, I.2.6 | Playing Hex and Counter Wargames using Reinforcement Learning and Recurrent Neural Networks はコメントを受け付けていません

Exploring Code Language Models for Automated HLS-based Hardware Generation: Benchmark, Infrastructure and Analysis

投稿日: 2025年2月20日 作成者: jarxiv

要約

コード生成の最近の進歩により、PythonやC ++などの汎用プログラミング言語に大規模な言語モデル（LLM）を採用する可能性が明らかになり、ソフトウェア開発を自動化し、プログラマーの生産性を高めるための新しい機会を開きました。
ソフトウェアプログラミングにおけるLLMSの可能性は、自動化されたハードウェアの生成と自動化の調査に大きな関心を集めています。
ハードウェアの説明言語（HDL）の生成にLLMを採用するための予備的な努力がなされていますが、この方向にいくつかの課題が続いています。
まず、利用可能なHDLトレーニングデータのボリュームは、ソフトウェアプログラミング言語のボリュームと比較して大幅に小さくなっています。
第二に、主にソフトウェアコードに合わせた事前に訓練されたLLMSは、エラーが発生しやすいHDLデザインを生成する傾向があります。
第三に、HDLの生成には、ソフトウェアプログラミングと比較してかなり多くのトークンが必要であり、コストとエネルギー消費の非効率性につながります。
これらの課題に取り組むために、このペーパーでは、LLMSを活用して高レベルの合成（HLS）ベースのハードウェア設計を生成することを調査します。
文献では、ドメイン固有のプログラミング言語のコード生成は新しいものではありませんが、LLMアシストハードウェア設計生成の低レベルHDLSを超えるHLSの適合性を調査するために、実験結果、洞察、ベンチマーク、および評価インフラストラクチャを提供することを目指しています。
これを実現するために、最初に、テキストプロンプトと対応する参照HLSデザインを備えた収集されたデータセットを使用して、HLSベースのハードウェア生成の事前訓練モデルをFintuneします。
次に、LLM支援フレームワークが提案され、エンドツーエンドのハードウェアコード生成を自動化します。これは、HLSデザインの生成における技術を促進するチェーンとフィードバックループの影響も調査します。
この研究の時間枠に制限されているため、将来、より高度な推論モデルを評価する予定です。

要約(オリジナル)

Recent advances in code generation have illuminated the potential of employing large language models (LLMs) for general-purpose programming languages such as Python and C++, opening new opportunities for automating software development and enhancing programmer productivity. The potential of LLMs in software programming has sparked significant interest in exploring automated hardware generation and automation. Although preliminary endeavors have been made to adopt LLMs in generating hardware description languages (HDLs), several challenges persist in this direction. First, the volume of available HDL training data is substantially smaller compared to that for software programming languages. Second, the pre-trained LLMs, mainly tailored for software code, tend to produce HDL designs that are more error-prone. Third, the generation of HDL requires a significantly higher number of tokens compared to software programming, leading to inefficiencies in cost and energy consumption. To tackle these challenges, this paper explores leveraging LLMs to generate High-Level Synthesis (HLS)-based hardware design. Although code generation for domain-specific programming languages is not new in the literature, we aim to provide experimental results, insights, benchmarks, and evaluation infrastructure to investigate the suitability of HLS over low-level HDLs for LLM-assisted hardware design generation. To achieve this, we first finetune pre-trained models for HLS-based hardware generation, using a collected dataset with text prompts and corresponding reference HLS designs. An LLM-assisted framework is then proposed to automate end-to-end hardware code generation, which also investigates the impact of chain-of-thought and feedback loops promoting techniques on HLS-design generation. Limited by the timeframe of this research, we plan to evaluate more advanced reasoning models in the future.

arxiv情報

著者 Jiahao Gai,Hao,Chen,Zhican Wang,Hongyu Zhou,Wanru Zhao,Nicholas Lane,Hongxiang Fan
発行日 2025-02-19 17:53:59+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AR, cs.LG, cs.SE | Exploring Code Language Models for Automated HLS-based Hardware Generation: Benchmark, Infrastructure and Analysis はコメントを受け付けていません

Bayesian Comparisons Between Representations

投稿日: 2025年2月20日 作成者: jarxiv

要約

どのニューラルネットワークが類似しているかは、機械学習と神経科学の両方にとって基本的な問題です。
ここでは、中間表現からの線形読み取りの予測分布に基づいて比較することを提案します。
ベイジアン統計では、以前の予測分布は、モデルの誘導バイアスと一般化の完全な説明であり、比較のための大きな根拠となっています。
この分布は、データセットがモデルを支持して提供する証拠を直接提供します。
複数のモデルを互いに比較したい場合は、ジェンセンシャノン距離や総変動距離などの確率分布にメトリックを使用できます。
これらはメトリックであるため、これは表現に擬似メトリクスを誘導します。これにより、線形読み取りに基づいて2つの表現がどれほど適切に区別できるかを測定します。
読み出しの重みとガウスノイズに関するガウスの事前の線形読み出しの場合、近似なしで（前後の）予測分布を分析的に計算できます。
これらの分布は、モデル内の表現の線形カーネルマトリックスのみに依存します。
したがって、ベイジアンメトリックは、中央カーネルアライメントや表現類似性分析などのカーネルベースのメトリックと線形読み出しベースの比較を接続します。
Imagenet-1Kで訓練された深いニューラルネットワークを使用して、それらを互いに比較し、自然シーンデータセットの小さなサブセットを使用して、新しい方法を実証します。
ベイジアンの比較は、既存のメトリックに広く同意しますが、より厳しいものです。
経験的には、評価は異なるランダム画像サンプルによって異なり、完全な不確実性情報で有益な結果をもたらします。
したがって、提案されたベイジアンメトリックは、表現を比較するためにツールキットをうまく拡張します。

要約(オリジナル)

Which neural networks are similar is a fundamental question for both machine learning and neuroscience. Here, I propose to base comparisons on the predictive distributions of linear readouts from intermediate representations. In Bayesian statistics, the prior predictive distribution is a full description of the inductive bias and generalization of a model, making it a great basis for comparisons. This distribution directly gives the evidence a dataset would provide in favor of the model. If we want to compare multiple models to each other, we can use a metric for probability distributions like the Jensen-Shannon distance or the total variation distance. As these are metrics, this induces pseudo-metrics for representations, which measure how well two representations could be distinguished based on a linear read out. For a linear readout with a Gaussian prior on the read-out weights and Gaussian noise, we can analytically compute the (prior and posterior) predictive distributions without approximations. These distributions depend only on the linear kernel matrix of the representations in the model. Thus, the Bayesian metrics connect linear read-out based comparisons to kernel based metrics like centered kernel alignment and representational similarity analysis. I demonstrate the new methods with deep neural networks trained on ImageNet-1k comparing them to each other and a small subset of the Natural Scenes Dataset. The Bayesian comparisons broadly agree with existing metrics, but are more stringent. Empirically, evaluations vary less across different random image samples and yield informative results with full uncertainty information. Thus the proposed Bayesian metrics nicely extend our toolkit for comparing representations.

arxiv情報

著者 Heiko H. Schütt
発行日 2025-02-19 17:55:44+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, q-bio.QM | Bayesian Comparisons Between Representations はコメントを受け付けていません

Improving Probabilistic Diffusion Models With Optimal Diagonal Covariance Matching

投稿日: 2025年2月20日 作成者: jarxiv

要約

確率的拡散モデルは、さまざまなドメインで非常に効果的になりました。
通常、拡散モデルからのサンプリングには、学習された平均と固定または学習の共分散を持つガウスを特徴とする除去分布を使用することが含まれます。
この論文では、最近提案された共分散モーメントマッチングテクニックを活用し、対角線の共分散を学習するための新しい方法を導入します。
従来のデータ駆動型の対角線共分散近似アプローチとは異なり、私たちの方法では、最適な共分散マッチング（OCM）という名前の新しい偏見のない目的を使用して、最適な対角線分析共分散を直接回帰することが含まれます。
このアプローチは、共分散予測の近似誤差を大幅に減らすことができます。
私たちの方法が、サンプリング効率、リコール率、および一般的に使用される拡散モデルの可能性を大幅に向上させる方法を示します。

要約(オリジナル)

The probabilistic diffusion model has become highly effective across various domains. Typically, sampling from a diffusion model involves using a denoising distribution characterized by a Gaussian with a learned mean and either fixed or learned covariances. In this paper, we leverage the recently proposed covariance moment matching technique and introduce a novel method for learning the diagonal covariance. Unlike traditional data-driven diagonal covariance approximation approaches, our method involves directly regressing the optimal diagonal analytic covariance using a new, unbiased objective named Optimal Covariance Matching (OCM). This approach can significantly reduce the approximation error in covariance prediction. We demonstrate how our method can substantially enhance the sampling efficiency, recall rate and likelihood of commonly used diffusion models.

arxiv情報

著者 Zijing Ou,Mingtian Zhang,Andi Zhang,Tim Z. Xiao,Yingzhen Li,David Barber
発行日 2025-02-19 18:08:28+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Improving Probabilistic Diffusion Models With Optimal Diagonal Covariance Matching はコメントを受け付けていません