Integrating Protein Sequence and Expression Level to Analysis Molecular Characterization of Breast Cancer Subtypes

投稿日: 2024年10月3日 作成者: jarxiv

要約

乳がんの複雑さと多様性は、その進行を理解し、効果的な治療を導く上で大きな課題となっています。
この研究は、タンパク質配列データと発現レベルを統合して、乳がんのサブタイプの分子的特徴付けを改善し、臨床転帰を予測することを目的としています。
タンパク質配列用に設計された言語モデルである ProtGPT2 を使用して、タンパク質配列の機能的および構造的特性を捕捉する埋め込みを生成しました。
これらの埋め込みはタンパク質発現レベルと統合されて、豊富な生物学的表現を形成し、クラスタリングにはアンサンブル K 平均法、分類には XGBoost などの機械学習手法を使用して分析されました。
私たちのアプローチにより、患者を生物学的に異なるグループにクラスタリングすることに成功し、生存率やバイオマーカー状態などの臨床転帰を正確に予測できるようになり、特に生存率の F1 スコア 0.88、バイオマーカー状態予測率 0.87 という高いパフォーマンス指標を達成しました。
特徴の重要性の分析により、ホルモン受容体とヒト上皮成長因子受容体 2 (HER2) の発現に関連する KMT2C、GCN1、CLASP2 などの重要なタンパク質が明らかになり、それぞれ腫瘍の進行と患者の転帰に役割を果たしています。
さらに、タンパク質間相互作用ネットワークと相関分析により、乳がんのサブタイプの挙動に影響を与える可能性があるタンパク質の相互依存性が明らかになりました。
これらの発見は、タンパク質の配列と発現のデータを統合することで腫瘍生物学への貴重な洞察が得られ、乳がん治療における個別化された治療戦略を強化する大きな可能性があることを示唆しています。

要約(オリジナル)

Breast cancer’s complexity and variability pose significant challenges in understanding its progression and guiding effective treatment. This study aims to integrate protein sequence data with expression levels to improve the molecular characterization of breast cancer subtypes and predict clinical outcomes. Using ProtGPT2, a language model designed for protein sequences, we generated embeddings that capture the functional and structural properties of proteins sequence. These embeddings were integrated with protein expression level to form enriched biological representations, which were analyzed using machine learning methods like ensemble K-means for clustering and XGBoost for classification. Our approach enabled successful clustering of patients into biologically distinct groups and accurately predicted clinical outcomes such as survival and biomarkers status, achieving high performance metrics, notably an F1 score of 0.88 for survival and 0.87 for biomarkers status prediction. Analysis of feature importance highlighted key proteins like KMT2C, GCN1, and CLASP2, linked to hormone receptor and Human Epidermal Growth Factor Receptor 2 (HER2) expression, which play a role in tumor progression and patient outcomes, respectively. Furthermore, protein-protein interaction networks and correlation analyses revealed the interdependence of proteins that may influence breast cancer subtype behaviors. These findings suggest that integrating protein sequence and expression data provides valuable insights into tumor biology and has significant potential to enhance personalized treatment strategies in breast cancer care.

arxiv情報

著者 Hossein Sholehrasa
発行日 2024-10-02 17:05:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, q-bio.BM | コメントする

Decision-Focused Uncertainty Quantification

投稿日: 2024年10月3日 作成者: jarxiv

要約

下流の最適化問題で予測がどのように使用されるかを考慮してモデルをトレーニングする「意思決定重視」の機械学習手法への関心が高まっています。
そうすることで、その後の意思決定問題のパフォーマンスが向上することがよくあります。
しかし、不確実性を定量化するための現在の方法には、下流の決定に関する情報がまったく組み込まれていません。
私たちは、等角予測に基づいたフレームワークを開発して、下流の意思決定損失関数を考慮した予測セットを生成し、一か八かの意思決定を知らせるのにより適切なものにします。
私たちのアプローチは、下流の決定とユーザー指定のユーティリティ関数を組み込みながら、等角手法の強みであるモジュール性、モデル不可知主義、統計的カバレッジ保証を活用します。
私たちのメソッドが標準的なカバレッジ保証を保持していることを証明します。
さまざまなデータセットとユーティリティメトリクスにわたる経験的評価により、私たちの方法が標準的な等角法と比較して大幅に低い決定損失を達成することが実証されています。
さらに、私たちの方法が皮膚科疾患の階層構造を効果的に組み込んでいる、医療診断における実際の使用例を紹介します。
これは、一貫した診断上の意味を持つセットを生成することに成功し、皮膚科診断中のトリアージ プロセスを支援し、私たちの方法が外部領域の知識に基づいて一か八かの意思決定をどのように根拠づけることができるかを示しています。

要約(オリジナル)

There is increasing interest in ”decision-focused” machine learning methods which train models to account for how their predictions are used in downstream optimization problems. Doing so can often improve performance on subsequent decision problems. However, current methods for uncertainty quantification do not incorporate any information at all about downstream decisions. We develop a framework based on conformal prediction to produce prediction sets that account for a downstream decision loss function, making them more appropriate to inform high-stakes decision-making. Our approach harnesses the strengths of conformal methods–modularity, model-agnosticism, and statistical coverage guarantees–while incorporating downstream decisions and user-specified utility functions. We prove that our methods retain standard coverage guarantees. Empirical evaluation across a range of datasets and utility metrics demonstrates that our methods achieve significantly lower decision loss compared to standard conformal methods. Additionally, we present a real-world use case in healthcare diagnosis, where our method effectively incorporates the hierarchical structure of dermatological diseases. It successfully generates sets with coherent diagnostic meaning, aiding the triage process during dermatology diagnosis and illustrating how our method can ground high-stakes decision-making on external domain knowledge.

arxiv情報

著者 Santiago Cortes-Gomez,Carlos Patiño,Yewon Byun,Steven Wu,Eric Horvitz,Bryan Wilder
発行日 2024-10-02 17:22:09+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | コメントする

Explainable Earth Surface Forecasting under Extreme Events

投稿日: 2024年10月3日 作成者: jarxiv

要約

気候変動に関連した極端な現象が増加する中、高次元の地球観測データは、生態系への影響を予測し理解するためのまたとない機会を提供します。
ただし、これは、このデータの処理、視覚化、モデル化、説明の複雑さによって妨げられます。
この課題をどのように解決できるかを示すために、ここでは、新しい DeepExtremeCubes データセットで畳み込み長期短期記憶ベースのアーキテクチャをトレーニングします。
DeepExtremeCubes には、世界中で約 40,000 個の長期 Sentinel-2 ミニキューブ (2016 年 1 月から 2022 年 10 月) が含まれており、これに加えて、極端な気候現象の影響を受けた場所とその周辺地域からサンプリングされた、ラベル付きの極端な現象、気象データ、植生土地被覆、地形図が含まれています。
カーネル正規化差植生指数を通じて将来の反射率と植生への影響を予測すると、モデルはテスト セットで R$^2$ スコア 0.9055 を達成しました。
説明可能な人工知能は、2020 年 10 月に中南米で起きた熱波と干ばつの複合現象におけるモデルの予測を分析するために使用されました。
私たちは、反事実としてイベントのちょうど 1 年前に同じ地域を選択し、通常の条件下では平均気温と表面圧力が一般に最良の予測因子であることが判明しました。
対照的に、蒸発と表面潜熱流束の最小限の異常がイベント中に主導権を握ります。
政権の変化はイベント前の属性でも観察されており、これはイベントが発生する前にどれくらいの期間準備されていたかを評価するのに役立つ可能性があります。
この論文のすべての実験と図を再現するコードは、https://github.com/DeepExtremes/txyXAI で公開されています。

要約(オリジナル)

With climate change-related extreme events on the rise, high dimensional Earth observation data presents a unique opportunity for forecasting and understanding impacts on ecosystems. This is, however, impeded by the complexity of processing, visualizing, modeling, and explaining this data. To showcase how this challenge can be met, here we train a convolutional long short-term memory-based architecture on the novel DeepExtremeCubes dataset. DeepExtremeCubes includes around 40,000 long-term Sentinel-2 minicubes (January 2016-October 2022) worldwide, along with labeled extreme events, meteorological data, vegetation land cover, and topography map, sampled from locations affected by extreme climate events and surrounding areas. When predicting future reflectances and vegetation impacts through kernel normalized difference vegetation index, the model achieved an R$^2$ score of 0.9055 in the test set. Explainable artificial intelligence was used to analyze the model’s predictions during the October 2020 Central South America compound heatwave and drought event. We chose the same area exactly one year before the event as counterfactual, finding that the average temperature and surface pressure are generally the best predictors under normal conditions. In contrast, minimum anomalies of evaporation and surface latent heat flux take the lead during the event. A change of regime is also observed in the attributions before the event, which might help assess how long the event was brewing before happening. The code to replicate all experiments and figures in this paper is publicly available at https://github.com/DeepExtremes/txyXAI

arxiv情報

著者 Oscar J. Pellicer-Valero,Miguel-Ángel Fernández-Torres,Chaonan Ji,Miguel D. Mahecha,Gustau Camps-Valls
発行日 2024-10-02 17:27:13+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | コメントする

Bayesian Binary Search

投稿日: 2024年10月3日 作成者: jarxiv

要約

我々は、古典的な二分探索/二分アルゴリズムの新しい確率的変形であるベイジアン二分探索 (BBS) を紹介します。
BBS は、機械学習/統計手法を活用して検索空間の確率密度を推定し、従来の中点ではなく確率密度に基づいて分割するように二分ステップを変更します。これにより、学習された検索空間の分布が検索アルゴリズムをガイドできるようになります。
サーチスペース密度推定は、教師あり確率的機械学習手法 (ガウス過程回帰、ベイジアンニューラルネットワーク、分位点回帰など) または教師なし学習アルゴリズム (混合ガウスモデル、カーネル密度推定 (KDE)、最尤推定など) を使用して柔軟に実行できます。
MLE））。
私たちは、さまざまなディストリビューションにわたるシミュレートされたデータと、運用設定に BBS アルゴリズムを導入したビットコイン ライトニング ネットワークのチャネル バランスを調査する現実世界の二分探索ユース ケースの両方で、BBS を使用することで効率が大幅に向上することを実証しました。

要約(オリジナル)

We present Bayesian Binary Search (BBS), a novel probabilistic variant of the classical binary search/bisection algorithm. BBS leverages machine learning/statistical techniques to estimate the probability density of the search space and modifies the bisection step to split based on probability density rather than the traditional midpoint, allowing for the learned distribution of the search space to guide the search algorithm. Search space density estimation can flexibly be performed using supervised probabilistic machine learning techniques (e.g., Gaussian process regression, Bayesian neural networks, quantile regression) or unsupervised learning algorithms (e.g., Gaussian mixture models, kernel density estimation (KDE), maximum likelihood estimation (MLE)). We demonstrate significant efficiency gains of using BBS on both simulated data across a variety of distributions and in a real-world binary search use case of probing channel balances in the Bitcoin Lightning Network, for which we have deployed the BBS algorithm in a production setting.

arxiv情報

著者 Vikash Singh,Matthew Khanzadeh,Vincent Davis,Harrison Rush,Emanuele Rossi,Jesse Shrader,Pietro Lio
発行日 2024-10-02 17:28:22+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | コメントする

Trained Transformer Classifiers Generalize and Exhibit Benign Overfitting In-Context

投稿日: 2024年10月3日 作成者: jarxiv

要約

トランスフォーマーには教師あり学習アルゴリズムとして機能する能力があります。ラベル付きトレーニング (「コンテキスト内」) サンプルのセットとラベルなしテスト サンプルを同じ次元のベクトルの入力シーケンスに適切にエンコードすることにより、トランスフォーマーのフォワード パスは
ラベルのないテスト例の予測を生成します。
最近の一連の研究では、線形回帰タスク用に線形変換器がランダムなインスタンスで事前トレーニングされると、これらのトレーニングされた変換器は通常の最小二乗法と同様のアルゴリズムを使用して予測を行うことが示されています。
この研究では、ランダムな線形分類タスクで訓練された線形変換器の動作を調査します。
勾配降下法の暗黙的な正則化の分析を通じて、トレーニング済みの変換器がテスト時に適切に一般化するには、どれくらいの数の事前トレーニング タスクとコンテキスト内のサンプルが必要であるかを特徴付けます。
さらに、一部の設定では、これらの訓練されたトランスフォーマーが「インコンテキストでの良性の過剰適合」を示す可能性があることを示します。インコンテキストのサンプルがラベル反転ノイズによって破損した場合、トランスフォーマーはすべてのインコンテキストのサンプル（ノイズのあるラベルを持つサンプルを含む）を記憶します。
それでも、クリーンなテスト例に対してほぼ最適に一般化されます。

要約(オリジナル)

Transformers have the capacity to act as supervised learning algorithms: by properly encoding a set of labeled training (‘in-context’) examples and an unlabeled test example into an input sequence of vectors of the same dimension, the forward pass of the transformer can produce predictions for that unlabeled test example. A line of recent work has shown that when linear transformers are pre-trained on random instances for linear regression tasks, these trained transformers make predictions using an algorithm similar to that of ordinary least squares. In this work, we investigate the behavior of linear transformers trained on random linear classification tasks. Via an analysis of the implicit regularization of gradient descent, we characterize how many pre-training tasks and in-context examples are needed for the trained transformer to generalize well at test-time. We further show that in some settings, these trained transformers can exhibit ‘benign overfitting in-context’: when in-context examples are corrupted by label flipping noise, the transformer memorizes all of its in-context examples (including those with noisy labels) yet still generalizes near-optimally for clean test examples.

arxiv情報

著者 Spencer Frei,Gal Vardi
発行日 2024-10-02 17:30:21+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | コメントする

Dynamical-generative downscaling of climate model ensembles

投稿日: 2024年10月3日 作成者: jarxiv

要約

地域の高解像度気候予測は、農業、水文学、自然災害リスク評価などの多くの用途にとって重要です。
局所的な将来の気候情報を生成する最先端の方法である動的ダウンスケーリングには、地球システム モデル (ESM) によって駆動される地域気候モデル (RCM) の実行が含まれますが、大規模な気候予測に適用するには計算コストが高すぎます。
アンサンブル。
私たちは、コストを削減し、ダウンスケールされた気候予測の不確実性推定を改善するために、動的ダウンスケーリングと生成人工知能を組み合わせた新しいアプローチを提案します。
私たちのフレームワークでは、RCM が ESM 出力を中間解像度まで動的にダウンスケールし、その後、生成拡散モデルによって解像度をターゲット スケールまでさらに調整します。
このアプローチは、物理ベースのモデルの一般化可能性と拡散モデルのサンプリング効率を活用し、大規模なマルチモデル アンサンブルのダウンスケーリングを可能にします。
CMIP6 アンサンブルから動的にダウンスケールされた気候予測に対して私たちの方法を評価します。
私たちの結果は、より小さなアンサンブルの動的ダウンスケーリングや従来の経験的統計的ダウンスケーリング手法などの代替手法よりも、将来の地域の気候についてより正確な不確実性限界を提供する能力を示しています。
また、動的生成ダウンスケーリングの方が、バイアス補正と空間分解 (BCSD) よりも誤差が大幅に低くなり、気象場のスペクトルと多変量相関をより正確に捕捉できることも示します。
これらの特性により、動的生成フレームワークは、現時点では純粋な動的ダウンスケーリングには手が届かない、気候予測の大規模なアンサンブルをダウンスケールするための柔軟で正確かつ効率的な方法となります。

要約(オリジナル)

Regional high-resolution climate projections are crucial for many applications, such as agriculture, hydrology, and natural hazard risk assessment. Dynamical downscaling, the state-of-the-art method to produce localized future climate information, involves running a regional climate model (RCM) driven by an Earth System Model (ESM), but it is too computationally expensive to apply to large climate projection ensembles. We propose a novel approach combining dynamical downscaling with generative artificial intelligence to reduce the cost and improve the uncertainty estimates of downscaled climate projections. In our framework, an RCM dynamically downscales ESM output to an intermediate resolution, followed by a generative diffusion model that further refines the resolution to the target scale. This approach leverages the generalizability of physics-based models and the sampling efficiency of diffusion models, enabling the downscaling of large multi-model ensembles. We evaluate our method against dynamically-downscaled climate projections from the CMIP6 ensemble. Our results demonstrate its ability to provide more accurate uncertainty bounds on future regional climate than alternatives such as dynamical downscaling of smaller ensembles, or traditional empirical statistical downscaling methods. We also show that dynamical-generative downscaling results in significantly lower errors than bias correction and spatial disaggregation (BCSD), and captures more accurately the spectra and multivariate correlations of meteorological fields. These characteristics make the dynamical-generative framework a flexible, accurate, and efficient way to downscale large ensembles of climate projections, currently out of reach for pure dynamical downscaling.

arxiv情報

著者 Ignacio Lopez-Gomez,Zhong Yi Wan,Leonardo Zepeda-Núñez,Tapio Schneider,John Anderson,Fei Sha
発行日 2024-10-02 17:31:01+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, physics.ao-ph | コメントする

TopER: Topological Embeddings in Graph Representation Learning

投稿日: 2024年10月3日 作成者: jarxiv

要約

グラフ エンベディングはグラフ表現の学習において重要な役割を果たし、機械学習モデルがグラフ構造のデータを探索および解釈できるようにします。
ただし、既存の手法は不透明な高次元の埋め込みに依存することが多く、解釈可能性や実用的な視覚化が制限されています。
この研究では、トポロジカル データ解析に基づいた新しい低次元埋め込みアプローチである Topological Evolution Rate (TopER) を紹介します。
TopER は、グラフ部分構造の進化速度を計算することによって主要なトポロジー アプローチである Persistent Homology を簡素化し、グラフ データの直感的で解釈可能な視覚化を実現します。
このアプローチは、グラフ データセットの探索を強化するだけでなく、グラフ クラスタリングおよび分類タスクにおいて競争力のあるパフォーマンスを提供します。
当社の TopER ベースのモデルは、分類、クラスタリング、視覚化などのタスクにおいて、分子、生物学、およびソーシャル ネットワーク データセット全体で最先端の結果を達成または上回る結果をもたらします。

要約(オリジナル)

Graph embeddings play a critical role in graph representation learning, allowing machine learning models to explore and interpret graph-structured data. However, existing methods often rely on opaque, high-dimensional embeddings, limiting interpretability and practical visualization. In this work, we introduce Topological Evolution Rate (TopER), a novel, low-dimensional embedding approach grounded in topological data analysis. TopER simplifies a key topological approach, Persistent Homology, by calculating the evolution rate of graph substructures, resulting in intuitive and interpretable visualizations of graph data. This approach not only enhances the exploration of graph datasets but also delivers competitive performance in graph clustering and classification tasks. Our TopER-based models achieve or surpass state-of-the-art results across molecular, biological, and social network datasets in tasks such as classification, clustering, and visualization.

arxiv情報

著者 Astrit Tola,Funmilola Mary Taiwom,Cuneyt Gurcan Akcora,Baris Coskunuzer
発行日 2024-10-02 17:31:33+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.AT | コメントする

Learning To Solve Differential Equation Constrained Optimization Problems

投稿日: 2024年10月3日 作成者: jarxiv

要約

微分方程式 (DE) 制約付き最適化は、エネルギー システム、航空宇宙工学、エコロジー、金融などの多くの科学および工学分野で重要な役割を果たしており、常微分方程式または確率微分方程式によって支配されるシステムの最適な構成や制御戦略を決定する必要があります。
その重要性にもかかわらず、これらの問題に関連する計算上の課題により、実際の使用は制限されています。
これらの制限に対処するために、この文書では、プロキシ最適化と神経微分方程式の手法を組み合わせた、DE 制約付き最適化への学習ベースのアプローチを紹介します。
提案されたアプローチはデュアル ネットワーク アーキテクチャを使用しており、1 つは定常状態の制約に焦点を当てて制御戦略を近似し、もう 1 つは関連する DE を解決します。
この組み合わせにより、ほぼリアルタイムで動的制約を考慮しながら、最適な戦略を近似することができます。
エネルギー最適化と財務モデリングの問題に関する実験では、この方法が動的制約に完全に準拠し、システムの動的方程式を明示的にモデル化しない他の方法よりも最大 25 倍正確な結果が得られることが示されています。

要約(オリジナル)

Differential equations (DE) constrained optimization plays a critical role in numerous scientific and engineering fields, including energy systems, aerospace engineering, ecology, and finance, where optimal configurations or control strategies must be determined for systems governed by ordinary or stochastic differential equations. Despite its significance, the computational challenges associated with these problems have limited their practical use. To address these limitations, this paper introduces a learning-based approach to DE-constrained optimization that combines techniques from proxy optimization and neural differential equations. The proposed approach uses a dual-network architecture, with one approximating the control strategies, focusing on steady-state constraints, and another solving the associated DEs. This combination enables the approximation of optimal strategies while accounting for dynamic constraints in near real-time. Experiments across problems in energy optimization and finance modeling show that this method provides full compliance with dynamic constraints and it produces results up to 25 times more precise than other methods which do not explicitly model the system’s dynamic equations.

arxiv情報

著者 Vincenzo Di Vito,Mostafa Mohammadian,Kyri Baker,Ferdinando Fioretto
発行日 2024-10-02 17:42:16+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | コメントする

Thermodynamic Bayesian Inference

投稿日: 2024年10月3日 作成者: jarxiv

要約

複雑な予測モデル (ディープ ニューラル ネットワークなど) を完全にベイジアンで処理すると、厳密な不確実性の定量化と、モデル選択を含む高レベルのタスクの自動化が可能になります。
ただし、多くのパラメータにわたってベイズ事後サンプリングを行うのは困難であるため、ベイズ手法が最も必要とされる場所での使用が妨げられています。
熱力学コンピューティングは、逆行列などの機械学習で使用される演算を高速化するためのパラダイムとして登場し、ノイズの多い物理システムのダイナミクスへのランジュバン方程式のマッピングに基づいています。
したがって、熱力学デバイス上でのランジュバン サンプリング アルゴリズムの実装を検討するのは自然なことです。
この研究では、ランジュバン力学を物理的に実現することによってベイジアン事後からサンプリングする電子アナログ デバイスを提案します。
回路設計は、ガウス-ガウス モデルの事後サンプリングとベイジアン ロジスティック回帰のために与えられ、シミュレーションによって検証されます。
合理的な仮定の下で、これらのモデルのベイジアン事後分布は $\ln(d)$ ($d$ は次元) の時間スケーリングでサンプリングできることが示されています。
ガウス-ガウス モデルの場合、エネルギー コストは $ d \ln(d)$ に比例して表示されます。
これらの結果は、熱力学コンピューティングを使用した高速でエネルギー効率の高いベイジアン推論の可能性を強調しています。

要約(オリジナル)

A fully Bayesian treatment of complicated predictive models (such as deep neural networks) would enable rigorous uncertainty quantification and the automation of higher-level tasks including model selection. However, the intractability of sampling Bayesian posteriors over many parameters inhibits the use of Bayesian methods where they are most needed. Thermodynamic computing has emerged as a paradigm for accelerating operations used in machine learning, such as matrix inversion, and is based on the mapping of Langevin equations to the dynamics of noisy physical systems. Hence, it is natural to consider the implementation of Langevin sampling algorithms on thermodynamic devices. In this work we propose electronic analog devices that sample from Bayesian posteriors by realizing Langevin dynamics physically. Circuit designs are given for sampling the posterior of a Gaussian-Gaussian model and for Bayesian logistic regression, and are validated by simulations. It is shown, under reasonable assumptions, that the Bayesian posteriors for these models can be sampled in time scaling with $\ln(d)$, where $d$ is dimension. For the Gaussian-Gaussian model, the energy cost is shown to scale with $ d \ln(d)$. These results highlight the potential for fast, energy-efficient Bayesian inference using thermodynamic computing.

arxiv情報

著者 Maxwell Aifer,Samuel Duffield,Kaelan Donatella,Denis Melanson,Phoebe Klett,Zach Belateche,Gavin Crooks,Antonio J. Martinez,Patrick J. Coles
発行日 2024-10-02 17:51:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cond-mat.stat-mech, cs.ET, cs.LG | コメントする

Bellman Diffusion: Generative Modeling as Learning a Linear Operator in the Distribution Space

投稿日: 2024年10月3日 作成者: jarxiv

要約

エネルギーベース モデル (EBM) やスコアベースの生成モデル (SGM) を含むディープ生成モデル (DGM) は、高度な忠実度の高いデータ生成と複雑な連続分布近似を備えています。
しかし、マルコフ決定プロセス (MDP)、特に分布強化学習 (RL) におけるそれらの応用は依然として研究されておらず、従来のヒストグラムベースの手法がこの分野を支配しています。
この論文は、このアプリケーション ギャップが最新の DGM の非線形性によって引き起こされ、MDP のベルマン方程式で要求される線形性と矛盾することを厳しく強調しています。
たとえば、EBM には、エネルギー関数のべき乗や定数の正規化などの非線形操作が含まれます。
これに対処するために、勾配およびスカラー場モデリングを通じて MDP の線形性を維持する新しい DGM フレームワークである Bellman Diffusion を紹介します。
ニューラル ネットワーク プロキシを最適化する発散ベースのトレーニング手法と、サンプリング用の新しいタイプの確率微分方程式 (SDE) により、ベルマン拡散はターゲット分布への収束が保証されます。
私たちの経験的結果は、ベルマン拡散が正確なフィールド推定を達成し、分散 RL タスクにおいて従来のヒストグラムベースのベースラインよりも 1.5​​ 倍速く収束する有能な画像生成機能であることを示しています。
この取り組みにより、DGM を MDP アプリケーションに効果的に統合できるようになり、高度な意思決定フレームワークに新たな道が開かれます。

要約(オリジナル)

Deep Generative Models (DGMs), including Energy-Based Models (EBMs) and Score-based Generative Models (SGMs), have advanced high-fidelity data generation and complex continuous distribution approximation. However, their application in Markov Decision Processes (MDPs), particularly in distributional Reinforcement Learning (RL), remains underexplored, with conventional histogram-based methods dominating the field. This paper rigorously highlights that this application gap is caused by the nonlinearity of modern DGMs, which conflicts with the linearity required by the Bellman equation in MDPs. For instance, EBMs involve nonlinear operations such as exponentiating energy functions and normalizing constants. To address this, we introduce Bellman Diffusion, a novel DGM framework that maintains linearity in MDPs through gradient and scalar field modeling. With divergence-based training techniques to optimize neural network proxies and a new type of stochastic differential equation (SDE) for sampling, Bellman Diffusion is guaranteed to converge to the target distribution. Our empirical results show that Bellman Diffusion achieves accurate field estimations and is a capable image generator, converging 1.5x faster than the traditional histogram-based baseline in distributional RL tasks. This work enables the effective integration of DGMs into MDP applications, unlocking new avenues for advanced decision-making frameworks.

arxiv情報

著者 Yangming Li,Chieh-Hsin Lai,Carola-Bibiane Schönlieb,Yuki Mitsufuji,Stefano Ermon
発行日 2024-10-02 17:53:23+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | コメントする