Global-Decision-Focused Neural ODEs for Proactive Grid Resilience Management

投稿日: 2025年3月24日 作成者: jarxiv

要約

山火事やハリケーンなどの極端なハザードイベントが電力システムをますます脅かし、広範な停止を引き起こし、重要なサービスを混乱させます。
最近、Predict-Then-Optimizeアプローチは、システム機能の予測が最初に生成され、その後ダウンストリームの意思決定の入力として使用されるグリッド操作で牽引力を獲得しました。
ただし、この2段階の方法は、多くの場合、予測と最適化の目的との間に誤った整列をもたらし、最適ではないリソース割り当てにつながります。
これに対処するために、停止予測をグローバルに最適化された介入と統合するフレームワークである、すべてをglobally（patog）に予測することを提案します。
その中核では、当社のグローバル決定に焦点を当てた（GDF）ニューラルODEモデルは、意思決定に対応する方法でレジリエンス戦略を最適化しながら、停止ダイナミクスをキャプチャします。
従来の方法とは異なり、私たちのアプローチは空間的および一時的に一貫した意思決定を保証し、予測精度と運用効率の両方を改善します。
合成および実世界のデータセットの実験は、停止予測の一貫性とグリッドの回復力の大幅な改善を示しています。

要約(オリジナル)

Extreme hazard events such as wildfires and hurricanes increasingly threaten power systems, causing widespread outages and disrupting critical services. Recently, predict-then-optimize approaches have gained traction in grid operations, where system functionality forecasts are first generated and then used as inputs for downstream decision-making. However, this two-stage method often results in a misalignment between prediction and optimization objectives, leading to suboptimal resource allocation. To address this, we propose predict-all-then-optimize-globally (PATOG), a framework that integrates outage prediction with globally optimized interventions. At its core, our global-decision-focused (GDF) neural ODE model captures outage dynamics while optimizing resilience strategies in a decision-aware manner. Unlike conventional methods, our approach ensures spatially and temporally coherent decision-making, improving both predictive accuracy and operational efficiency. Experiments on synthetic and real-world datasets demonstrate significant improvements in outage prediction consistency and grid resilience.

arxiv情報

著者 Shuyi Chen,Ferdinando Fioretto,Feng Qiu,Shixiang Zhu
発行日 2025-03-21 15:16:16+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Global-Decision-Focused Neural ODEs for Proactive Grid Resilience Management はコメントを受け付けていません

ML-Based Bidding Price Prediction for Pay-As-Bid Ancillary Services Markets: A Use Case in the German Control Reserve Market

投稿日: 2025年3月24日 作成者: jarxiv

要約

再生可能エネルギー源の統合の増加により、発電におけるボラティリティと予測不可能性が高まり、グリッドの安定性に課題があります。
ドイツの管理予備市場などの補助サービス市場により、産業用消費者と生産者は消費電力または生成に柔軟性を提供し、追加の収入を得ながらグリッドの安定性に貢献できます。
ただし、多くの参加者は、収益を最大化しない可能性のある単純な入札戦略を使用しています。
このホワイトペーパーでは、ドイツの管理予備市場に焦点を当てた、給与としての補助サービス市場での入札価格を予測するための方法論を紹介します。
サポートベクトル回帰、意思決定ツリー、k-nearest Neighborsなど、さまざまな機械学習モデルを評価し、そのパフォーマンスをベンチマークモデルと比較します。
給与としての収益市場の収益関数の非対称性に対処するために、予測モデルの実際的な適用性を高めるオフセット調整手法を導入します。
私たちの分析は、提案されたアプローチがベースラインモデルと比較して潜在的な収益を27.43％から37.31％改善することを示しています。
モデルの予測エラーと収益の関係を分析する場合、3つの市場で負の相関が測定されます。
結果によると、1ユーロ/MWモデルの価格予測エラー（MAE）の削減により、統計的には483ユーロ/MWと3,631ユーロ/MWの年間収益が増加します。
提案された方法論により、産業参加者は入札戦略を最適化し、収益の増加につながり、電気網の効率と安定性に貢献できます。

要約(オリジナル)

The increasing integration of renewable energy sources has led to greater volatility and unpredictability in electricity generation, posing challenges to grid stability. Ancillary service markets, such as the German control reserve market, allow industrial consumers and producers to offer flexibility in their power consumption or generation, contributing to grid stability while earning additional income. However, many participants use simple bidding strategies that may not maximize their revenues. This paper presents a methodology for forecasting bidding prices in pay-as-bid ancillary service markets, focusing on the German control reserve market. We evaluate various machine learning models, including Support Vector Regression, Decision Trees, and k-Nearest Neighbors, and compare their performance against benchmark models. To address the asymmetry in the revenue function of pay-as-bid markets, we introduce an offset adjustment technique that enhances the practical applicability of the forecasting models. Our analysis demonstrates that the proposed approach improves potential revenues by 27.43 % to 37.31 % compared to baseline models. When analyzing the relationship between the model forecasting errors and the revenue, a negative correlation is measured for three markets; according to the results, a reduction of 1 EUR/MW model price forecasting error (MAE) statistically leads to a yearly revenue increase between 483 EUR/MW and 3,631 EUR/MW. The proposed methodology enables industrial participants to optimize their bidding strategies, leading to increased earnings and contributing to the efficiency and stability of the electrical grid.

arxiv情報

著者 Vincent Bezold,Lukas Baur,Alexander Sauer
発行日 2025-03-21 15:21:43+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CE, cs.LG, stat.AP, stat.ML | ML-Based Bidding Price Prediction for Pay-As-Bid Ancillary Services Markets: A Use Case in the German Control Reserve Market はコメントを受け付けていません

Schur’s Positive-Definite Network: Deep Learning in the SPD cone with structure

投稿日: 2025年3月24日 作成者: jarxiv

要約

対称陽性 – 決定（SPD）コーンの推定マトリックスは、コンピュータービジョンからグラフ学習まで、多くのアプリケーションで興味深いものです。
さまざまな凸最適化ベースの推定器が存在しますが、モデルベースのアプローチにより、表現力が限られたままです。
深い学習の成功は、学習ベースのアプローチの使用を動機付け、SPDマトリックスをデータ駆動型の方法でニューラルネットワークと推定します。
ただし、SPD学習のための効果的なニューラルアーキテクチャの設計は、特に要素ごとのスパースなどの追加の構造的制約が必要な場合、困難です。
現在のアプローチは、出力がすべての望ましいプロパティを満たしたり、表現力を欠いていることを保証しません。
この論文では、SPD出力を保証し、追加の構造的制約をサポートする斬新で一般的な学習モジュールであるSpodnetを紹介します。
特に、SPDとスパースマトリックスを共同で学習するという挑戦的なタスクを解決します。
私たちの実験は、そのようなアプリケーションのSpodNet層の汎用性と関連性を示しています。

要約(オリジナル)

Estimating matrices in the symmetric positive-definite (SPD) cone is of interest for many applications ranging from computer vision to graph learning. While there exist various convex optimization-based estimators, they remain limited in expressivity due to their model-based approach. The success of deep learning motivates the use of learning-based approaches to estimate SPD matrices with neural networks in a data-driven fashion. However, designing effective neural architectures for SPD learning is challenging, particularly when the task requires additional structural constraints, such as element-wise sparsity. Current approaches either do not ensure that the output meets all desired properties or lack expressivity. In this paper, we introduce SpodNet, a novel and generic learning module that guarantees SPD outputs and supports additional structural constraints. Notably, it solves the challenging task of learning jointly SPD and sparse matrices. Our experiments illustrate the versatility and relevance of SpodNet layers for such applications.

arxiv情報

著者 Can Pouliquen,Mathurin Massias,Titouan Vayer
発行日 2025-03-21 15:31:47+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Schur’s Positive-Definite Network: Deep Learning in the SPD cone with structure はコメントを受け付けていません

LoGoFair: Post-Processing for Local and Global Fairness in Federated Learning

投稿日: 2025年3月24日 作成者: jarxiv

要約

Federated Learning（FL）は、分散型のデータソースから学習する能力に対してかなりの関心を集めています。
意思決定シナリオでのFLの適用の増加を考えると、FLのさまざまな敏感なグループ（例：女性、男性など）にわたる公平性の問題に対処することが重要です。
現在の研究は、多くの場合、各クライアントのデータ（ローカル公平性）またはすべてのクライアントのデータセット全体（グローバルフェアネス）での公平性を促進することに焦点を当てています。
ただし、ローカルまたはグローバルの公平性のみに焦点を当てた既存のアプローチは、2つの重要な課題に対処できません。（\ textBf {ch1}）統計的不均一性の下で、グローバルな公平性はローカルの公平性を暗示するものではなく、逆も同様です。
（\ textbf {ch2}）モデルに依存しない設定の下で公平性を達成します。
前述の課題に取り組むために、このペーパーでは、FLコンテキスト、つまりLogofairでローカルおよびグローバルな公平性の両方を達成するための新しいポストプロセスの枠組みを提案します。
CH1に対処するために、Logofairは、ローカルおよびグローバルな公平性の制約の下でベイズの最適分類器を探すよう努めており、これは確率的な意味で最適な精度フェアネスバランスを攻撃します。
CH2に対処するために、LogoFairは、クライアントが地元の公平性を確保しながらグローバルな公平性を協力して最適化し、それによりFL内の最適な公正分類器を達成できるモデルに依存しないフェデレーションされた後処理手順を採用しています。
3つの実際のデータセットでの実験結果は、提案されたLogofairフレームワークの有効性をさらに示しています。

要約(オリジナル)

Federated learning (FL) has garnered considerable interest for its capability to learn from decentralized data sources. Given the increasing application of FL in decision-making scenarios, addressing fairness issues across different sensitive groups (e.g., female, male) in FL is crucial. Current research often focuses on facilitating fairness at each client’s data (local fairness) or within the entire dataset across all clients (global fairness). However, existing approaches that focus exclusively on either local or global fairness fail to address two key challenges: (\textbf{CH1}) Under statistical heterogeneity, global fairness does not imply local fairness, and vice versa. (\textbf{CH2}) Achieving fairness under model-agnostic setting. To tackle the aforementioned challenges, this paper proposes a novel post-processing framework for achieving both Local and Global Fairness in the FL context, namely LoGoFair. To address CH1, LoGoFair endeavors to seek the Bayes optimal classifier under local and global fairness constraints, which strikes the optimal accuracy-fairness balance in the probabilistic sense. To address CH2, LoGoFair employs a model-agnostic federated post-processing procedure that enables clients to collaboratively optimize global fairness while ensuring local fairness, thereby achieving the optimal fair classifier within FL. Experimental results on three real-world datasets further illustrate the effectiveness of the proposed LoGoFair framework.

arxiv情報

著者 Li Zhang,Chaochao Chen,Zhongxuan Han,Qiyong Zhong,Xiaolin Zheng
発行日 2025-03-21 15:33:09+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.DC, cs.LG | LoGoFair: Post-Processing for Local and Global Fairness in Federated Learning はコメントを受け付けていません

Calibrated Computation-Aware Gaussian Processes

投稿日: 2025年3月24日 作成者: jarxiv

要約

ガウスのプロセスは、トレーニングセットのサイズでキュービング的にスケーリングすることで有名であり、非常に大きな回帰問題への適用を妨げます。
計算目的のガウスプロセス（CAGPS）は、確率的線形ソルバーを活用して複雑さを軽減することにより、このスケーリングの問題に取り組み、計算の減少による追加の計算の不確実性で後部を広げます。
ただし、最も一般的に使用されるCAGPフレームワークは、（時には劇的に）保守的な不確実性の定量化をもたらし、事後は実際に非現実的になります。
この作業では、利用された確率的線形ソルバーが厳密な統計的な意味で校正されている場合、誘導CAGPも同様であることを証明します。
したがって、基礎となる確率的線形ソルバーのGauss-seide反復の使用に基づいて、新しいCAGPフレームワークであるCAGP-GSを提案します。
CAGP-GSは、テストセットが低次元であり、反復が少ない場合、既存のアプローチと比較して好意的に機能します。
合成問題のキャリブレーション性をテストし、パフォーマンスを大規模なグローバル温度回帰問題の既存のアプローチと比較します。

要約(オリジナル)

Gaussian processes are notorious for scaling cubically with the size of the training set, preventing application to very large regression problems. Computation-aware Gaussian processes (CAGPs) tackle this scaling issue by exploiting probabilistic linear solvers to reduce complexity, widening the posterior with additional computational uncertainty due to reduced computation. However, the most commonly used CAGP framework results in (sometimes dramatically) conservative uncertainty quantification, making the posterior unrealistic in practice. In this work, we prove that if the utilised probabilistic linear solver is calibrated, in a rigorous statistical sense, then so too is the induced CAGP. We thus propose a new CAGP framework, CAGP-GS, based on using Gauss-Seidel iterations for the underlying probabilistic linear solver. CAGP-GS performs favourably compared to existing approaches when the test set is low-dimensional and few iterations are performed. We test the calibratedness on a synthetic problem, and compare the performance to existing approaches on a large-scale global temperature regression problem.

arxiv情報

著者 Disha Hegde,Mohamed Adil,Jon Cockayne
発行日 2025-03-21 15:45:28+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.NA, math.NA, stat.ML | Calibrated Computation-Aware Gaussian Processes はコメントを受け付けていません

AttriBoT: A Bag of Tricks for Efficiently Approximating Leave-One-Out Context Attribution

投稿日: 2025年3月24日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）の動作に対するコンテキスト入力の影響により、LLMの世代に対する各コンテキストスパンの効果を定量化することを目的とするコンテキスト属性方法の開発が促されました。
コンテキストの特定のスパンが削除された場合のLLMの応答の可能性の変化を測定する休暇（LOO）エラーは、コンテキスト属性を実行するための原則的な方法を提供しますが、大規模なモデルを計算するために法外に費用がかかる可能性があります。
この作業では、コンテキスト属性のLOO誤差の近似を効率的に計算するための一連の新しい技術であるAttribotを紹介します。
具体的には、Attribotはキャッシュされたアクティベーションを使用して冗長操作を回避し、階層的属性を実行して計算を削減し、より小さなプロキシモデルで大きなターゲットモデルの動作をエミュレートします。
まとめると、Attribotは、以前のコンテキストの帰属方法よりもターゲットモデルのLOOエラーに忠実でありながら、300倍以上のスピードアップを提供できます。
このパフォーマンスの上昇により、特定の応答のコンピューティングコンテキストの属性が、応答自体を生成するよりも30倍高速になり、大規模なコンピューティング属性を必要とする実際のアプリケーションに力を与えます。
効率的なLLM解釈可能性を有効にするために、ユーザーフレンドリーで効率的なAttribotの実装をリリースし、効率的なコンテキスト属性方法の将来の開発を促進します。

要約(オリジナル)

The influence of contextual input on the behavior of large language models (LLMs) has prompted the development of context attribution methods that aim to quantify each context span’s effect on an LLM’s generations. The leave-one-out (LOO) error, which measures the change in the likelihood of the LLM’s response when a given span of the context is removed, provides a principled way to perform context attribution, but can be prohibitively expensive to compute for large models. In this work, we introduce AttriBoT, a series of novel techniques for efficiently computing an approximation of the LOO error for context attribution. Specifically, AttriBoT uses cached activations to avoid redundant operations, performs hierarchical attribution to reduce computation, and emulates the behavior of large target models with smaller proxy models. Taken together, AttriBoT can provide a >300x speedup while remaining more faithful to a target model’s LOO error than prior context attribution methods. This stark increase in performance makes computing context attributions for a given response 30x faster than generating the response itself, empowering real-world applications that require computing attributions at scale. We release a user-friendly and efficient implementation of AttriBoT to enable efficient LLM interpretability as well as encourage future development of efficient context attribution methods.

arxiv情報

著者 Fengyuan Liu,Nikhil Kandpal,Colin Raffel
発行日 2025-03-21 15:47:53+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | AttriBoT: A Bag of Tricks for Efficiently Approximating Leave-One-Out Context Attribution はコメントを受け付けていません

On Privately Estimating a Single Parameter

投稿日: 2025年3月24日 作成者: jarxiv

要約

大規模なパラメトリックモデル内の個々のパラメーターについて、差次的にプライベート推定器を調査します。
一般的なプライベート推定器が存在しますが、推定器は、推定と安定性の新しいローカル概念に安定しており、これらの概念は、独自の安定性の個人証明書を提供する手順を可能にします。
これらのプライベート証明書を活用することにより、少なくともサンプルサイズで漸近的に、本質的にはっきりしないプライベート統計をリリースする計算的および統計的効率的なメカニズムを提供します。
さらに、シミュレートされたデータとアメリカのコミュニティ調査と米国国勢調査の実際のデータの両方におけるアルゴリズムの実用性を調査し、新しい手順が成功するシナリオを強調し、将来の仕事の領域を特定します。

要約(オリジナル)

We investigate differentially private estimators for individual parameters within larger parametric models. While generic private estimators exist, the estimators we provide repose on new local notions of estimand stability, and these notions allow procedures that provide private certificates of their own stability. By leveraging these private certificates, we provide computationally and statistical efficient mechanisms that release private statistics that are, at least asymptotically in the sample size, essentially unimprovable: they achieve instance optimal bounds. Additionally, we investigate the practicality of the algorithms both in simulated data and in real-world data from the American Community Survey and US Census, highlighting scenarios in which the new procedures are successful and identifying areas for future work.

arxiv情報

著者 Hilal Asi,John C. Duchi,Kunal Talwar
発行日 2025-03-21 15:57:12+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CR, cs.LG, math.ST, stat.TH | On Privately Estimating a Single Parameter はコメントを受け付けていません

Learning to Solve Related Linear Systems

投稿日: 2025年3月24日 作成者: jarxiv

要約

複数のパラメータ化された関連システムを解決することは、多くの数値タスクの重要なコンポーネントです。
解決されたシステムと学習から強度を借りると、このプロセスがより速くなります。
この作業では、パラメーター空間上に新しい確率的線形ソルバーを提案します。
これにより、回帰設定で解決された線形システムからの情報を活用して、効率的な後方平均と共分散を提供します。
これを、前処理されたコンジュゲート勾配法のコンパニオン回帰モデルとして使用することを提唱し、後部平均と共分散の好ましい特性と初期の推測と前処理者として議論します。
また、このコンパニオンソルバーにいくつかのデザインの選択肢を提供しています。
数値実験は、ハイパーパラメーターの最適化問題で新しいソルバーを使用することの利点を示しています。

要約(オリジナル)

Solving multiple parametrised related systems is an essential component of many numerical tasks. Borrowing strength from the solved systems and learning will make this process faster. In this work, we propose a novel probabilistic linear solver over the parameter space. This leverages information from the solved linear systems in a regression setting to provide an efficient posterior mean and covariance. We advocate using this as companion regression model for the preconditioned conjugate gradient method, and discuss the favourable properties of the posterior mean and covariance as the initial guess and preconditioner. We also provide several design choices for this companion solver. Numerical experiments showcase the benefits of using our novel solver in a hyperparameter optimisation problem.

arxiv情報

著者 Disha Hegde,Jon Cockayne
発行日 2025-03-21 16:05:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.NA, math.NA, stat.ML | Learning to Solve Related Linear Systems はコメントを受け付けていません

Revisiting End To End Sparse Autoencoder Training — A Short Finetune is All You Need

投稿日: 2025年3月24日 作成者: jarxiv

要約

スパース自動エンコーダー（SAE）は、言語モデルのアクティベーションの解釈に広く使用されています。
主要な評価メトリックは、モデルの活性化をSAEの再構成に置き換える際のエントロピー損失の増加です。
通常、SAEは、事前に計算されたシャッフルされたアクティベーションを使用して、平均二乗エラー（MSE）のみで訓練されています。
最近の研究では、KL発散とMSE（「エンドツーエンド」SAE）の組み合わせでトレーニングSAEを直接導入し、大幅に増加した計算のコストで再建の精度を大幅に改善し、広範囲にわたる採用が制限されています。
同等の改善を達成する最終的な25Mトレーニングトークン（典型的なトレーニング予算のほんの数パーセント）にのみ適用される短いKL+MSE微調整ステップを提案し、エントロピーの損失ギャップを20-50％削減し、最小限の追加の計算コストを帯びます。
さらに、複数の微調整方法（KL微調整、LORAアダプター、線形アダプター）が同様の非加法交差エントロピーの改善をもたらし、MSE訓練を受けたSAEで一般的で簡単に容易なエラーソースを示唆していることがわかります。
KLとMSEの損失の規模の違いにもかかわらず、ハイパーパラメーターとスパースのペナルティを効果的に転送するための簡単な方法を実証します。
ReluとTopk SAEの両方が大幅にエントロピーの喪失の改善を見ていますが、監視されたSaebenchメトリックの評価は混合結果をもたらし、実際の利点がSAEアーキテクチャと特定のダウンストリームタスクの両方に依存することを示唆しています。
それにもかかわらず、私たちの方法は、わずかな追加コストで回路分析などの解釈可能性アプリケーションの有意義な改善を提供します。

要約(オリジナル)

Sparse autoencoders (SAEs) are widely used for interpreting language model activations. A key evaluation metric is the increase in cross-entropy loss when replacing model activations with SAE reconstructions. Typically, SAEs are trained solely on mean squared error (MSE) using precomputed, shuffled activations. Recent work introduced training SAEs directly with a combination of KL divergence and MSE (‘end-to-end’ SAEs), significantly improving reconstruction accuracy at the cost of substantially increased computation, which has limited their widespread adoption. We propose a brief KL+MSE fine-tuning step applied only to the final 25M training tokens (just a few percent of typical training budgets) that achieves comparable improvements, reducing the cross-entropy loss gap by 20-50%, while incurring minimal additional computational cost. We further find that multiple fine-tuning methods (KL fine-tuning, LoRA adapters, linear adapters) yield similar, non-additive cross-entropy improvements, suggesting a common, easily correctable error source in MSE-trained SAEs. We demonstrate a straightforward method for effectively transferring hyperparameters and sparsity penalties despite scale differences between KL and MSE losses. While both ReLU and TopK SAEs see significant cross-entropy loss improvements, evaluations on supervised SAEBench metrics yield mixed results, suggesting practical benefits depend on both SAE architecture and the specific downstream task. Nonetheless, our method offers meaningful improvements in interpretability applications such as circuit analysis with minor additional cost.

arxiv情報

著者 Adam Karvonen
発行日 2025-03-21 16:15:49+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Revisiting End To End Sparse Autoencoder Training — A Short Finetune is All You Need はコメントを受け付けていません

Offline Model-Based Optimization: Comprehensive Review

投稿日: 2025年3月24日 作成者: jarxiv

要約

オフラインの最適化は、オフラインデータセットのみを使用してブラックボックス関数を最適化することを目標とする科学と工学の基本的な課題です。
この設定は、目的関数をクエリすることがタンパク質エンジニアリング、材料発見、ニューラルアーキテクチャ検索などにまたがるアプリケーションに及ぶ、非常に高価または実行不可能である場合に特に関連しています。
主な難しさは、利用可能なデータを超えて客観的な状況を正確に推定することにあります。そこでは、外挿には重大な認識論的不確実性が伴います。
この不確実性は、客観的なハッキング（報酬のハッキング）、目に見えない地域のモデルの不正確さの悪用、またはトレーニング分布以外で誤解を招くほど高いパフォーマンスの推定値をもたらすその他の偽の最適化につながる可能性があります。
モデルベースの最適化（MBO）の最近の進歩により、ディープニューラルネットワークの一般化能力を活用して、オフライン固有の代理モデルと生成モデルを開発しています。
慎重に設計された戦略で訓練されたこれらのモデルは、分散型の問題に対してより堅牢であり、改善された設計の発見を促進します。
科学的発見の加速における影響の高まりにもかかわらず、この分野には包括的なレビューがありません。
このギャップを埋めるために、オフラインMBOの最初の徹底的なレビューを提示します。
単一目的および多目的設定の両方の問題を正式に形式化し、最近のベンチマークと評価メトリックを確認することから始めます。
次に、既存のアプローチを2つの重要な領域に分類します。これは、分散領域での正確な関数近似を強調し、高次元設計スペースを探索して高性能設計を特定する生成モデリングを強調します。
最後に、私たちは主要な課題を調べ、この急速に進化する分野での進歩のための有望な方向を提案します。

要約(オリジナル)

Offline optimization is a fundamental challenge in science and engineering, where the goal is to optimize black-box functions using only offline datasets. This setting is particularly relevant when querying the objective function is prohibitively expensive or infeasible, with applications spanning protein engineering, material discovery, neural architecture search, and beyond. The main difficulty lies in accurately estimating the objective landscape beyond the available data, where extrapolations are fraught with significant epistemic uncertainty. This uncertainty can lead to objective hacking(reward hacking), exploiting model inaccuracies in unseen regions, or other spurious optimizations that yield misleadingly high performance estimates outside the training distribution. Recent advances in model-based optimization(MBO) have harnessed the generalization capabilities of deep neural networks to develop offline-specific surrogate and generative models. Trained with carefully designed strategies, these models are more robust against out-of-distribution issues, facilitating the discovery of improved designs. Despite its growing impact in accelerating scientific discovery, the field lacks a comprehensive review. To bridge this gap, we present the first thorough review of offline MBO. We begin by formalizing the problem for both single-objective and multi-objective settings and by reviewing recent benchmarks and evaluation metrics. We then categorize existing approaches into two key areas: surrogate modeling, which emphasizes accurate function approximation in out-of-distribution regions, and generative modeling, which explores high-dimensional design spaces to identify high-performing designs. Finally, we examine the key challenges and propose promising directions for advancement in this rapidly evolving field including safe control of superintelligent systems.

arxiv情報

著者 Minsu Kim,Jiayao Gu,Ye Yuan,Taeyoung Yun,Zixuan Liu,Yoshua Bengio,Can Chen
発行日 2025-03-21 16:35:02+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Offline Model-Based Optimization: Comprehensive Review はコメントを受け付けていません