IISE PG&E Energy Analytics Challenge 2025: Hourly-Binned Regression Models Beat Transformers in Load Forecasting

投稿日: 2025年5月19日 作成者: jarxiv

要約

グリッドの安定性、リソースの最適化、再生可能エネルギーの統合には、正確な電力負荷予測が不可欠です。
TimeGPTのようなトランスベースのディープラーニングモデルは、時系列予測で牽引力を獲得していますが、長期の電力負荷予測における有効性は不確実なままです。
この研究では、ESD 2025競争のデータを使用して、古典的な回帰技術から高度な深い学習アーキテクチャに至るまでの予測モデルを評価します。
データセットには、5つのサイトにわたって温度とグローバルな水平放射照度（GHI）に加えて、2年間の履歴電力負荷データが含まれており、1日先の予測期間があります。
実際のテストセット負荷値は非公開のままであるため、予測値を活用するとエラーが蓄積され、これは長期的な予測チャレンジになります。
（i）次元削減に主成分分析（PCA）を採用し、（ii）タスクを回帰問題としてフレーム化します。温度とGHIを共変量として使用して1時間の負荷を予測します。
我々の結果は、TimeGPTを含む深い学習モデルが、トレーニングデータと外生変数の利用可能性が限られているため、より単純な統計学習および機械学習アプローチを一貫して上回ることができないことを明らかにしています。
対照的に、XGBoostは、最小限の機能エンジニアリングを備えており、計算効率を維持しながら、すべてのテストケースで最も低いエラー率を提供します。
これは、長期的な電力予測における深い学習の限界を強調し、複雑さではなくデータセットの特性に基づいてモデル選択の重要性を強化します。
私たちの研究は、実用的な予測アプリケーションに関する洞察を提供し、従来の予測方法と現代の予測方法のトレードオフに関する継続的な議論に貢献しています。

要約(オリジナル)

Accurate electricity load forecasting is essential for grid stability, resource optimization, and renewable energy integration. While transformer-based deep learning models like TimeGPT have gained traction in time-series forecasting, their effectiveness in long-term electricity load prediction remains uncertain. This study evaluates forecasting models ranging from classical regression techniques to advanced deep learning architectures using data from the ESD 2025 competition. The dataset includes two years of historical electricity load data, alongside temperature and global horizontal irradiance (GHI) across five sites, with a one-day-ahead forecasting horizon. Since actual test set load values remain undisclosed, leveraging predicted values would accumulate errors, making this a long-term forecasting challenge. We employ (i) Principal Component Analysis (PCA) for dimensionality reduction and (ii) frame the task as a regression problem, using temperature and GHI as covariates to predict load for each hour, (iii) ultimately stacking 24 models to generate yearly forecasts. Our results reveal that deep learning models, including TimeGPT, fail to consistently outperform simpler statistical and machine learning approaches due to the limited availability of training data and exogenous variables. In contrast, XGBoost, with minimal feature engineering, delivers the lowest error rates across all test cases while maintaining computational efficiency. This highlights the limitations of deep learning in long-term electricity forecasting and reinforces the importance of model selection based on dataset characteristics rather than complexity. Our study provides insights into practical forecasting applications and contributes to the ongoing discussion on the trade-offs between traditional and modern forecasting methods.

arxiv情報

著者 Millend Roy,Vladimir Pyltsov,Yinbo Hu
発行日 2025-05-16 15:55:34+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.SY, econ.EM, eess.SY | IISE PG&E Energy Analytics Challenge 2025: Hourly-Binned Regression Models Beat Transformers in Load Forecasting はコメントを受け付けていません

Finding Counterfactual Evidences for Node Classification

投稿日: 2025年5月19日 作成者: jarxiv

要約

反事実学習は、因果関係に根ざした重要なパラダイムとして浮上しており、公平性や解釈可能性など、グラフニューラルネットワーク（GNNS）の一般的な問題を軽減することを約束します。
ただし、ランダム化比較試験を実施する多くの実際のアプリケーションドメインのように、非事実を検出するには、利用可能な観察（事実）データに依存する必要があります。
この論文では、GNNベースのノード分類タスクの反事実的証拠を検索する問題を紹介し、取り組みます。
反事実的な証拠は、特徴と近隣のサブグラフ構造の両方で大きな類似性を示すにもかかわらず、GNNによって異なる方法で分類されるようなノードのペアです。
効果的かつ効率的な検索アルゴリズムと、ノード機能と構造情報の両方を活用して反事実的証拠を特定し、特定のGNNを超えて一般化する新しいインデックスソリューションを開発します。
さまざまなダウンストリームアプリケーションを通じて、GNNの公平性と精度を高めるための反事実的証拠の可能性を示します。

要約(オリジナル)

Counterfactual learning is emerging as an important paradigm, rooted in causality, which promises to alleviate common issues of graph neural networks (GNNs), such as fairness and interpretability. However, as in many real-world application domains where conducting randomized controlled trials is impractical, one has to rely on available observational (factual) data to detect counterfactuals. In this paper, we introduce and tackle the problem of searching for counterfactual evidences for the GNN-based node classification task. A counterfactual evidence is a pair of nodes such that, regardless they exhibit great similarity both in the features and in their neighborhood subgraph structures, they are classified differently by the GNN. We develop effective and efficient search algorithms and a novel indexing solution that leverages both node features and structural information to identify counterfactual evidences, and generalizes beyond any specific GNN. Through various downstream applications, we demonstrate the potential of counterfactual evidences to enhance fairness and accuracy of GNNs.

arxiv情報

著者 Dazhuo Qiu,Jinwen Chen,Arijit Khan,Yan Zhao,Francesco Bonchi
発行日 2025-05-16 16:02:39+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.DB, cs.LG | Finding Counterfactual Evidences for Node Classification はコメントを受け付けていません

Is Grokking a Computational Glass Relaxation?

投稿日: 2025年5月19日 作成者: jarxiv

要約

ニューラルネットワーク（NN）の一般化性を理解することは、深い学習研究における中心的な問題です。
トレーニングパフォーマンスがほぼ完璧なレベルに達してからずっと後にNNSが突然一般化するグローキングの特別な現象は、NNSの一般化可能性の基礎となるメカニズムを調査するためのユニークなウィンドウを提供します。
ここでは、それを計算ガラス緩和としてフレーミングすることにより、グラッキングの解釈を提案します。パラメーターが自由度であり、列車の損失がシステムエネルギーである物理システムとしてNNを見ると、暗記プロセスは低温での非平衡ガラス状態への迅速な冷却に似ており、その後の一般化はより安定した緩和に似ています。
このマッピングにより、トレーニングの損失とテスト精度の関数として、NNSのボルツマンエントロピー（密度の状態）の景観をサンプリングすることができます。
算術タスク上の変圧器での実験は、グラッキングの記憶から一般化への移行にエントロピー障壁がないことを示唆しており、グローキングを一次相転移として定義する以前の理論に挑戦しています。
グローキングの下で​​の高エントロピーの優位性を特定します。これは、エントロピーを一般化にリンクする以前の作業の拡張ですが、はるかに重要です。
Grokkingの遠い平等な性質から触発されて、王ランダウの分子動力学に基づいたおもちゃオプティマイザーの杖を開発します。
これは、Goldilocksゾーンへの体重の進化のみにグローキングを起因する理論に対する厳密に定義された反論を提供し、また、オプティマイザー設計の新しい潜在的な方法を示唆しています。

要約(オリジナル)

Understanding neural network’s (NN) generalizability remains a central question in deep learning research. The special phenomenon of grokking, where NNs abruptly generalize long after the training performance reaches a near-perfect level, offers a unique window to investigate the underlying mechanisms of NNs’ generalizability. Here we propose an interpretation for grokking by framing it as a computational glass relaxation: viewing NNs as a physical system where parameters are the degrees of freedom and train loss is the system energy, we find memorization process resembles a rapid cooling of liquid into non-equilibrium glassy state at low temperature and the later generalization is like a slow relaxation towards a more stable configuration. This mapping enables us to sample NNs’ Boltzmann entropy (states of density) landscape as a function of training loss and test accuracy. Our experiments in transformers on arithmetic tasks suggests that there is NO entropy barrier in the memorization-to-generalization transition of grokking, challenging previous theory that defines grokking as a first-order phase transition. We identify a high-entropy advantage under grokking, an extension of prior work linking entropy to generalizability but much more significant. Inspired by grokking’s far-from-equilibrium nature, we develop a toy optimizer WanD based on Wang-landau molecular dynamics, which can eliminate grokking without any constraints and find high-norm generalizing solutions. This provides strictly-defined counterexamples to theory attributing grokking solely to weight norm evolution towards the Goldilocks zone and also suggests new potential ways for optimizer design.

arxiv情報

著者 Xiaotian Zhang,Yue Shang,Entao Yang,Ge Zhang
発行日 2025-05-16 16:20:02+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cond-mat.dis-nn, cs.LG | Is Grokking a Computational Glass Relaxation? はコメントを受け付けていません

Uncertainty quantification with approximate variational learning for wearable photoplethysmography prediction tasks

投稿日: 2025年5月19日 作成者: jarxiv

要約

フォトプレチスモグラフィ（PPG）シグナルは、心臓の健康のさまざまな側面を非侵襲的に評価するために使用できる血液量の相対的な変化に関する情報をエンコードします。
ディープネットワークは、ウェアラブル測定デバイスから取得した大量のデータを処理するための設備が整っています。
しかし、それらは解釈可能性を欠いており、過度に適合する傾向があり、目に見えないデータや誤診のパフォーマンスの低下のリスクがかなりあります。
ここでは、2つのスケーラブルな不確実性の定量化手法の使用について説明します。モンテカルロドロップアウトと最近提案された改善されたバリエーションオンラインニュートンです。
これらの手法は、生のPPG時系列からのAF分類とBP回帰を実行するように訓練されたモデルの信頼性を評価するために使用されます。
ハイパーパラメーターの選択は、モデルの予測性能と予測される不確実性の品質と構成に大きな影響を与えることがわかります。
例えば。
モデルパラメーターサンプリングの確率性は、アレアトリックである総不確実性の割合を決定し、選択した不確実性の定量化技術と選択した不確実性の表現に依存する予測パフォーマンスとキャリブレーション品質にさまざまな影響を及ぼします。
予測されたクラスに対する不確実性の質に大きな矛盾が見られ、ローカルおよび適応性のあるキャリブレーションを評価する徹底的な評価プロトコルの必要性を強調しています。
この作業は、予測パフォーマンスとキャリブレーションの品質のバランスをとるために、ハイパーパラメーターの選択を慎重に調整する必要があり、最適なパラメーター化は、選択された不確実性の表現によって異なる場合があることを示唆しています。

要約(オリジナル)

Photoplethysmography (PPG) signals encode information about relative changes in blood volume that can be used to assess various aspects of cardiac health non-invasively, e.g.\ to detect atrial fibrillation (AF) or predict blood pressure (BP). Deep networks are well-equipped to handle the large quantities of data acquired from wearable measurement devices. However, they lack interpretability and are prone to overfitting, leaving considerable risk for poor performance on unseen data and misdiagnosis. Here, we describe the use of two scalable uncertainty quantification techniques: Monte Carlo Dropout and the recently proposed Improved Variational Online Newton. These techniques are used to assess the trustworthiness of models trained to perform AF classification and BP regression from raw PPG time series. We find that the choice of hyperparameters has a considerable effect on the predictive performance of the models and on the quality and composition of predicted uncertainties. E.g. the stochasticity of the model parameter sampling determines the proportion of the total uncertainty that is aleatoric, and has varying effects on predictive performance and calibration quality dependent on the chosen uncertainty quantification technique and the chosen expression of uncertainty. We find significant discrepancy in the quality of uncertainties over the predicted classes, emphasising the need for a thorough evaluation protocol that assesses local and adaptive calibration. This work suggests that the choice of hyperparameters must be carefully tuned to balance predictive performance and calibration quality, and that the optimal parameterisation may vary depending on the chosen expression of uncertainty.

arxiv情報

著者 Ciaran Bench,Vivek Desai,Mohammad Moulaeifard,Nils Strodthoff,Philip Aston,Andrew Thompson
発行日 2025-05-16 16:21:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, eess.SP | Uncertainty quantification with approximate variational learning for wearable photoplethysmography prediction tasks はコメントを受け付けていません

MoE-CAP: Benchmarking Cost, Accuracy and Performance of Sparse Mixture-of-Experts Systems

投稿日: 2025年5月19日 作成者: jarxiv

要約

スパースの混合物（MOE）アーキテクチャは、大規模な言語モデル（LLM）を効率的にスケーリングするためにますます好まれていますが、不均一な計算とメモリリソースに依存します。
これらの要因は、システムのコスト、精度、パフォーマンス（CAP）に共同で影響を与え、トレードオフを避けられません。
既存のベンチマークは、多くの場合、これらのトレードオフを正確にキャプチャできず、実用的な展開の決定を複雑にします。
これに対処するために、MOEシステム向けに特別に設計されたベンチマークであるMOE-CAPを紹介します。
私たちの分析では、CAP全体で最適なバランスをとることは、現在のハードウェアでは困難であることが明らかになりました。
MOEシステムは通常、MOE-CAPのトレードオフと呼ばれる3番目のダイナミクスを犠牲にして、3つの次元のうち2つを最適化します。
これを視覚化するために、キャップレーダー図を提案します。
さらに、スパースを意識したパフォーマンスメトリックスパースメモリ帯域幅使用率（S-MBU）およびスパースモデルフロップ利用（S-MFU）を紹介し、多様なハードウェアプラットフォームと展開シナリオ全体でMOEシステムの正確なパフォーマンスベンチマークを可能にします。

要約(オリジナル)

The sparse Mixture-of-Experts (MoE) architecture is increasingly favored for scaling Large Language Models (LLMs) efficiently, but it depends on heterogeneous compute and memory resources. These factors jointly affect system Cost, Accuracy, and Performance (CAP), making trade-offs inevitable. Existing benchmarks often fail to capture these trade-offs accurately, complicating practical deployment decisions. To address this, we introduce MoE-CAP, a benchmark specifically designed for MoE systems. Our analysis reveals that achieving an optimal balance across CAP is difficult with current hardware; MoE systems typically optimize two of the three dimensions at the expense of the third-a dynamic we term the MoE-CAP trade-off. To visualize this, we propose the CAP Radar Diagram. We further introduce sparsity-aware performance metrics-Sparse Memory Bandwidth Utilization (S-MBU) and Sparse Model FLOPS Utilization (S-MFU)-to enable accurate performance benchmarking of MoE systems across diverse hardware platforms and deployment scenarios.

arxiv情報

著者 Yinsicheng Jiang,Yao Fu,Yeqi Huang,Ping Nie,Zhan Lu,Leyang Xue,Congjie He,Man-Kit Sit,Jilong Xue,Li Dong,Ziming Miao,Dayou Du,Tairan Xu,Kai Zou,Edoardo Ponti,Luo Mai
発行日 2025-05-16 16:28:38+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.DC, cs.LG | MoE-CAP: Benchmarking Cost, Accuracy and Performance of Sparse Mixture-of-Experts Systems はコメントを受け付けていません

MegaScale-MoE: Large-Scale Communication-Efficient Training of Mixture-of-Experts Models in Production

投稿日: 2025年5月19日 作成者: jarxiv

要約

大規模な混合物（MOE）モデルの効率的なトレーニングに合わせた生産システムであるMegascale-Moeを紹介します。
Moeは、大きな言語モデル（LLM）を前例のないサイズにスケーリングするための有望なアーキテクチャとして浮上し、それによりモデルのパフォーマンスが向上します。
ただし、既存のMOEトレーニングシステムは、MOEモデルのエスカレートスケールとハードウェアの継続的な進化によって悪化するトレーニング効率の低下を経験します。
MOEトレーニングの強化における効率的なコミュニケーションの極めて重要な役割を認識して、Megascale-Moeは、各MOE層の注意とFFNのコミュニケーション効率の高い並列性戦略をカスタマイズし、術中レベルと術中レベルの両方で計算とオーバーラップするための総合的なアプローチを採用します。
さらに、Megascale-Moeは、調整された通信パターンを備えた通信圧縮を適用して精度を低くし、トレーニング効率をさらに向上させます。
1,440 Nvidia Hopper GPUで352B MOEモデルをトレーニングするとき、Megascale-Moeは1.41mトークン/sのトレーニングスループットを達成し、Megatron-LMと比較して効率を1.88 $ \ Times $に改善します。
MOEトレーニングの加速における運用経験を共有し、システム設計の洞察を提供することで、この作業がMOEシステムでの将来の研究を動機付けることを期待しています。

要約(オリジナル)

We present MegaScale-MoE, a production system tailored for the efficient training of large-scale mixture-of-experts (MoE) models. MoE emerges as a promising architecture to scale large language models (LLMs) to unprecedented sizes, thereby enhancing model performance. However, existing MoE training systems experience a degradation in training efficiency, exacerbated by the escalating scale of MoE models and the continuous evolution of hardware. Recognizing the pivotal role of efficient communication in enhancing MoE training, MegaScale-MoE customizes communication-efficient parallelism strategies for attention and FFNs in each MoE layer and adopts a holistic approach to overlap communication with computation at both inter- and intra-operator levels. Additionally, MegaScale-MoE applies communication compression with adjusted communication patterns to lower precision, further improving training efficiency. When training a 352B MoE model on 1,440 NVIDIA Hopper GPUs, MegaScale-MoE achieves a training throughput of 1.41M tokens/s, improving the efficiency by 1.88$\times$ compared to Megatron-LM. We share our operational experience in accelerating MoE training and hope that by offering our insights in system design, this work will motivate future research in MoE systems.

arxiv情報

著者 Chao Jin,Ziheng Jiang,Zhihao Bai,Zheng Zhong,Juncai Liu,Xiang Li,Ningxin Zheng,Xi Wang,Cong Xie,Wen Heng,Yiyuan Ma,Wenlei Bao,Size Zheng,Yanghua Peng,Haibin Lin,Xuanzhe Liu,Xin Jin,Xin Liu
発行日 2025-05-16 16:52:16+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.DC, cs.LG | MegaScale-MoE: Large-Scale Communication-Efficient Training of Mixture-of-Experts Models in Production はコメントを受け付けていません

A Generative Framework for Causal Estimation via Importance-Weighted Diffusion Distillation

投稿日: 2025年5月19日 作成者: jarxiv

要約

観察データから個別化された治療効果を推定することは、主に非ランダム化治療の割り当てからの共変量の不均衡と交絡バイアスによる因果推論の中心的な課題です。
逆確率重み付け（IPW）はこの問題に対する確立されたソリューションですが、最新の深い学習フレームワークへの統合は限られたままです。
この作業では、拡散モデルの事前抑制と重要な加重スコア蒸留を組み合わせて、潜在的な迅速な因果推定を潜在的な結果の予測と治療効果の推定を含む可能性を可能にする、重要な加重拡散蒸留（IWDD）を提案します。
IPWを自然に前処理された拡散モデルの蒸留に組み込む方法を示し、IPWを明示的に計算する必要性を排除するランダム化ベースの調整をさらに導入し、さらに重要なことに、勾配推定値の分散を確実に削減することを実証します。
経験的な結果は、IWDDが他のベースラインと比較して最高の勝利率で最先端のサンプル外予測パフォーマンスを達成し、因果推定を大幅に改善し、個別の治療戦略の開発をサポートすることを示しています。
再現性と将来の研究のためにPytorchコードをリリースします。

要約(オリジナル)

Estimating individualized treatment effects from observational data is a central challenge in causal inference, largely due to covariate imbalance and confounding bias from non-randomized treatment assignment. While inverse probability weighting (IPW) is a well-established solution to this problem, its integration into modern deep learning frameworks remains limited. In this work, we propose Importance-Weighted Diffusion Distillation (IWDD), a novel generative framework that combines the pretraining of diffusion models with importance-weighted score distillation to enable accurate and fast causal estimation-including potential outcome prediction and treatment effect estimation. We demonstrate how IPW can be naturally incorporated into the distillation of pretrained diffusion models, and further introduce a randomization-based adjustment that eliminates the need to compute IPW explicitly-thereby simplifying computation and, more importantly, provably reducing the variance of gradient estimates. Empirical results show that IWDD achieves state-of-the-art out-of-sample prediction performance, with the highest win rates compared to other baselines, significantly improving causal estimation and supporting the development of individualized treatment strategies. We will release our PyTorch code for reproducibility and future research.

arxiv情報

著者 Xinran Song,Tianyu Chen,Mingyuan Zhou
発行日 2025-05-16 17:00:52+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.AP, stat.ME, stat.ML | A Generative Framework for Causal Estimation via Importance-Weighted Diffusion Distillation はコメントを受け付けていません

Signal attenuation enables scalable decentralized multi-agent reinforcement learning over networks

投稿日: 2025年5月19日 作成者: jarxiv

要約

古典的なマルチエージェント補強学習（MARL）方法では、エージェントがグローバルな状態の観察性を享受し、分散型アルゴリズムの開発を防ぎ、スケーラビリティを制限する必要があります。
最近の研究では、崩壊しているエージェント間の影響に関する仮定の下で、各エージェントの地域の観察可能性に置き換えられ、地方分権化とスケーラビリティを可能にすることが示されています。
ただし、このような減衰特性を享受する現実世界のアプリケーションは、信号の崩壊または信号減衰による信号の減衰または信号減衰がワイヤレス通信およびレーダーネットワークの多くの問題の本質的な特徴であるという事実にもかかわらず、露出度の低いままです。
この論文では、信号減衰により、レーダーネットワークでのターゲット検出のパワー割り当てを実行する例示的な特別なケースを考慮することにより、MARLの分散化が可能になることを示します。
これを達成するために、このパワー配分問題の2つの新しい制約されたマルチエージェントマルコフ決定プロセスの定式化を提案し、グローバル値関数と勾配推定のローカル近隣近似を導き出し、対応する誤差境界を確立し、提案された問題を解くための分散型サドルポイントポリシー勾配アルゴリズムを開発します。
私たちのアプローチは、私たちが考慮する特定のレーダーネットワークの問題に向けられていますが、ワイヤレス通信とレーダーネットワークの追加の問題に対する将来の拡張の有用なモデルを提供します。

要約(オリジナル)

Classic multi-agent reinforcement learning (MARL) methods require that agents enjoy global state observability, preventing development of decentralized algorithms and limiting scalability. Recent work has shown that, under assumptions on decaying inter-agent influence, global observability can be replaced by local neighborhood observability at each agent, enabling decentralization and scalability. Real-world applications enjoying such decay properties remain underexplored, however, despite the fact that signal power decay, or signal attenuation, due to path loss is an intrinsic feature of many problems in wireless communications and radar networks. In this paper, we show that signal attenuation enables decentralization in MARL by considering the illustrative special case of performing power allocation for target detection in a radar network. To achieve this, we propose two new constrained multi-agent Markov decision process formulations of this power allocation problem, derive local neighborhood approximations for global value function and gradient estimates and establish corresponding error bounds, and develop decentralized saddle point policy gradient algorithms for solving the proposed problems. Our approach, though oriented towards the specific radar network problem we consider, provides a useful model for future extensions to additional problems in wireless communications and radar networks.

arxiv情報

著者 Wesley A Suttle,Vipul K Sharma,Brian M Sadler
発行日 2025-05-16 17:14:37+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Signal attenuation enables scalable decentralized multi-agent reinforcement learning over networks はコメントを受け付けていません

BINGO: A Novel Pruning Mechanism to Reduce the Size of Neural Networks

投稿日: 2025年5月19日 作成者: jarxiv

要約

過去10年間で、機械学習の使用は指数関数的に増加しています。
モデルはこれまで以上に複雑であり、巨大なサイズに成長し、何百万ものウェイトを収容しています。
残念ながら、大規模なモデルが最先端になっているという事実は、それらを訓練して運営するのに数百万ドルの費用がかかることを意味します。
これらの費用は、企業を傷つけるだけでなく、非裕福な個人が新しい開発に貢献し、消費者にAIのより高い価格を支払わせることを禁止しています。
反復的な大きさの剪定などのモデルを剪定するために使用される現在の方法では、非常に正確さを示していますが、非常に計算的および環境的に課税する反復トレーニングシーケンスが必要です。
この問題を解決するために、ビンゴが導入されます。
Bingoは、トレーニングパス中に、ニューラルネットワークの特定のサブセットを一度に1つずつ研究し、各体重がネットワークの正確性に貢献する上でどの程度重要な役割を果たすかを評価します。
トレーニングが完了するまでに、ビンゴは各重量の有意なスコアを生成し、重要でないウェイトを1ショットで剪定することができます。
Bingoは、現在の方法よりも計算的に集中的ではない精度を保存する剪定技術を提供し、AIの成長がモデルの成長を意味する必要がない世界を可能にします。

要約(オリジナル)

Over the past decade, the use of machine learning has increased exponentially. Models are far more complex than ever before, growing to gargantuan sizes and housing millions of weights. Unfortunately, the fact that large models have become the state of the art means that it often costs millions of dollars to train and operate them. These expenses not only hurt companies but also bar non-wealthy individuals from contributing to new developments and force consumers to pay greater prices for AI. Current methods used to prune models, such as iterative magnitude pruning, have shown great accuracy but require an iterative training sequence that is incredibly computationally and environmentally taxing. To solve this problem, BINGO is introduced. BINGO, during the training pass, studies specific subsets of a neural network one at a time to gauge how significant of a role each weight plays in contributing to a network’s accuracy. By the time training is done, BINGO generates a significance score for each weight, allowing for insignificant weights to be pruned in one shot. BINGO provides an accuracy-preserving pruning technique that is less computationally intensive than current methods, allowing for a world where AI growth does not have to mean model growth, as well.

arxiv情報

著者 Aditya Panangat
発行日 2025-05-16 17:16:52+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | BINGO: A Novel Pruning Mechanism to Reduce the Size of Neural Networks はコメントを受け付けていません

Automating High Quality RT Planning at Scale

投稿日: 2025年5月19日 作成者: jarxiv

要約

放射線療法（RT）計画は、複雑で、主観的で、時間型であることです。
人工知能（AI）の進歩は、その精度と効率を改善することを約束しますが、進歩は大規模で標準化されたデータセットの希少性によってしばしば制限されます。
これに対処するために、高品質の治療計画を生成するためのスケーラブルなソリューションである自動反復RT計画（AIRTP）システムを紹介します。
このスケーラブルなソリューションは、一貫して高品質の治療計画のかなりの量を生成するように設計されており、AI駆動型RT計画の進歩における重要な障害を克服します。
AIRTPパイプラインは、臨床ガイドラインを順守し、リスクのある輪郭（OAR）の輪郭、ヘルパー構造の作成、ビームセットアップ、最適化、および計画の品質改善を含む重要なステップを自動化します。
さらに、3D用量分布を再現するための最適化パラメーターを決定するための新しいアプローチ、つまり、用量予測を機械の制限に制約された成果物の治療計画に変換する方法が提案されています。
計画品質の比較分析は、自動化されたパイプラインが手動で生成されたものに匹敵する品質の治療計画を生成し、従来、計画ごとに数時間の労働が必要であることを明らかにしています。
AIRTPパイプラインの最初のデータリリースには、公共の研究にコミットして、Head and Neckおよび肺がんのサイトをカバーする9つのコホートが含まれており、AAPM 2025チャレンジをサポートしています。
私たちの最良の知識のために、このデータセットは、既存の最大の適切にキュレーションされたパブリックデータセットと比較して、10倍以上のプランを備えています。
レポ：https：//github.com/riqianggao/gdp-hmm_aapmchallenge。

要約(オリジナル)

Radiotherapy (RT) planning is complex, subjective, and time-intensive. Advances with artificial intelligence (AI) promise to improve its precision and efficiency, but progress is often limited by the scarcity of large, standardized datasets. To address this, we introduce the Automated Iterative RT Planning (AIRTP) system, a scalable solution for generating high-quality treatment plans. This scalable solution is designed to generate substantial volumes of consistently high-quality treatment plans, overcoming a key obstacle in the advancement of AI-driven RT planning. Our AIRTP pipeline adheres to clinical guidelines and automates essential steps, including organ-at-risk (OAR) contouring, helper structure creation, beam setup, optimization, and plan quality improvement, using AI integrated with RT planning software like Varian Eclipse. Furthermore, a novel approach for determining optimization parameters to reproduce 3D dose distributions, i.e. a method to convert dose predictions to deliverable treatment plans constrained by machine limitations is proposed. A comparative analysis of plan quality reveals that our automated pipeline produces treatment plans of quality comparable to those generated manually, which traditionally require several hours of labor per plan. Committed to public research, the first data release of our AIRTP pipeline includes nine cohorts covering head-and-neck and lung cancer sites to support an AAPM 2025 challenge. To our best knowledge, this dataset features more than 10 times number of plans compared to the largest existing well-curated public dataset. Repo: https://github.com/RiqiangGao/GDP-HMM_AAPMChallenge.

arxiv情報

著者 Riqiang Gao,Mamadou Diallo,Han Liu,Anthony Magliari,Jonathan Sackett,Wilko Verbakel,Sandra Meyers,Rafe Mcbeth,Masoud Zarepisheh,Simon Arberet,Martin Kraus,Florin C. Ghesu,Ali Kamen
発行日 2025-05-16 17:24:06+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.HC, cs.LG, cs.RO | Automating High Quality RT Planning at Scale はコメントを受け付けていません