Multimodal Learning with Uncertainty Quantification based on Discounted Belief Fusion

投稿日: 2025年3月31日 作成者: jarxiv

要約

マルチモーダルAIモデルは、ヘルスケア、ファイナンス、自律運転などの分野でますます使用されており、複数のソースや画像、テキスト、オーディオ、ビデオなどのモダリティから情報が描かれています。
ただし、騒音、不十分な証拠、またはモダリティ間の対立から生じる不確実性を効果的に管理することは、信頼できる意思決定に不可欠です。
たとえば、現在の不確実性認識機械学習方法は、たとえば、平均化や証拠の蓄積を活用して、高い紛争シナリオの不確実性を過小評価しています。
さらに、最先端の証拠平均戦略は不変の順序ではなく、複数のモダリティにスケーリングできません。
これらの課題に対処するために、順序不変の証拠融合を備えた新しいマルチモーダル学習方法を提案し、信頼できないモダリティが検出された場合に不確実な質量を再配分する競合ベースの割引メカニズムを導入します。
理論分析と実験的検証の両方を提供し、以前の研究とは異なり、提案されたアプローチは、提供された不確実性の推定に基づいて矛盾するサンプルと非紛争サンプルを効果的に区別し、不確実性に基づく紛争検出の以前のモデルを上回ることを実証します。

要約(オリジナル)

Multimodal AI models are increasingly used in fields like healthcare, finance, and autonomous driving, where information is drawn from multiple sources or modalities such as images, texts, audios, videos. However, effectively managing uncertainty – arising from noise, insufficient evidence, or conflicts between modalities – is crucial for reliable decision-making. Current uncertainty-aware machine learning methods leveraging, for example, evidence averaging, or evidence accumulation underestimate uncertainties in high-conflict scenarios. Moreover, the state-of-the-art evidence averaging strategy is not order invariant and fails to scale to multiple modalities. To address these challenges, we propose a novel multimodal learning method with order-invariant evidence fusion and introduce a conflict-based discounting mechanism that reallocates uncertain mass when unreliable modalities are detected. We provide both theoretical analysis and experimental validation, demonstrating that unlike the previous work, the proposed approach effectively distinguishes between conflicting and non-conflicting samples based on the provided uncertainty estimates, and outperforms the previous models in uncertainty-based conflict detection.

arxiv情報

著者 Grigor Bezirganyan,Sana Sellami,Laure Berti-Équille,Sébastien Fournier
発行日 2025-03-28 14:12:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | コメントする

Tackling the Accuracy-Interpretability Trade-off in a Hierarchy of Machine Learning Models for the Prediction of Extreme Heatwaves

投稿日: 2025年3月31日 作成者: jarxiv

要約

機械学習（ML）を使用する予測を実行するとき、私たちは主にパフォーマンスと解釈性に関心があります。
これにより、複雑なモデルが一般的にスキルが高いが、説明するのが難しく、信頼が困難な自然なトレードオフが生成されます。
私たちが基礎となる現象の身体的理解を得ることを目指している気候コミュニティでは、解釈可能性が特に重要です。
さらに、予測が社会に大きな影響を与える極端な気象現象に関係している場合。
この論文では、ますます複雑なMLモデルの階層を使用して、フランスの極端な熱波の確率的予測を実行します。これにより、精度と解釈可能性の最良の妥協点を見つけることができます。
より正確には、グローバルガウス近似（GA）から深い畳み込みニューラルネットワーク（CNNS）に至るまで、散乱変換（SCATNET）を使用した単純な解釈可能なニューラルネットワーク（IINN）の中間ステップとモデルを使用して、範囲のモデルを使用します。
私たちの調査結果は、CNNがより高い精度を提供することを明らかにしていますが、最先端の説明可能な人工知能（XAI）ツールを使用する場合でも、それらのブラックボックスの性質は解釈可能性を大幅に制限します。
対照的に、ScatNetはCNNと同様のパフォーマンスを達成しながら、透明性を高め、予測を促進するデータの主要なスケールとパターンを特定します。
この研究では、気候科学のMLモデルの解釈可能性の可能性を強調しており、より単純なモデルがより複雑なカウンターパートのパフォーマンスに匹敵する可能性があることを示していますが、その間は理解しやすいことを示しています。
この解釈可能性は、モデルの予測に対する信頼を築き、新しい科学的洞察を明らかにし、最終的に極端な気象現象の理解と管理を進めるために重要です。

要約(オリジナル)

When performing predictions that use Machine Learning (ML), we are mainly interested in performance and interpretability. This generates a natural trade-off, where complex models generally have higher skills but are harder to explain and thus trust. Interpretability is particularly important in the climate community, where we aim at gaining a physical understanding of the underlying phenomena. Even more so when the prediction concerns extreme weather events with high impact on society. In this paper, we perform probabilistic forecasts of extreme heatwaves over France, using a hierarchy of increasingly complex ML models, which allows us to find the best compromise between accuracy and interpretability. More precisely, we use models that range from a global Gaussian Approximation (GA) to deep Convolutional Neural Networks (CNNs), with the intermediate steps of a simple Intrinsically Interpretable Neural Network (IINN) and a model using the Scattering Transform (ScatNet). Our findings reveal that CNNs provide higher accuracy, but their black-box nature severely limits interpretability, even when using state-of-the-art Explainable Artificial Intelligence (XAI) tools. In contrast, ScatNet achieves similar performance to CNNs while providing greater transparency, identifying key scales and patterns in the data that drive predictions. This study underscores the potential of interpretability in ML models for climate science, demonstrating that simpler models can rival the performance of their more complex counterparts, all the while being much easier to understand. This gained interpretability is crucial for building trust in model predictions and uncovering new scientific insights, ultimately advancing our understanding and management of extreme weather events.

arxiv情報

著者 Alessandro Lovo,Amaury Lancelin,Corentin Herbert,Freddy Bouchet
発行日 2025-03-28 14:18:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, physics.ao-ph | コメントする

Neuromorphic Wireless Split Computing with Multi-Level Spikes

投稿日: 2025年3月31日 作成者: jarxiv

要約

生物学的プロセスに触発されて、神経形態のコンピューティングは、スパイクニューラルネットワーク（SNN）をレバレッジして推論タスクを実行し、連続データを含むワークロードの大幅な効率の向上を提供します。
ハードウェアとソフトウェアの最近の進歩により、スパイクニューロン間で交換される各スパイクに小さなペイロードを埋め込むと、エネルギー消費を増やすことなく推論の精度を高めることができます。
神経型コンピューティングをより大きなワークロードにスケーリングするために、SNNが2つのデバイスに分割されている分割コンピューティングは、有望なソリューションです。
このようなアーキテクチャでは、初期レイヤーをホストするデバイスは、出力ニューロンによって生成されたスパイクに関する情報を2番目のデバイスに送信する必要があります。
これにより、追加のペイロード情報を搭載したマルチレベルスパイクの利点と、デバイス間の追加ビットを送信するために必要な通信リソースとのトレードオフが確立されます。
このペーパーでは、マルチレベルSNNを採用する神経形式ワイヤレス分割コンピューティングアーキテクチャの最初の包括的な研究を紹介します。
効率的な通信を可能にするために、直交周波数分割多重（OFDM）無線インターフェイスのデジタルおよびアナログ変調スキームを提案します。
ソフトウェア定義ラジオを使用したシミュレーションと実験結果は、マルチレベルSNNモデルによって達成されたパフォーマンスの改善を明らかにし、送信機と受信機の間の接続品質の関数として最適なペイロードサイズの洞察を提供します。

要約(オリジナル)

Inspired by biological processes, neuromorphic computing leverages spiking neural networks (SNNs) to perform inference tasks, offering significant efficiency gains for workloads involving sequential data. Recent advances in hardware and software have shown that embedding a small payload within each spike exchanged between spiking neurons can enhance inference accuracy without increasing energy consumption. To scale neuromorphic computing to larger workloads, split computing – where an SNN is partitioned across two devices – is a promising solution. In such architectures, the device hosting the initial layers must transmit information about the spikes generated by its output neurons to the second device. This establishes a trade-off between the benefits of multi-level spikes, which carry additional payload information, and the communication resources required for transmitting extra bits between devices. This paper presents the first comprehensive study of a neuromorphic wireless split computing architecture that employs multi-level SNNs. We propose digital and analog modulation schemes for an orthogonal frequency division multiplexing (OFDM) radio interface to enable efficient communication. Simulation and experimental results using software-defined radios reveal performance improvements achieved by multi-level SNN models and provide insights into the optimal payload size as a function of the connection quality between the transmitter and receiver.

arxiv情報

著者 Dengyu Wu,Jiechen Chen,Bipin Rajendran,H. Vincent Poor,Osvaldo Simeone
発行日 2025-03-28 14:31:42+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.IT, cs.LG, cs.NE, math.IT | コメントする

DeepOFormer: Deep Operator Learning with Domain-informed Features for Fatigue Life Prediction

投稿日: 2025年3月31日 作成者: jarxiv

要約

疲労寿命は、特定の環境条件下で故障前に材料が機能する可能性がある期間を特徴づけ、伝統的にストレスライフ（S-N）曲線を使用して評価されています。
機械学習とディープラーニングは、疲労寿命予測の有望な結果を提供しますが、特定の材料の疲労実験データのサイズが少ないため、過度の課題に直面しています。
この課題に対処するために、S-N曲線予測をオペレーターの学習問題として策定することにより、Deepoformerを提案します。
DeepoFormerは、トランスベースのエンコーダーと平均L2相対誤差損失関数を使用して、ディープオペレーター学習フレームワークを改善します。
また、Stussi、Weibull、およびPascual and Meeker（PM）の機能をドメインに基づいた機能と考えています。
これらの機能は、経験的疲労モデルによって動機付けられています。
Deepoformerのパフォーマンスを評価するために、54 S-N曲線のアルミニウム合金を使用して、さまざまなディープラーニングモデルとXgboostをデータセットで比較します。
テスト用に選択された7つの異なるアルミニウム合金を使用すると、Deepoforderは0.9515のR2、0.2080の平均絶対誤差、0.5077の平均相対誤差を達成し、DeepOnet、TabTransformer、Xgboostなどを含む最先端のディープ/マシン学習方法を大幅に上回り、Deep0-Formersを使用することを実施します。
アルミニウム合金の疲労寿命予測の一般化能力。

要約(オリジナル)

Fatigue life characterizes the duration a material can function before failure under specific environmental conditions, and is traditionally assessed using stress-life (S-N) curves. While machine learning and deep learning offer promising results for fatigue life prediction, they face the overfitting challenge because of the small size of fatigue experimental data in specific materials. To address this challenge, we propose, DeepOFormer, by formulating S-N curve prediction as an operator learning problem. DeepOFormer improves the deep operator learning framework with a transformer-based encoder and a mean L2 relative error loss function. We also consider Stussi, Weibull, and Pascual and Meeker (PM) features as domain-informed features. These features are motivated by empirical fatigue models. To evaluate the performance of our DeepOFormer, we compare it with different deep learning models and XGBoost on a dataset with 54 S-N curves of aluminum alloys. With seven different aluminum alloys selected for testing, our DeepOFormer achieves an R2 of 0.9515, a mean absolute error of 0.2080, and a mean relative error of 0.5077, significantly outperforming state-of-the-art deep/machine learning methods including DeepONet, TabTransformer, and XGBoost, etc. The results highlight that our Deep0Former integrating with domain-informed features substantially improves prediction accuracy and generalization capabilities for fatigue life prediction in aluminum alloys.

arxiv情報

著者 Chenyang Li,Tanmay Sunil Kapure,Prokash Chandra Roy,Zhengtao Gan,Bo Shen
発行日 2025-03-28 14:34:35+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | コメントする

Probabilistic Uncertain Reward Model: A Natural Generalization of Bradley-Terry Reward Model

投稿日: 2025年3月31日 作成者: jarxiv

要約

人間のフィードバック（RLHF）からの強化学習は、大規模な言語モデルをトレーニングするための重要なテクニックとして浮上しています。
ただし、報酬ハッキング – モデルが報酬モデルの欠陥を活用する現象は、長期トレーニングを通じて堅牢でスケーラブルなインテリジェンスを達成するための重要な障壁となっています。
既存の研究では、報酬のハッキングに対処するための不確実な報酬モデルを提案していますが、多くの場合、系統的または理論的な基盤を欠いており、優先データから本質的に出現する不確実性をモデル化できません。
この論文では、古典的なブラッドリー・テリー報酬モデルの自然な一般化である確率的不確実な報酬モデル（PURM）を提案します。
PURMは、優先データから直接報酬分布を学習し、報酬分布間の平均オーバーラップ領域を介してサンプルごとの不確実性を定量化します。
報酬のハッキングを緩和するために、不確実なペナルティを近位政策最適化（PPO）にさらに導入します。これは、学習した不確実性を活用して、報酬の最適化と探索を動的にバランスさせます。
Purmの軽量で使いやすい実装を提案します。
実験は、Purmが報酬ハッキングの開始を大幅に遅らせ、最終的な報酬パフォーマンスを改善し、安定性と有効性の両方でベースライン方法を上回ることを示しています。

要約(オリジナル)

Reinforcement Learning from Human Feedback (RLHF) has emerged as a critical technique for training large language models. However, reward hacking-a phenomenon where models exploit flaws in the reward model-remains a significant barrier to achieving robust and scalable intelligence through long-term training. Existing studies have proposed uncertain reward model to address reward hacking, however, they often lack systematic or theoretical foundations, failing to model the uncertainty intrinsically emerging from preference data. In this paper, we propose the Probabilistic Uncertain Reward Model (PURM), a natural generalization of the classical Bradley-Terry reward model. PURM learns reward distributions directly from preference data and quantifies per-sample uncertainty via the average overlap area between reward distributions. To mitigate reward hacking, we further introduce an uncertainty-aware penalty into Proximal Policy Optimization (PPO), which leverages the learned uncertainty to dynamically balance reward optimization and exploration. We propose a lightweight and easy-to-use implementation of PURM. Experiments demonstrate that PURM significantly delays the onset of reward hacking while improving final reward performance, outperforming baseline methods in both stability and effectiveness.

arxiv情報

著者 Wangtao Sun,Xiang Cheng,Xing Yu,Haotian Xu,Zhao Yang,Shizhu He,Jun Zhao,Kang Liu
発行日 2025-03-28 14:39:52+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | コメントする

SPDNet: Seasonal-Periodic Decomposition Network for Advanced Residential Demand Forecasting

投稿日: 2025年3月31日 作成者: jarxiv

要約

効率的なエネルギー管理とグリッドの安定性にとって、住宅用電力需要予測は重要です。
正確な予測により、ユーティリティ企業は計画と運用を最適化することができます。
ただし、現実世界の住宅用電力需要データは、複数の季節性、周期性、および突然の変動を含む複雑な時間的変動を示すことが多く、予測モデルに大きな課題をもたらします。
統計的方法、再発性、畳み込みニューラルネットワーク、および変圧器に依存する以前のモデルは、しばしばこれらの複雑な時間的ダイナミクスをキャプチャするのに苦労しています。
これらの課題に対処するために、2つの主要なモジュールで構成される新しい深い学習フレームワークである季節周期分解ネットワーク（SPDNET）を提案します。
1つ目は、入力データをトレンド、季節、および残留コンポーネントに分解する季節トレンド分解モジュール（STDM）です。
2つ目は、定期的な分解モジュール（PDM）です。これは、高速フーリエ変換を使用して支配的な期間を識別します。
各支配的な期間について、1D入力データは2Dテンソルに再形成され、行は周波数に対応する期間と列を表します。
2D表現は、3つのサブモジュールを介して処理されます。シャープな変動をキャプチャする1D畳み込み、グローバルパターンをモデル化する変圧器ベースのエンコーダー、および期間間の相互作用をキャプチャする2D畳み込みです。
現実世界の住宅用電力荷重データで実施された広範な実験は、SPDNETが、予測精度と計算効率の両方で従来のモデルと高度なモデルよりも優れていることを示しています。
このコードは、このリポジトリで入手できます：https：//github.com/tims2d/spdnet。

要約(オリジナル)

Residential electricity demand forecasting is critical for efficient energy management and grid stability. Accurate predictions enable utility companies to optimize planning and operations. However, real-world residential electricity demand data often exhibit intricate temporal variability, including multiple seasonalities, periodicities, and abrupt fluctuations, which pose significant challenges for forecasting models. Previous models that rely on statistical methods, recurrent, convolutional neural networks, and transformers often struggle to capture these intricate temporal dynamics. To address these challenges, we propose the Seasonal-Periodic Decomposition Network (SPDNet), a novel deep learning framework consisting of two main modules. The first is the Seasonal-Trend Decomposition Module (STDM), which decomposes the input data into trend, seasonal, and residual components. The second is the Periodical Decomposition Module (PDM), which employs the Fast Fourier Transform to identify the dominant periods. For each dominant period, 1D input data is reshaped into a 2D tensor, where rows represent periods and columns correspond to frequencies. The 2D representations are then processed through three submodules: a 1D convolution to capture sharp fluctuations, a transformer-based encoder to model global patterns, and a 2D convolution to capture interactions between periods. Extensive experiments conducted on real-world residential electricity load data demonstrate that SPDNet outperforms traditional and advanced models in both forecasting accuracy and computational efficiency. The code is available in this repository: https://github.com/Tims2D/SPDNet.

arxiv情報

著者 Reza Nematirad,Anil Pahwa,Balasubramaniam Natarajan
発行日 2025-03-28 14:51:38+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | コメントする

Large Engagement Networks for Classifying Coordinated Campaigns and Organic Twitter Trends

投稿日: 2025年3月31日 作成者: jarxiv

要約

ソーシャルメディアユーザーとボットなどの不正なアカウントは、トピックを宣伝する際に調整する場合があります。
このようなトピックは、中央に管理されているアストロターフィングキャンペーンであるにもかかわらず、それらが一般に一般的に人気があるという印象を与えるかもしれません。
信頼できるグラウンドトゥルースがないため、トピックがオーガニックなキャンペーンであるか調整されたキャンペーンであるかを予測することは困難です。
この論文では、一時的なアストロターフィング攻撃によって促進されたキャンペーンを検出することにより、そのような基本真理を作成します。
これらの攻撃は、短期間で調整された方法でツイートするボットを使用して、すぐにツイートを削除するボットを使用することにより、Twitterの（x）トレンドリストにトピックをプッシュします。
オーガニックのTwitterトレンドのデータセットを手動でキュレートします。
次に、これらのデータセットからエンゲージメントネットワークを作成し、キャンペーンとオーガニックトレンドを区別するためのグラフ分類タスクの挑戦的なテストベッドとして機能します。
エンゲージメントネットワークは、ユーザーがユーザー間でエッジ（リツイート、返信、引用符）としてノードとして、およびエンゲージメントとしてユーザーで構成されています。
179のキャンペーンと135の非キャンペーンのエンゲージメントネットワークをリリースし、キャンペーンと非キャンペーンのタイプを特徴付けるより細かい穀物ラベルも提供します。
データセットであるLEN（大規模なエンゲージメントネットワーク）は、以下のURLで入手できます。
数十のノードとせいぜい数百のエッジがある従来のグラフ分類データセットと比較して、LENのグラフは大きくなっています。
Lenの平均グラフには、〜11kノードと〜23kのエッジがあります。
最先端のGNNメソッドは、レンのキャンペーンと非キャンペーンおよびキャンペーンタイプの分類の平凡な結果のみを与えることを示しています。
レンは、グラフ分類の問題にユニークで挑戦的なプレイフィールドを提供します。
レンは、大規模なネットワーク上のグラフ分類技術のフロンティアを前進させ、調整されたキャンペーンとオーガニックトレンドを区別するという点で興味深いユースケースを提供するのに役立つと考えています。

要約(オリジナル)

Social media users and inauthentic accounts, such as bots, may coordinate in promoting their topics. Such topics may give the impression that they are organically popular among the public, even though they are astroturfing campaigns that are centrally managed. It is challenging to predict if a topic is organic or a coordinated campaign due to the lack of reliable ground truth. In this paper, we create such ground truth by detecting the campaigns promoted by ephemeral astroturfing attacks. These attacks push any topic to Twitter’s (X) trends list by employing bots that tweet in a coordinated manner in a short period and then immediately delete their tweets. We manually curate a dataset of organic Twitter trends. We then create engagement networks out of these datasets which can serve as a challenging testbed for graph classification task to distinguish between campaigns and organic trends. Engagement networks consist of users as nodes and engagements as edges (retweets, replies, and quotes) between users. We release the engagement networks for 179 campaigns and 135 non-campaigns, and also provide finer-grain labels to characterize the type of the campaigns and non-campaigns. Our dataset, LEN (Large Engagement Networks), is available in the URL below. In comparison to traditional graph classification datasets, which are small with tens of nodes and hundreds of edges at most, graphs in LEN are larger. The average graph in LEN has ~11K nodes and ~23K edges. We show that state-of-the-art GNN methods give only mediocre results for campaign vs. non-campaign and campaign type classification on LEN. LEN offers a unique and challenging playfield for the graph classification problem. We believe that LEN will help advance the frontiers of graph classification techniques on large networks and also provide an interesting use case in terms of distinguishing coordinated campaigns and organic trends.

arxiv情報

著者 Atul Anand Gopalakrishnan,Jakir Hossain,Tugrulcan Elmas,Ahmet Erdem Sariyuce
発行日 2025-03-28 14:54:05+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.SI | コメントする

Policy Learning with Competing Agents

投稿日: 2025年3月31日 作成者: jarxiv

要約

意思決定者は、多くの場合、治療できるエージェントの数に対する容量の制約の下で治療割り当てポリシーを学ぶことを目指しています。
エージェントがそのようなポリシーに戦略的に対応できる場合、競争が発生し、最適なポリシーの推定を複雑にします。
この論文では、そのような干渉の存在下で容量制約のある治療の割り当てを研究します。
意思決定者が各タイムステップで治療を割り当てる動的モデルを検討し、以前の治療割り当てポリシーに近視で最適に応答する不均一なエージェントを検討します。
エージェントの数が大きいが有限である場合、特定のポリシーの下で治療を受けるためのしきい値がポリシーの平均フィールド平衡しきい値に収束することを示します。
この結果に基づいて、ポリシー勾配の一貫した推定器を開発します。
1988年の国家教育縦断的研究のデータを使用した半合成実験では、この推定器を戦略的行動の存在下で容量制約のポリシーを学習するために使用できることを実証します。

要約(オリジナル)

Decision makers often aim to learn a treatment assignment policy under a capacity constraint on the number of agents that they can treat. When agents can respond strategically to such policies, competition arises, complicating estimation of the optimal policy. In this paper, we study capacity-constrained treatment assignment in the presence of such interference. We consider a dynamic model where the decision maker allocates treatments at each time step and heterogeneous agents myopically best respond to the previous treatment assignment policy. When the number of agents is large but finite, we show that the threshold for receiving treatment under a given policy converges to the policy’s mean-field equilibrium threshold. Based on this result, we develop a consistent estimator for the policy gradient. In a semi-synthetic experiment with data from the National Education Longitudinal Study of 1988, we demonstrate that this estimator can be used for learning capacity-constrained policies in the presence of strategic behavior.

arxiv情報

著者 Roshni Sahoo,Stefan Wager
発行日 2025-03-28 14:55:53+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, econ.EM, stat.ML | コメントする

Learnable cut flow

投稿日: 2025年3月31日 作成者: jarxiv

要約

ニューラルネットワークは、高エネルギー物理学のタスクの強力なパラダイムとして浮上していますが、それらの不透明なトレーニングプロセスはそれらをブラックボックスとしてレンダリングします。
対照的に、従来のカットフロー方法は、シンプルさと解釈可能性を提供しますが、最適な境界を特定するために人間の努力を要求します。
両方のアプローチの強度をマージするために、従来のカット選択を完全に微分可能なデータ駆動型プロセスに変換するニューラルネットワークである学習可能なカットフロー（LCF）を提案します。
LCFは、観察可能な分布が独立して処理される2つのカット戦略を実装し、以前のカットがその後のものを形成して最適な境界を柔軟に決定する順番を実装します。
これに基づいて、特徴の重要性を定量化し、それに応じて損失への貢献を調整するメトリックである学習可能な重要性を紹介し、アドホックメトリックとは異なり、モデル駆動型の洞察を提供します。
差別化可能性を確保するために、変更された損失関数はハードカットをマスク操作に置き換え、トレーニングプロセス全体でデータの形状を維持します。
LCFは、6つのさまざまなモックデータセットと現実的なディボソン対QCDデータセットでテストされています。
結果は、LCF（1）が並列戦略と順次戦略の両方で典型的な特徴分布におけるカット境界を正確に学習することを示しています。
Diboson Datasetでは、LCFは最初にすべての観測可能性を使用するときに決定ツリーとマルチプレイヤーパーセプロンをブーストしました。
ただし、学習された重要性を高めることにより、より重要性の低い機能が装飾されています。これらのベースラインに合わせたり、それを超えたりするようにパフォーマンスを強化します。
LCFは、従来のカットフロー方法と最新のブラックボックスニューラルネットワークの間のギャップを埋め、トレーニングプロセスと機能の重要性について実用的な洞察を提供します。

要約(オリジナル)

Neural networks have emerged as a powerful paradigm for tasks in high energy physics, yet their opaque training process renders them as a black box. In contrast, the traditional cut flow method offers simplicity and interpretability but demands human effort to identify optimal boundaries. To merge the strengths of both approaches, we propose the Learnable Cut Flow (LCF), a neural network that transforms the traditional cut selection into a fully differentiable, data-driven process. LCF implements two cut strategies-parallel, where observable distributions are treated independently, and sequential, where prior cuts shape subsequent ones-to flexibly determine optimal boundaries. Building on this, we introduce the Learnable Importance, a metric that quantifies feature importance and adjusts their contributions to the loss accordingly, offering model-driven insights unlike ad-hoc metrics. To ensure differentiability, a modified loss function replaces hard cuts with mask operations, preserving data shape throughout the training process. LCF is tested on six varied mock datasets and a realistic diboson vs. QCD dataset. Results demonstrate that LCF (1) accurately learns cut boundaries across typical feature distributions in both parallel and sequential strategies, (2) assigns higher importance to discriminative features with minimal overlap, (3) handles redundant or correlated features robustly, and (4) performs effectively in real-world scenarios. In diboson dataset, LCF initially underperforms boosted decision trees and multiplayer perceptrons when using all observables. However, pruning less critical features-guided by learned importance-boosts its performance to match or exceed these baselines. LCF bridges the gap between traditional cut flow method and modern black-box neural networks, delivering actionable insights into the training process and feature importance.

arxiv情報

著者 Jing Li,Hao Sun
発行日 2025-03-28 15:04:06+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, hep-ph | コメントする

Assessing Foundation Models for Sea Ice Type Segmentation in Sentinel-1 SAR Imagery

投稿日: 2025年3月31日 作成者: jarxiv

要約

海氷の種類の正確なセグメンテーションは、氷で覆われた水域での安全な航海と資源抽出、および極地気候プロセスを理解するための海氷条件のマッピングと運用予測に不可欠です。
深い学習方法は、海氷のセグメンテーションを自動化する際に有望であることを示していますが、多くの場合、専門知識を必要とし、作成するのに時間がかかる広範なラベル付きデータセットに依存しています。
最近、Foundation Models（FMS）は、自己監視技術を使用して大規模なデータセットでトレーニング前に使用することにより、リモートセンシング画像をセグメント化するための優れた結果を示しています。
ただし、特に海氷の複雑な構造、季節の変化、ユニークなスペクトル署名、および井戸の合成開口レーダー（SAR）画像特性を含む、バンディングやスカラッピングノイズを含む特異な合成開口レーダー（SAR）の画像特性を考慮して、海氷のセグメンテーションに対するそれらの有効性は未開拓のままです。
特に、極地のSAR画像は、FMSのトレーニングデータセットを形成する同じセンサーによって低緯度の画像をキャプチャするために使用されるものとは異なるモードを使用して取得されます。
この研究では、Sentinel-1 SAR画像を使用した海氷タイプのセグメンテーション用の10のリモートセンシングFMSを評価し、季節的および空間的一般化に焦点を当てています。
選択したモデルの中で、PRITHVI-600Mはベースラインモデルよりも優れていますが、CROMAはF1スコアで非常に類似したパフォーマンスを達成しています。
私たちの貢献には、海氷データ分析のためのFMSを選択するための体系的な方法論、カスタマイズされたパフォーマンスメトリックを備えた海氷セグメンテーションのFMSのパフォーマンスに関する包括的なベンチマーク研究、SARデータを使用した極地アプリケーションのドメイン固有のモデルを改善するための既存のギャップと将来の方向性に関する洞察が含まれます。

要約(オリジナル)

Accurate segmentation of sea ice types is essential for mapping and operational forecasting of sea ice conditions for safe navigation and resource extraction in ice-covered waters, as well as for understanding polar climate processes. While deep learning methods have shown promise in automating sea ice segmentation, they often rely on extensive labeled datasets which require expert knowledge and are time-consuming to create. Recently, foundation models (FMs) have shown excellent results for segmenting remote sensing images by utilizing pre-training on large datasets using self-supervised techniques. However, their effectiveness for sea ice segmentation remains unexplored, especially given sea ice’s complex structures, seasonal changes, and unique spectral signatures, as well as peculiar Synthetic Aperture Radar (SAR) imagery characteristics including banding and scalloping noise, and varying ice backscatter characteristics, which are often missing in standard remote sensing pre-training datasets. In particular, SAR images over polar regions are acquired using different modes than used to capture the images at lower latitudes by the same sensors that form training datasets for FMs. This study evaluates ten remote sensing FMs for sea ice type segmentation using Sentinel-1 SAR imagery, focusing on their seasonal and spatial generalization. Among the selected models, Prithvi-600M outperforms the baseline models, while CROMA achieves a very similar performance in F1-score. Our contributions include offering a systematic methodology for selecting FMs for sea ice data analysis, a comprehensive benchmarking study on performances of FMs for sea ice segmentation with tailored performance metrics, and insights into existing gaps and future directions for improving domain-specific models in polar applications using SAR data.

arxiv情報

著者 Samira Alkaee Taleghan,Morteza Karimzadeh,Andrew P. Barrett,Walter N. Meier,Farnoush Banaei-Kashani
発行日 2025-03-28 15:21:08+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | コメントする