CAP: A General Algorithm for Online Selective Conformal Prediction with FCR Control

投稿日: 2025年4月22日 作成者: jarxiv

要約

選択後の予測推論の問題をオンラインで研究します。
重要でないユニットへのリソースの献身を避けるために、予測間隔を報告する前に現在の個人の予備選択は、オンライン予測タスクで一般的かつ意味があります。
オンライン選択は、選択された予測間隔に時間的多重性を引き起こすため、全体的なミスベージレベルを測定するリアルタイムの誤ったカバレッジステートメント率（FCR）を制御することが重要です。
現在の個人が選択されている場合にキャリブレーションセットを構築するために履歴データの適応ピックルールを実行し、観察されていないラベルのコンフォーマル予測間隔を出力するという名前のCAP（適応ピック後のキャリブレーション）という名前の一般的なフレームワーク（適応ピック後のキャリブレーション）を開発します。
人気のあるオンライン選択ルール向けのキャリブレーションセットを構築するための扱いやすい手順を提供します。
CAPが有限サンプルおよび分布のないレジームで正確な選択条件のカバレッジ保証を達成できることを証明しました。
オンラインデータの分布シフトを説明するために、CAPを最近の動的コンフォーマル予測アルゴリズムに埋め込み、提案された方法が長期のFCR制御を提供できることを示しています。
合成データと実際のデータの両方の数値結果は、CAPがターゲットレベルの周りでFCRを効果的に制御し、さまざまな設定で既存のベースラインでより狭い予測間隔を生成できることを裏付けています。

要約(オリジナル)

We study the problem of post-selection predictive inference in an online fashion. To avoid devoting resources to unimportant units, a preliminary selection of the current individual before reporting its prediction interval is common and meaningful in online predictive tasks. Since the online selection causes a temporal multiplicity in the selected prediction intervals, it is important to control the real-time false coverage-statement rate (FCR) which measures the overall miscoverage level. We develop a general framework named CAP (Calibration after Adaptive Pick) that performs an adaptive pick rule on historical data to construct a calibration set if the current individual is selected and then outputs a conformal prediction interval for the unobserved label. We provide tractable procedures for constructing the calibration set for popular online selection rules. We proved that CAP can achieve an exact selection-conditional coverage guarantee in the finite-sample and distribution-free regimes. To account for the distribution shift in online data, we also embed CAP into some recent dynamic conformal prediction algorithms and show that the proposed method can deliver long-run FCR control. Numerical results on both synthetic and real data corroborate that CAP can effectively control FCR around the target level and yield more narrowed prediction intervals over existing baselines across various settings.

arxiv情報

著者 Yajie Bao,Yuyang Huo,Haojie Ren,Changliang Zou
発行日 2025-04-21 15:51:01+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ME, stat.ML | CAP: A General Algorithm for Online Selective Conformal Prediction with FCR Control はコメントを受け付けていません

How Global Calibration Strengthens Multiaccuracy

投稿日: 2025年4月22日 作成者: jarxiv

要約

マルチカルチュラシーとマルチキャリブレーションは、学習と計算の複雑さに多数のアプリケーションを発見した予測に関するマルチグループ公平性の概念です。
それらは、単一の学習原始的な原始から達成することができます：弱い不可知論の学習。
ここでは、キャリブレーションの追加の仮定の有無にかかわらず、学習原始的なものとしての多積層の力を調査します。
マルチカジュラシー自体はかなり弱いが、グローバルなキャリブレーション（この概念は校正済みマルチカルチュラシーと呼ばれる）を追加することで、その力が大幅に向上することがあることがわかります。
マルチカルチョウは、標準的な弱い不可知論学的学習ほど強力ではないかもしれないという証拠を示します。これは、最良の仮説が相関$ 1/2 $にあると仮定しても、マルチキュレート予測子を後処理する方法が弱い学習者を獲得する方法がないことを示すことで示唆しています。
むしろ、それが弱い不可知論的学習の制限された形態を生成することを示します。
ただし、予測子を調整することも要求することにより、弱いだけでなく、強力な不可知論的学習を回復します。
マルチグループの公平性の概念を満たす予測因子からのハードコア測定の導出を考慮すると、同様の画像が現れます。
一方では、マルチカルチュラシーは密度の半分の最適な密度のハードコア測定のみを生成しますが、（加重バージョンの）校正されたマルチカルシーが最適な密度を達成することを示します。
私たちの結果は、各設定でマルチカルシーとキャリブレーションが果たす補完的な役割に対する新しい洞察をもたらします。
彼らは、なぜ多積層とグローバルなキャリブレーションが特に強力ではありませんが、なぜかなり強い概念をもたらす理由に光を当てました。

要約(オリジナル)

Multiaccuracy and multicalibration are multigroup fairness notions for prediction that have found numerous applications in learning and computational complexity. They can be achieved from a single learning primitive: weak agnostic learning. Here we investigate the power of multiaccuracy as a learning primitive, both with and without the additional assumption of calibration. We find that multiaccuracy in itself is rather weak, but that the addition of global calibration (this notion is called calibrated multiaccuracy) boosts its power substantially, enough to recover implications that were previously known only assuming the stronger notion of multicalibration. We give evidence that multiaccuracy might not be as powerful as standard weak agnostic learning, by showing that there is no way to post-process a multiaccurate predictor to get a weak learner, even assuming the best hypothesis has correlation $1/2$. Rather, we show that it yields a restricted form of weak agnostic learning, which requires some concept in the class to have correlation greater than $1/2$ with the labels. However, by also requiring the predictor to be calibrated, we recover not just weak, but strong agnostic learning. A similar picture emerges when we consider the derivation of hardcore measures from predictors satisfying multigroup fairness notions. On the one hand, while multiaccuracy only yields hardcore measures of density half the optimal, we show that (a weighted version of) calibrated multiaccuracy achieves optimal density. Our results yield new insights into the complementary roles played by multiaccuracy and calibration in each setting. They shed light on why multiaccuracy and global calibration, although not particularly powerful by themselves, together yield considerably stronger notions.

arxiv情報

著者 Sílvia Casacuberta,Parikshit Gopalan,Varun Kanade,Omer Reingold
発行日 2025-04-21 16:22:44+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CC, cs.LG | How Global Calibration Strengthens Multiaccuracy はコメントを受け付けていません

Fast and scalable Wasserstein-1 neural optimal transport solver for single-cell perturbation prediction

投稿日: 2025年4月22日 作成者: jarxiv

要約

\ textBf {Motivation：}シングルセル摂動応答を予測するには、2つの対応のないシングルセルデータ分布間のマッピングが必要です。
Optimal Transport（OT）理論は、輸送コストを最小限に抑えることにより、このようなマッピングを構築するための原則的なフレームワークを提供します。
最近、Wasserstein-2（$ w_2 $）Neural Optimal Transport Solvers（\ textit {e.g。}、Cellot）がこの予測タスクに採用されています。
ただし、$ w_2 $ otは、2つのコンジュゲート関数を最適化する一般的なカントロビッチの二重製剤に依存しており、ゆっくりと収束する複雑なMIN-MAX最適化問題につながります。
\\ \ textbf {results：}これらの課題に対処するために、wasserstein-1（$ w_1 $）のデュアル定式化に基づいた新しいソルバーを提案します。
$ w_2 $とは異なり、$ w_1 $ dualは、単一の1-lipschitz関数にわたる最大化問題に対する最適化を簡素化するため、時間のかかるMIN-MAX最適化の必要性が排除されます。
$ w_1 $ $ dualを解くと、輸送方向のみが明らかになり、独自の最適な輸送マップを直接提供しませんが、敵対的なトレーニングを使用して適切な輸送ステップサイズを決定し、トランスポートマップを効果的に回復するための追加のステップを組み込みます。
私たちの実験は、提案されている$ W_1 $ NEURAL OPTIMAL TRASTRANCE SOLVERが、2Dデータセットで一意の「単調」マップを見つける際に$ W_2 $ OTソルバーを模倣できることを示しています。
さらに、$ w_1 $ o otソルバーは、実際のシングルセル摂動データセットで$ w_2 $ otソルバーと同等のパフォーマンスを実現します。
さらに、$ w_1 $ otソルバーは$ 25 \ sim 45 \ times $ speedupを達成し、高次元の輸送タスクでより良いスケーリングを行い、高可変遺伝子を持つ単一セルRNA-seqデータセットに直接適用できることを示します。
\\ \ textBf {可用性と実装：}実装と実験は、https：//github.com/poseidonchan/w1otでオープンソースを撮影しています。

要約(オリジナル)

\textbf{Motivation:} Predicting single-cell perturbation responses requires mapping between two unpaired single-cell data distributions. Optimal transport (OT) theory provides a principled framework for constructing such mappings by minimizing transport cost. Recently, Wasserstein-2 ($W_2$) neural optimal transport solvers (\textit{e.g.}, CellOT) have been employed for this prediction task. However, $W_2$ OT relies on the general Kantorovich dual formulation, which involves optimizing over two conjugate functions, leading to a complex min-max optimization problem that converges slowly. \\ \textbf{Results:} To address these challenges, we propose a novel solver based on the Wasserstein-1 ($W_1$) dual formulation. Unlike $W_2$, the $W_1$ dual simplifies the optimization to a maximization problem over a single 1-Lipschitz function, thus eliminating the need for time-consuming min-max optimization. While solving the $W_1$ dual only reveals the transport direction and does not directly provide a unique optimal transport map, we incorporate an additional step using adversarial training to determine an appropriate transport step size, effectively recovering the transport map. Our experiments demonstrate that the proposed $W_1$ neural optimal transport solver can mimic the $W_2$ OT solvers in finding a unique and “monotonic’ map on 2D datasets. Moreover, the $W_1$ OT solver achieves performance on par with or surpasses $W_2$ OT solvers on real single-cell perturbation datasets. Furthermore, we show that $W_1$ OT solver achieves $25 \sim 45\times$ speedup, scales better on high dimensional transportation task, and can be directly applied on single-cell RNA-seq dataset with highly variable genes. \\ \textbf{Availability and Implementation:} Our implementation and experiments are open-sourced at https://github.com/poseidonchan/w1ot.

arxiv情報

著者 Yanshuo Chen,Zhengmian Hu,Wei Chen,Heng Huang
発行日 2025-04-21 16:33:30+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, q-bio.GN | Fast and scalable Wasserstein-1 neural optimal transport solver for single-cell perturbation prediction はコメントを受け付けていません

Histogram-based Parameter-efficient Tuning for Passive Sonar Classification

投稿日: 2025年4月22日 作成者: jarxiv

要約

パラメーター効率の高い転送学習（PETL）メソッドは、モデル全体を微調整することなく、大規模な人工ニューラルネットワークをダウンストリームタスクに適応させます。
ただし、アダプターなどの既存の添加剤方法は、中間特徴の埋め込みの分布シフトをキャプチャするのに苦労することがあります。
ターゲットドメインの統計をキャプチャし、埋め込みを調整する新しいヒストグラムベースのパラメーター効率の高いチューニング（HPT）手法を提案します。
3つの下流のパッシブソナーデータセット（Shipsear、Deephip、VTUAD）の実験結果は、HPTが従来のアダプターよりも優れていることを示しています。
特に、HPTはVTUADで91.8％対89.8％の精度を達成しています。
さらに、HPTはより速く訓練し、完全に微調整されたモデルの表現に近い特徴表現を生み出します。
全体として、HPTはパラメーターの節約とパフォーマンスのバランスをとり、既存のアダプターに配布認識の代替品を提供し、リソース制約の環境でスケーラブルな転送学習の有望な方向を示します。
コードは公開されています：https：//github.com/advanced-vision-and-learning-lab/hlast_deepship_parameterefficient。

要約(オリジナル)

Parameter-efficient transfer learning (PETL) methods adapt large artificial neural networks to downstream tasks without fine-tuning the entire model. However, existing additive methods, such as adapters, sometimes struggle to capture distributional shifts in intermediate feature embeddings. We propose a novel histogram-based parameter-efficient tuning (HPT) technique that captures the statistics of the target domain and modulates the embeddings. Experimental results on three downstream passive sonar datasets (ShipsEar, DeepShip, VTUAD) demonstrate that HPT outperforms conventional adapters. Notably, HPT achieves 91.8% vs. 89.8% accuracy on VTUAD. Furthermore, HPT trains faster and yields feature representations closer to those of fully fine-tuned models. Overall, HPT balances parameter savings and performance, providing a distribution-aware alternative to existing adapters and shows a promising direction for scalable transfer learning in resource-constrained environments. The code is publicly available: https://github.com/Advanced-Vision-and-Learning-Lab/HLAST_DeepShip_ParameterEfficient.

arxiv情報

著者 Amirmohammad Mohammadi,Davelle Carreiro,Alexandra Van Dine,Joshua Peeples
発行日 2025-04-21 16:36:38+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.SD | Histogram-based Parameter-efficient Tuning for Passive Sonar Classification はコメントを受け付けていません

DRAGON: Distributional Rewards Optimize Diffusion Generative Models

投稿日: 2025年4月22日 作成者: jarxiv

要約

微調整されたメディア生成モデルの希望の結果に向けて、生成最適化（Dragon）の分布報酬（Dragon）を提示します。
人間のフィードバック（RLHF）を使用した従来の強化学習または直接選好最適化（DPO）などのペアワイズ優先アプローチと比較して、ドラゴンはより柔軟です。
個々の例またはそれらの分布のいずれかを評価する報酬関数を最適化でき、インスタンスの幅広いスペクトル、インスタンスへの分布、分布への分布の報酬と互換性があります。
この汎用性を活用して、エンコーダーと一連の参照例を選択して、模範的な分布を作成することにより、新しい報酬関数を構築します。
CLAPなどのクロスモダリティエンコーダーが使用される場合、参照例は異なるモダリティ（テキストとオーディオなど）の場合があります。
その後、ドラゴンはオンラインとポリシーの世代を収集し、スコアを獲得して肯定的なデモンストレーションセットとネガティブセットを構築し、2つのセット間のコントラストを活用して報酬を最大化します。
評価のために、カスタムミュージックの美学モデル、CLAPスコア、Vendi Diversity、Frechet Audio Distance（FAD）など、20の異なる報酬関数を使用して、オーディオドメインテキストから音楽への拡散モデルを微調整します。
さらに、複数のFADエンコーダーと参照セットをアブレーションしながら、インスタンスごと（ソングあたり）とフルデータセットのFAD設定を比較します。
20の対象報酬すべてにわたって、ドラゴンは81.45％の平均勝利を達成しています。
さらに、模範セットに基づく報酬機能は、実際に世代を強化し、モデルベースの報酬に匹敵します。
適切な模範セットを使用して、ドラゴンは、人間の好みの注釈をトレーニングすることなく、60.95％の人間が投票した音楽品質の勝利率を達成します。
そのため、ドラゴンは、人間が知覚する品質を向上させるための報酬機能を設計および最適化するための新しいアプローチを示します。
https://ml-dragon.github.io/webのサウンド例。

要約(オリジナル)

We present Distributional RewArds for Generative OptimizatioN (DRAGON), a versatile framework for fine-tuning media generation models towards a desired outcome. Compared with traditional reinforcement learning with human feedback (RLHF) or pairwise preference approaches such as direct preference optimization (DPO), DRAGON is more flexible. It can optimize reward functions that evaluate either individual examples or distributions of them, making it compatible with a broad spectrum of instance-wise, instance-to-distribution, and distribution-to-distribution rewards. Leveraging this versatility, we construct novel reward functions by selecting an encoder and a set of reference examples to create an exemplar distribution. When cross-modality encoders such as CLAP are used, the reference examples may be of a different modality (e.g., text versus audio). Then, DRAGON gathers online and on-policy generations, scores them to construct a positive demonstration set and a negative set, and leverages the contrast between the two sets to maximize the reward. For evaluation, we fine-tune an audio-domain text-to-music diffusion model with 20 different reward functions, including a custom music aesthetics model, CLAP score, Vendi diversity, and Frechet audio distance (FAD). We further compare instance-wise (per-song) and full-dataset FAD settings while ablating multiple FAD encoders and reference sets. Over all 20 target rewards, DRAGON achieves an 81.45% average win rate. Moreover, reward functions based on exemplar sets indeed enhance generations and are comparable to model-based rewards. With an appropriate exemplar set, DRAGON achieves a 60.95% human-voted music quality win rate without training on human preference annotations. As such, DRAGON exhibits a new approach to designing and optimizing reward functions for improving human-perceived quality. Sound examples at https://ml-dragon.github.io/web.

arxiv情報

著者 Yatong Bai,Jonah Casebeer,Somayeh Sojoudi,Nicholas J. Bryan
発行日 2025-04-21 16:41:40+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.SD | DRAGON: Distributional Rewards Optimize Diffusion Generative Models はコメントを受け付けていません

A Deep Learning Framework for Sequence Mining with Bidirectional LSTM and Multi-Scale Attention

投稿日: 2025年4月22日 作成者: jarxiv

要約

このペーパーでは、複雑なシーケンスデータの潜在パターンとモデリングのコンテキスト依存関係のマイニングの課題について説明します。
シーケンスパターンマイニングアルゴリズムは、双方向の長期メモリ（BILSTM）をマルチスケールの注意メカニズムと統合することにより提案されます。
BILSTMは、シーケンスで前方と後方の依存関係の両方をキャプチャし、グローバルなコンテキスト構造を知覚するモデルの能力を高めます。
同時に、マルチスケールの注意モジュールは、さまざまなウィンドウサイズの下の主要な特徴領域に適応的な重みを割り当てます。
これにより、ローカルおよびグローバルな重要な情報に対するモデルの応答性が向上します。
広範な実験は、公開されている多変量時系列データセットで行われます。
提案されたモデルは、いくつかの主流シーケンスモデリング方法と比較されます。
結果は、精度、精度、リコールの観点から既存のモデルよりも優れていることを示しています。
これにより、複雑なパターン認識タスクにおける提案されたアーキテクチャの有効性と堅牢性が確認されます。
さらなるアブレーションの研究と感度分析は、モデルのパフォーマンスに対する注意スケールと入力シーケンスの長さの影響を調査するために実施されます。
これらの結果は、モデルの構造的最適化に対する経験的サポートを提供します。

要約(オリジナル)

This paper addresses the challenges of mining latent patterns and modeling contextual dependencies in complex sequence data. A sequence pattern mining algorithm is proposed by integrating Bidirectional Long Short-Term Memory (BiLSTM) with a multi-scale attention mechanism. The BiLSTM captures both forward and backward dependencies in sequences, enhancing the model’s ability to perceive global contextual structures. At the same time, the multi-scale attention module assigns adaptive weights to key feature regions under different window sizes. This improves the model’s responsiveness to both local and global important information. Extensive experiments are conducted on a publicly available multivariate time series dataset. The proposed model is compared with several mainstream sequence modeling methods. Results show that it outperforms existing models in terms of accuracy, precision, and recall. This confirms the effectiveness and robustness of the proposed architecture in complex pattern recognition tasks. Further ablation studies and sensitivity analyses are carried out to investigate the effects of attention scale and input sequence length on model performance. These results provide empirical support for structural optimization of the model.

arxiv情報

著者 Tao Yang,Yu Cheng,Yaokun Ren,Yujia Lou,Minggu Wei,Honghui Xin
発行日 2025-04-21 16:53:02+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | A Deep Learning Framework for Sequence Mining with Bidirectional LSTM and Multi-Scale Attention はコメントを受け付けていません

Conformalized-KANs: Uncertainty Quantification with Coverage Guarantees for Kolmogorov-Arnold Networks (KANs) in Scientific Machine Learning

投稿日: 2025年4月22日 作成者: jarxiv

要約

このペーパーでは、コルモゴロフ・アーノルドネットワーク（KANS）のコンテキストでの不確実性定量（UQ）メソッドについて説明します。
カンズにアンサンブルアプローチを適用して、UQのヒューリスティックな尺度を取得し、複雑な機能をモデリングすることで解釈可能性と堅牢性を向上させます。
これに基づいて、分布のないUQ技術であるコンフォーマル予測を統合するコンフォーマル化Kansを導入し、カバレッジを保証した校正された予測間隔を生成します。
これらの方法の有効性を評価するために広範な数値実験が行われ、特にさまざまなハイパーパラメーター設定の下での予測間隔の堅牢性と精度に焦点を当てています。
適切なKanの予測は、有限ベースのKans（FBKANS）およびMultifideilty Kans（MFKANS）を含むKansの最近の拡張に適用できることを示しています。
この結果は、科学機械学習におけるKANの信頼性と適用性を改善するためのアプローチの可能性を示しています。

要約(オリジナル)

This paper explores uncertainty quantification (UQ) methods in the context of Kolmogorov-Arnold Networks (KANs). We apply an ensemble approach to KANs to obtain a heuristic measure of UQ, enhancing interpretability and robustness in modeling complex functions. Building on this, we introduce Conformalized-KANs, which integrate conformal prediction, a distribution-free UQ technique, with KAN ensembles to generate calibrated prediction intervals with guaranteed coverage. Extensive numerical experiments are conducted to evaluate the effectiveness of these methods, focusing particularly on the robustness and accuracy of the prediction intervals under various hyperparameter settings. We show that the conformal KAN predictions can be applied to recent extensions of KANs, including Finite Basis KANs (FBKANs) and multifideilty KANs (MFKANs). The results demonstrate the potential of our approaches to improve the reliability and applicability of KANs in scientific machine learning.

arxiv情報

著者 Amirhossein Mollaali,Christian Bolivar Moya,Amanda A. Howard,Alexander Heinlein,Panos Stinis,Guang Lin
発行日 2025-04-21 17:14:05+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Conformalized-KANs: Uncertainty Quantification with Coverage Guarantees for Kolmogorov-Arnold Networks (KANs) in Scientific Machine Learning はコメントを受け付けていません

Single-loop Algorithms for Stochastic Non-convex Optimization with Weakly-Convex Constraints

投稿日: 2025年4月22日 作成者: jarxiv

要約

複数の機能的不平等制約による制約のある最適化には、機械学習に重要な用途があります。
このペーパーでは、目的関数と制約関数の両方が弱く凸状であるこのような問題の重要なサブセットを調べます。
既存の方法は、ゆっくりと収束率や二重ループアルゴリズム設計への依存など、制限に直面することがよくあります。
これらの課題を克服するために、新しいシングルループベースの確率的アルゴリズムを紹介します。
古典的な正確なペナルティ方法に従って、私たちのアプローチは{\ bfヒンジベースのペナルティ}を採用しています。これにより、一定のペナルティパラメーターの使用が可能になり、おおよそのKarush-Kuhn-Tucker（KKT）ソリューションを見つけるための{\ BF最先端の複雑さを実現できます。
さらに、アルゴリズムを拡張して、人工知能アプリケーションで一般的な有限サム結合組成目標に対処し、既存のアプローチに対する複雑さの改善を確立します。
最後に、受信機の動作特性（ROC）の公平性の制約と非忘れられない制約を伴う継続的な学習による公正な学習に関する実験を通じて、私たちの方法を検証します。

要約(オリジナル)

Constrained optimization with multiple functional inequality constraints has significant applications in machine learning. This paper examines a crucial subset of such problems where both the objective and constraint functions are weakly convex. Existing methods often face limitations, including slow convergence rates or reliance on double-loop algorithmic designs. To overcome these challenges, we introduce a novel single-loop penalty-based stochastic algorithm. Following the classical exact penalty method, our approach employs a {\bf hinge-based penalty}, which permits the use of a constant penalty parameter, enabling us to achieve a {\bf state-of-the-art complexity} for finding an approximate Karush-Kuhn-Tucker (KKT) solution. We further extend our algorithm to address finite-sum coupled compositional objectives, which are prevalent in artificial intelligence applications, establishing improved complexity over existing approaches. Finally, we validate our method through experiments on fair learning with receiver operating characteristic (ROC) fairness constraints and continual learning with non-forgetting constraints.

arxiv情報

著者 Ming Yang,Gang Li,Quanqi Hu,Qihang Lin,Tianbao Yang
発行日 2025-04-21 17:15:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Single-loop Algorithms for Stochastic Non-convex Optimization with Weakly-Convex Constraints はコメントを受け付けていません

Faster Algorithms for Agnostically Learning Disjunctions and their Implications

投稿日: 2025年4月22日 作成者: jarxiv

要約

分布のない不可知論PACモデルでブールの分離を学習するというアルゴリズムタスクを研究します。
$ \ {0、1 \}^n $を超える分離のクラスで最もよく知られている不可知論学習者は、$ l_1 $ -polynomial回帰アルゴリズムです。
この複雑さの結合は、相関統計クエリ（CSQ）アルゴリズムのクラス内で可能な限りほぼ最良であることが知られています。
この作業では、このコンセプトクラスの不可知論者の学習者を開発し、複雑さ$ 2^{\ tilde {o}（n^{1/3}）} $。
当社のアルゴリズムは、統計クエリ（SQ）モデルに実装でき、分布のない不可知論学習におけるSQモデルとCSQモデルの最初の分離を提供できます。

要約(オリジナル)

We study the algorithmic task of learning Boolean disjunctions in the distribution-free agnostic PAC model. The best known agnostic learner for the class of disjunctions over $\{0, 1\}^n$ is the $L_1$-polynomial regression algorithm, achieving complexity $2^{\tilde{O}(n^{1/2})}$. This complexity bound is known to be nearly best possible within the class of Correlational Statistical Query (CSQ) algorithms. In this work, we develop an agnostic learner for this concept class with complexity $2^{\tilde{O}(n^{1/3})}$. Our algorithm can be implemented in the Statistical Query (SQ) model, providing the first separation between the SQ and CSQ models in distribution-free agnostic learning.

arxiv情報

著者 Ilias Diakonikolas,Daniel M. Kane,Lisheng Ren
発行日 2025-04-21 17:16:14+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.DS, cs.LG, stat.ML | Faster Algorithms for Agnostically Learning Disjunctions and their Implications はコメントを受け付けていません

Explorable INR: An Implicit Neural Representation for Ensemble Simulation Enabling Efficient Spatial and Parameter Exploration

投稿日: 2025年4月22日 作成者: jarxiv

要約

宇宙論や海洋学などの科学的分野での高解像度のアンサンブルシミュレーションで利用できる計算能力が高まっているため、貯蔵、計算上の需要は重要な課題をもたらします。
現在の代理モデルは、各パラメーター設定にフィールド再構成全体が必要であるため、ポイントまたは領域ベースの予測の柔軟性が不足しているため、パラメータースペース探索の効率を妨げます。
物理属性分布のキャプチャと最適なパラメーター構成の特定には制限があります。
この作業では、探査を促進し、フルスケールのフィールドデータを計算せずにポイントベースの空間クエリを許可するように設計された、新しい暗黙の神経表現ベースの代理モデルであるExplorable INRを提案します。
さらに、空間探索の計算ボトルネックにさらに対処するために、統計的な要約を取得するために、探索可能なINRを通じて不確実性伝播の確率的アフィンフォーム（PAF）を利用し、既存のモデルで高価なさまざまなアンサンブル分析と視覚化タスクを促進します。
さらに、勾配降下とスケーラビリティを保証するKL発散の最小化を使用した最適化タスクとしてパラメーター探査問題を再定式化します。
空間的およびパラメーター探索のための提案されたアプローチを備えた探索可能なINRは、効果的なアンサンブル分析を提供しながら、計算コストとメモリコストを大幅に削減できることを実証します。

要約(オリジナル)

With the growing computational power available for high-resolution ensemble simulations in scientific fields such as cosmology and oceanology, storage and computational demands present significant challenges. Current surrogate models fall short in the flexibility of point- or region-based predictions as the entire field reconstruction is required for each parameter setting, hence hindering the efficiency of parameter space exploration. Limitations exist in capturing physical attribute distributions and pinpointing optimal parameter configurations. In this work, we propose Explorable INR, a novel implicit neural representation-based surrogate model, designed to facilitate exploration and allow point-based spatial queries without computing full-scale field data. In addition, to further address computational bottlenecks of spatial exploration, we utilize probabilistic affine forms (PAFs) for uncertainty propagation through Explorable INR to obtain statistical summaries, facilitating various ensemble analysis and visualization tasks that are expensive with existing models. Furthermore, we reformulate the parameter exploration problem as optimization tasks using gradient descent and KL divergence minimization that ensures scalability. We demonstrate that the Explorable INR with the proposed approach for spatial and parameter exploration can significantly reduce computation and memory costs while providing effective ensemble analysis.

arxiv情報

著者 Yi-Tang Chen,Haoyu Li,Neng Shi,Xihaier Luo,Wei Xu,Han-Wei Shen
発行日 2025-04-21 17:27:05+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.GR, cs.LG | Explorable INR: An Implicit Neural Representation for Ensemble Simulation Enabling Efficient Spatial and Parameter Exploration はコメントを受け付けていません