Symbolic Recovery of Differential Equations: The Identifiability Problem

投稿日: 2024年10月10日 作成者: jarxiv

要約

微分方程式の記号的回復は、機械学習技術を使用して支配方程式の導出を自動化する野心的な試みです。
方程式の構造が既知であると仮定し、特定のパラメーターの推定に焦点を当てる古典的な方法とは対照的に、これらのアルゴリズムは構造とパラメーターを同時に学習することを目的としています。
支配方程式のパラメータの一意性、したがってその識別可能性は、パラメータ推定の分野ではよく扱われている問題ですが、記号回復については調査されていません。
ただし、アルゴリズムは支配方程式のより大きな空間をカバーすることを目的としているため、この問題はこの分野ではさらに存在するはずです。
この論文では、微分方程式の解が方程式そのものを一意に決定しないのはどのような条件下であるかを調査します。
さまざまなクラスの微分方程式に対して、関数が対応する微分方程式を一意に決定するための必要条件と十分条件の両方を提供します。
次に、その結​​果を使用して、関数が微分方程式を一意に解くかどうかを判断することを目的とした数値アルゴリズムを考案します。
最後に、解析的な関数形式に関する知識を前提とせずに、私たちのアルゴリズムが実際に学習した支配微分方程式の一意性を保証できることを示す広範な数値実験を提供し、それによって学習した方程式の信頼性を保証します。

要約(オリジナル)

Symbolic recovery of differential equations is the ambitious attempt at automating the derivation of governing equations with the use of machine learning techniques. In contrast to classical methods which assume the structure of the equation to be known and focus on the estimation of specific parameters, these algorithms aim to learn the structure and the parameters simultaneously. While the uniqueness and, therefore, the identifiability of parameters of governing equations are a well-addressed problem in the field of parameter estimation, it has not been investigated for symbolic recovery. However, this problem should be even more present in this field since the algorithms aim to cover larger spaces of governing equations. In this paper, we investigate under which conditions a solution of a differential equation does not uniquely determine the equation itself. For various classes of differential equations, we provide both necessary and sufficient conditions for a function to uniquely determine the corresponding differential equation. We then use our results to devise numerical algorithms aiming to determine whether a function solves a differential equation uniquely. Finally, we provide extensive numerical experiments showing that our algorithms can indeed guarantee the uniqueness of the learned governing differential equation, without assuming any knowledge about the analytic form of function, thereby ensuring the reliability of the learned equation.

arxiv情報

著者 Philipp Scholl,Aras Bacho,Holger Boche,Gitta Kutyniok
発行日 2024-10-09 15:27:08+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math-ph, math.MP | コメントする

Efficient Distribution Matching of Representations via Noise-Injected Deep InfoMax

投稿日: 2024年10月10日 作成者: jarxiv

要約

Deep InfoMax (DIM) は、ディープ ニューラル ネットワーク エンコーダーの入力と出力間の相互情報の最大化に基づく自己教師あり表現学習 (SSRL) の確立された手法です。
DIM と対照的 SSRL は一般に十分に研究されているにもかかわらず、特定の分布に準拠する表現を学習するタスク (つまり、分布マッチング、DM) についてはまだ十分に取り組まれていません。
いくつかの下流タスク (生成モデリング、もつれ解除、外れ値検出など) に対する DM の重要性を動機として、学習した表現と選択した事前分布の自動マッチングを可能にするために DIM を強化しました。
これを達成するために、同じ InfoMax トレーニング目標を維持しながら、エンコーダの正規化された出力に独立したノイズを注入することを提案します。
このような修正により、一様正規分布表現だけでなく、他の絶対連続分布表現も学習できることを示します。
私たちのアプローチは、さまざまな下流タスクでテストされています。
この結果は、下流タスクのパフォーマンスと DM の品質との間に適度なトレードオフがあることを示しています。

要約(オリジナル)

Deep InfoMax (DIM) is a well-established method for self-supervised representation learning (SSRL) based on maximization of the mutual information between the input and the output of a deep neural network encoder. Despite the DIM and contrastive SSRL in general being well-explored, the task of learning representations conforming to a specific distribution (i.e., distribution matching, DM) is still under-addressed. Motivated by the importance of DM to several downstream tasks (including generative modeling, disentanglement, outliers detection and other), we enhance DIM to enable automatic matching of learned representations to a selected prior distribution. To achieve this, we propose injecting an independent noise into the normalized outputs of the encoder, while keeping the same InfoMax training objective. We show that such modification allows for learning uniformly and normally distributed representations, as well as representations of other absolutely continuous distributions. Our approach is tested on various downstream tasks. The results indicate a moderate trade-off between the performance on the downstream tasks and quality of DM.

arxiv情報

著者 Ivan Butakov,Alexander Sememenko,Alexander Tolmachev,Andrey Gladkov,Marina Munkhoeva,Alexey Frolov
発行日 2024-10-09 15:40:04+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: (Primary), 94A17, cs.IT, cs.LG, H.1.1, math.IT, stat.ML | コメントする

Through the Looking Glass: Mirror Schrödinger Bridges

投稿日: 2024年10月10日 作成者: jarxiv

要約

密度が不明なターゲット メジャーからのリサンプリングは、数学的統計と機械学習における基本的な問題です。
機械学習の文献で主流となっている設定は、ガウス分布などの簡単にサンプリングできる事前分布からターゲット測度までのマップを学習することで構成されています。
このモデルでは、以前のサンプルが押し出されて、ターゲットの小節に新しいサンプルが生成されますが、直接サンプリングするのは難しいことがよくあります。
この論文では、ミラー シュレディンガー ブリッジと呼ばれる条件付きリサンプリングの新しいモデルを提案します。
私たちの重要な観察は、分布とそれ自体の間のシュレディンガー ブリッジ問題を解決すると、条件付き分布から新しいサンプルを生成し、入力データ ポイントの分布内変動を与える自然な方法が提供されるということです。
このほとんど見落とされてきたバージョンの Schr\’odinger ブリッジ問題を効率的に解決する方法を示します。
私たちの提案した方法は、分布内の変動を制御することに加えて、既存の代替方法に比べて大幅なアルゴリズムの簡素化につながることを証明します。
私たちは、これらの利点を活用して、多くのアプリケーション領域で近似サンプルを生成する方法を実証します。

要約(オリジナル)

Resampling from a target measure whose density is unknown is a fundamental problem in mathematical statistics and machine learning. A setting that dominates the machine learning literature consists of learning a map from an easy-to-sample prior, such as the Gaussian distribution, to a target measure. Under this model, samples from the prior are pushed forward to generate a new sample on the target measure, which is often difficult to sample from directly. In this paper, we propose a new model for conditional resampling called mirror Schr\’odinger bridges. Our key observation is that solving the Schr\’odinger bridge problem between a distribution and itself provides a natural way to produce new samples from conditional distributions, giving in-distribution variations of an input data point. We show how to efficiently solve this largely overlooked version of the Schr\’odinger bridge problem. We prove that our proposed method leads to significant algorithmic simplifications over existing alternatives, in addition to providing control over in-distribution variation. Empirically, we demonstrate how these benefits can be leveraged to produce proximal samples in a number of application domains.

arxiv情報

著者 Leticia Mattos Da Silva,Silvia Sellán,Justin Solomon
発行日 2024-10-09 15:48:56+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | コメントする

Causal Representation Learning in Temporal Data via Single-Parent Decoding

投稿日: 2024年10月10日 作成者: jarxiv

要約

科学研究では、システム内の高レベルの変数の根底にある因果構造を理解しようとすることがよくあります。
たとえば、気候科学者は、エルニーノなどの現象が、世界中の遠隔地で他の気候プロセスにどのような影響を与えるかを研究しています。
ただし、科学者は通常、地理的に分散した温度測定値などの低レベルの測定値を収集します。
これらから、エルニーノ現象やその他のプロセスの高レベル表現など、因果関係のある潜在変数へのマッピングと、それらの因果モデルの両方を学ぶ必要があります。
課題は、因果表現学習と呼ばれるこのタスクが観察データだけではかなり過小決定されており、不確定性を解決するには学習中に他の制約が必要であることです。
この研究では、スパース性を仮定した時間モデル、つまり単一親デコードを検討します。観測された各低レベル変数は、単一の潜在変数によってのみ影響を受けます。
このような仮定は、気候研究における地理的にグリッド化された測定データから領域を抽出したり、神経活動データから脳領域をキャプチャしたりするなど、低レベル変数のグループを見つける必要がある多くの科学的アプリケーションにおいて合理的です。
我々は、結果として得られるモデルの識別可能性を実証し、基礎となる潜在とそれらの因果グラフを同時に学習する微分可能な手法である単一親デコーディングによる因果発見 (CDSD) を提案します。
私たちは、シミュレートされたデータを使用して理論的結果の妥当性を評価し、気候科学分野の実世界データへの適用における私たちの方法の実際的な妥当性を示します。

要約(オリジナル)

Scientific research often seeks to understand the causal structure underlying high-level variables in a system. For example, climate scientists study how phenomena, such as El Ni\~no, affect other climate processes at remote locations across the globe. However, scientists typically collect low-level measurements, such as geographically distributed temperature readings. From these, one needs to learn both a mapping to causally-relevant latent variables, such as a high-level representation of the El Ni\~no phenomenon and other processes, as well as the causal model over them. The challenge is that this task, called causal representation learning, is highly underdetermined from observational data alone, requiring other constraints during learning to resolve the indeterminacies. In this work, we consider a temporal model with a sparsity assumption, namely single-parent decoding: each observed low-level variable is only affected by a single latent variable. Such an assumption is reasonable in many scientific applications that require finding groups of low-level variables, such as extracting regions from geographically gridded measurement data in climate research or capturing brain regions from neural activity data. We demonstrate the identifiability of the resulting model and propose a differentiable method, Causal Discovery with Single-parent Decoding (CDSD), that simultaneously learns the underlying latents and a causal graph over them. We assess the validity of our theoretical results using simulated data and showcase the practical validity of our method in an application to real-world data from the climate science field.

arxiv情報

著者 Philippe Brouillard,Sébastien Lachapelle,Julia Kaltenborn,Yaniv Gurwicz,Dhanya Sridhar,Alexandre Drouin,Peer Nowack,Jakob Runge,David Rolnick
発行日 2024-10-09 15:57:50+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | コメントする

Optimizing Estimators of Squared Calibration Errors in Classification

投稿日: 2024年10月10日 作成者: jarxiv

要約

この研究では、実際の設定で二乗校正誤差の推定量の比較と最適化を可能にする、平均二乗誤差ベースのリスクを提案します。
分類器の調整を改善することは、特に機密性の高い意思決定シナリオにおいて、機械学習モデルの信頼性と解釈可能性を高めるために重要です。
現在の文献にはさまざまなキャリブレーション (誤差) 推定量が存在しますが、適切な推定量の選択とそのハイパーパラメータの調整に関するガイダンスが不足しています。
二乗校正誤差の双一次構造を利用することで、独立した同一分布 (i.i.d.) の入力ペアを使用した回帰問題として校正推定を再定式化します。
この再定式化により、標準キャリブレーションとして知られる最も困難なキャリブレーション基準であっても、さまざまな推定器のパフォーマンスを定量化することができます。
私たちのアプローチでは、評価データセットのキャリブレーション エラーを推定する際に、トレーニング、検証、テストのパイプラインを推奨します。
既存のキャリブレーション推定量を最適化し、標準的な画像分類タスクに関する新しいカーネル リッジ回帰ベースの推定量と比較することで、パイプラインの有効性を実証します。

要約(オリジナル)

In this work, we propose a mean-squared error-based risk that enables the comparison and optimization of estimators of squared calibration errors in practical settings. Improving the calibration of classifiers is crucial for enhancing the trustworthiness and interpretability of machine learning models, especially in sensitive decision-making scenarios. Although various calibration (error) estimators exist in the current literature, there is a lack of guidance on selecting the appropriate estimator and tuning its hyperparameters. By leveraging the bilinear structure of squared calibration errors, we reformulate calibration estimation as a regression problem with independent and identically distributed (i.i.d.) input pairs. This reformulation allows us to quantify the performance of different estimators even for the most challenging calibration criterion, known as canonical calibration. Our approach advocates for a training-validation-testing pipeline when estimating a calibration error on an evaluation dataset. We demonstrate the effectiveness of our pipeline by optimizing existing calibration estimators and comparing them with novel kernel ridge regression-based estimators on standard image classification tasks.

arxiv情報

著者 Sebastian G. Gruber,Francis Bach
発行日 2024-10-09 15:58:06+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | コメントする

The Vital Role of Gradient Clipping in Byzantine-Resilient Distributed Learning

投稿日: 2024年10月10日 作成者: jarxiv

要約

ビザンチン復元力のある分散機械学習は、不正行為や敵対的なワーカーの存在下でも堅牢な学習パフォーマンスを達成することを目指しています。
最先端 (SOTA) のロバスト分散勾配降下法 (Robust-DGD) 法は理論的には最適であることが証明されていますが、その経験的な成功は、多くの場合、事前集約勾配クリッピングに依存しています。
ただし、現在検討されている静的クリッピング戦略は、さまざまな結果を示します。つまり、一部の攻撃に対する堅牢性は向上しますが、他の攻撃に対しては効果がないか有害です。
私たちは、Adaptive Robust Clipping (ARC) と呼ばれる、原則に基づいた適応クリッピング戦略を提案することで、このギャップに対処します。
我々は、ARC が理論的な堅牢性の保証を維持しながら、SOTA Robust-DGD 手法の経験的な堅牢性を一貫して強化することを示します。
私たちの分析は、モデルが適切に初期化されている場合、ARC が Robust-DGD の漸近収束保証を明らかに改善することを示しています。
私たちは、画像分類タスクのベンチマークに関する一連の徹底的な実験を通じて、この理論的な洞察を検証します。
ARC によって引き起こされる改善は、非常に異質な環境や敵対的な環境でより顕著であることが観察されています。

要約(オリジナル)

Byzantine-resilient distributed machine learning seeks to achieve robust learning performance in the presence of misbehaving or adversarial workers. While state-of-the-art (SOTA) robust distributed gradient descent (Robust-DGD) methods were proven theoretically optimal, their empirical success has often relied on pre-aggregation gradient clipping. However, the currently considered static clipping strategy exhibits mixed results: improving robustness against some attacks while being ineffective or detrimental against others. We address this gap by proposing a principled adaptive clipping strategy, termed Adaptive Robust Clipping (ARC). We show that ARC consistently enhances the empirical robustness of SOTA Robust-DGD methods, while preserving the theoretical robustness guarantees. Our analysis shows that ARC provably improves the asymptotic convergence guarantee of Robust-DGD in the case when the model is well-initialized. We validate this theoretical insight through an exhaustive set of experiments on benchmark image classification tasks. We observe that the improvement induced by ARC is more pronounced in highly heterogeneous and adversarial settings.

arxiv情報

著者 Youssef Allouah,Rachid Guerraoui,Nirupam Gupta,Ahmed Jellouli,Geovani Rizk,John Stephan
発行日 2024-10-09 16:04:01+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | コメントする

Do Contemporary CATE Models Capture Real-World Heterogeneity? Findings from a Large-Scale Benchmark

投稿日: 2024年10月10日 作成者: jarxiv

要約

条件付き平均治療効果 (CATE) 推定アルゴリズムを評価した大規模なベンチマーク研究からの予期せぬ発見を紹介します。
43,200 のデータセットにわたって 16 の最新の CATE モデルを実行したところ、次のことがわかりました。(a) CATE 推定値の 62\% は、単純なゼロ効果予測子よりも平均二乗誤差 (MSE) が高く、効果がありません。
(b) 少なくとも 1 つの有用な CATE 推定値を含むデータセットでは、80% が定数効果モデルよりも高い MSE を示しています。
(c) 直交性ベースのモデルは、そのパフォーマンスについて楽観的な見方が広まっているにもかかわらず、他のモデルを上回るパフォーマンスを示す確率はわずか 30% です。
これらの発見は、現在の CATE モデルの重大な限界を明らかにし、さらなる研究の十分な機会を示唆しています。
私たちの発見は、\textit{観察サンプリング} の新しいアプリケーションから生まれました。このアプリケーションは、もともと実験データを使用した観察方法からの平均治療効果 (ATE) 推定値を評価するために開発されました。
CATE 評価に観測サンプリングを適応させるために、MSE から定数を引いたものに等しい統計パラメーター $Q$ を導入し、MSE によるモデルのランキングを保存します。
次に、実世界のデータから計算できる、総称して $\hat{Q}$ と呼ばれる標本統計量のファミリーを導出します。
$\hat{Q}$ が穏やかな技術条件下で $Q$ の一貫した推定量であることを証明します。
観測サンプリングで使用される場合、$\hat{Q}$ は不偏であり、最小の MSE を持つモデルを漸近的に選択します。
ベンチマークが現実世界の不均質性を反映していることを確認するために、シミュレーションではなくフィールドから結果が得られるデータセットを厳選しています。
新しい観測サンプリング手法、新しい統計、現実世界のデータセットを組み合わせることで、このベンチマークは CATE 推定器のパフォーマンスに関する独自の視点を提供し、現実世界の不均一性を捉える際のギャップを明らかにします。

要約(オリジナル)

We present unexpected findings from a large-scale benchmark study evaluating Conditional Average Treatment Effect (CATE) estimation algorithms. By running 16 modern CATE models across 43,200 datasets, we find that: (a) 62\% of CATE estimates have a higher Mean Squared Error (MSE) than a trivial zero-effect predictor, rendering them ineffective; (b) in datasets with at least one useful CATE estimate, 80\% still have higher MSE than a constant-effect model; and (c) Orthogonality-based models outperform other models only 30\% of the time, despite widespread optimism about their performance. These findings expose significant limitations in current CATE models and suggest ample opportunities for further research. Our findings stem from a novel application of \textit{observational sampling}, originally developed to evaluate Average Treatment Effect (ATE) estimates from observational methods with experiment data. To adapt observational sampling for CATE evaluation, we introduce a statistical parameter, $Q$, equal to MSE minus a constant and preserves the ranking of models by their MSE. We then derive a family of sample statistics, collectively called $\hat{Q}$, that can be computed from real-world data. We prove that $\hat{Q}$ is a consistent estimator of $Q$ under mild technical conditions. When used in observational sampling, $\hat{Q}$ is unbiased and asymptotically selects the model with the smallest MSE. To ensure the benchmark reflects real-world heterogeneity, we handpick datasets where outcomes come from field rather than simulation. By combining the new observational sampling method, new statistics, and real-world datasets, the benchmark provides a unique perspective on CATE estimator performance and uncover gaps in capturing real-world heterogeneity.

arxiv情報

著者 Haining Yu,Yizhou Sun
発行日 2024-10-09 16:04:40+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | コメントする

Distributionally Robust Clustered Federated Learning: A Case Study in Healthcare

投稿日: 2024年10月10日 作成者: jarxiv

要約

このペーパーでは、クロスサイロ フェデレーテッド ラーニング (CS-RCFL) と名付けた新しいアルゴリズムを導入することで、クロスサイロ フェデレーション ラーニングにおける異種データ分散の課題に対処します。
私たちのアプローチは、ワッサーシュタイン距離を利用して、各クライアントの経験的分布を中心とした曖昧性セットを構築し、ローカル データ内で起こり得る分布シフトを捕捉し、最悪の場合のモデル パフォーマンスの評価を可能にします。
次に、統計的に不均一なクライアント データセットによって引き起こされるローカル モデルのバイアスを回避するために、クライアントを連合に分散する最適な分布的に堅牢なクラスタリングを決定するモデルに依存しない整数分数プログラムを提案し、線形回帰モデルとロジスティック回帰モデルの方法を分析します。
最後に、クライアント配信のプライバシーを確​​保するフェデレーテッド ラーニング プロトコルについて説明します。これは、クライアントが医療機関である場合などに重要な考慮事項です。
私たちは合成および現実世界の医療データに基づいてアルゴリズムを評価します。

要約(オリジナル)

In this paper, we address the challenge of heterogeneous data distributions in cross-silo federated learning by introducing a novel algorithm, which we term Cross-silo Robust Clustered Federated Learning (CS-RCFL). Our approach leverages the Wasserstein distance to construct ambiguity sets around each client’s empirical distribution that capture possible distribution shifts in the local data, enabling evaluation of worst-case model performance. We then propose a model-agnostic integer fractional program to determine the optimal distributionally robust clustering of clients into coalitions so that possible biases in the local models caused by statistically heterogeneous client datasets are avoided, and analyze our method for linear and logistic regression models. Finally, we discuss a federated learning protocol that ensures the privacy of client distributions, a critical consideration, for instance, when clients are healthcare institutions. We evaluate our algorithm on synthetic and real-world healthcare data.

arxiv情報

著者 Xenia Konti,Hans Riess,Manos Giannopoulos,Yi Shen,Michael J. Pencina,Nicoleta J. Economou-Zavlanos,Michael M. Zavlanos
発行日 2024-10-09 16:25:01+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | コメントする

A Poincaré Inequality and Consistency Results for Signal Sampling on Large Graphs

投稿日: 2024年10月10日 作成者: jarxiv

要約

学習モデルの複雑さはグラフのサイズに応じて増加するため、大規模なグラフ機械学習は困難です。
グラフのサブサンプリングは実行可能な代替手段ですが、グラフは非ユークリッドであるため、グラフのサンプリングは自明ではありません。
既存のグラフ サンプリング手法では、大きな行列のスペクトルを計算するだけでなく、グラフが変化するとき、たとえば成長するときにこれらの計算を繰り返すことも必要です。
この論文では、グラフ リミットの一種であるグラフオンに対する信号サンプリング理論を紹介します。
グラフオン信号のポアンカレ不等式を証明し、この不等式を満たすノード サブセットの補集合がグラフオン信号のペイリー ウィナー空間の一意のサンプリング セットであることを示します。
スペクトル クラスタリングとガウス消去法との関係を利用して、収束グラフ シーケンス上の固有のサンプリング セットがグラフオン上の固有のサンプリング セットに収束するという意味で、そのようなサンプリング セットが一貫していることを証明します。
次に、大規模なグラフに関連するグラフオン信号サンプリング アルゴリズムを提案し、グラフ機械学習タスクでの優れた経験的パフォーマンスを実証します。

要約(オリジナル)

Large-scale graph machine learning is challenging as the complexity of learning models scales with the graph size. Subsampling the graph is a viable alternative, but sampling on graphs is nontrivial as graphs are non-Euclidean. Existing graph sampling techniques require not only computing the spectra of large matrices but also repeating these computations when the graph changes, e.g., grows. In this paper, we introduce a signal sampling theory for a type of graph limit — the graphon. We prove a Poincar\’e inequality for graphon signals and show that complements of node subsets satisfying this inequality are unique sampling sets for Paley-Wiener spaces of graphon signals. Exploiting connections with spectral clustering and Gaussian elimination, we prove that such sampling sets are consistent in the sense that unique sampling sets on a convergent graph sequence converge to unique sampling sets on the graphon. We then propose a related graphon signal sampling algorithm for large graphs, and demonstrate its good empirical performance on graph machine learning tasks.

arxiv情報

著者 Thien Le,Luana Ruiz,Stefanie Jegelka
発行日 2024-10-09 16:28:15+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | コメントする

Online Epsilon Net and Piercing Set for Geometric Concepts

投稿日: 2024年10月10日 作成者: jarxiv

要約

VC 次元と $\varepsilon$-nets は、統計的学習理論の重要な概念です。
直観的には、VC 次元はセットのクラスのサイズの尺度です。
離散幾何学の基本的な結果である有名な $\varepsilon$-net 定理は、集合系の VC 次元が有界である場合、十分に大きな集合すべてと交差する小さなサンプルが存在すると主張します。
データが順次到着するオンライン学習シナリオでは、VC 次元は集合システムの複雑さを制限するのに役立ち、$\varepsilon$-nets は小さな代表的な集合の選択を保証します。
このサンプリング フレームワークは、空間データ分析、動的環境での動作計画、センサー ネットワークの最適化、コンピューター ビジョンでの特徴抽出など、さまざまな分野で重要です。
これらの応用を動機として、私たちは有界 VC 次元を持つ幾何学的概念に対するオンライン $\varepsilon$-net 問題を研究します。
この問題のオフライン バージョンについては広く研究されていますが、驚くべきことに、オンライン バージョンに関する理論的な結果は現在まで知られていません。
$\mathbb{R}$ の区間に最適な競争率を備えた最初の決定論的オンライン アルゴリズムを提示します。
次に、$\mathbb{R}^d$、$d\le 3$ の軸に整列したボックスに対して最適に近い競合比を持つランダム化オンライン アルゴリズムを与えます。
さらに、$\mathbb{R}^d$ で一定の​​記述複雑さを持つ同様のサイズのオブジェクトを分析するための新しい手法を紹介します。これは独立した興味深いものになる可能性があります。
次に、この問題の連続バージョンに焦点を当てます。この問題では、集合系の範囲はオンライン形式で到達する $\mathbb{R}^d$ の幾何学的概念ですが、宇宙は空間全体であり、目的は
すべての範囲と交差する小さなサンプルを選択します。

要約(オリジナル)

VC-dimension and $\varepsilon$-nets are key concepts in Statistical Learning Theory. Intuitively, VC-dimension is a measure of the size of a class of sets. The famous $\varepsilon$-net theorem, a fundamental result in Discrete Geometry, asserts that if the VC-dimension of a set system is bounded, then a small sample exists that intersects all sufficiently large sets. In online learning scenarios where data arrives sequentially, the VC-dimension helps to bound the complexity of the set system, and $\varepsilon$-nets ensure the selection of a small representative set. This sampling framework is crucial in various domains, including spatial data analysis, motion planning in dynamic environments, optimization of sensor networks, and feature extraction in computer vision, among others. Motivated by these applications, we study the online $\varepsilon$-net problem for geometric concepts with bounded VC-dimension. While the offline version of this problem has been extensively studied, surprisingly, there are no known theoretical results for the online version to date. We present the first deterministic online algorithm with an optimal competitive ratio for intervals in $\mathbb{R}$. Next, we give a randomized online algorithm with a near-optimal competitive ratio for axis-aligned boxes in $\mathbb{R}^d$, for $d\le 3$. Furthermore, we introduce a novel technique to analyze similar-sized objects of constant description complexity in $\mathbb{R}^d$, which may be of independent interest. Next, we focus on the continuous version of this problem, where ranges of the set system are geometric concepts in $\mathbb{R}^d$ arriving in an online manner, but the universe is the entire space, and the objective is to choose a small sample that intersects all the ranges.

arxiv情報

著者 Sujoy Bhore,Devdan Dey,Satyam Singh
発行日 2024-10-09 16:58:36+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CG, cs.LG | コメントする