Semi-Supervised Deep Sobolev Regression: Estimation, Variable Selection and Beyond

要約

我々は、基礎となる回帰関数とその勾配のノンパラメトリック推定のために、半教師あり深層ソボレフ回帰器である SDORE を提案します。
SDORE はディープ ニューラル ネットワークを採用して、勾配ノルムの正則化による経験的リスクを最小限に抑え、ラベルのないデータに対する勾配ノルムの計算を可能にします。
SDORE の収束率の包括的な分析を実行し、回帰関数の最小最適率を確立します。
重要なことは、大幅なドメインシフトが存在する場合でも、関連するプラグイン勾配推定器の収束率も導き出すことです。
これらの理論的発見は、正則化パラメーターの選択とニューラル ネットワークのサイズの決定に関する貴重な事前ガイダンスを提供するとともに、半教師あり学習でラベルなしデータを活用することの証明可能な利点を示しています。
私たちの知る限り、SDORE は回帰関数とその勾配を同時に推定する初めての証明可能なニューラル ネットワーク ベースのアプローチであり、ノンパラメトリック変数の選択や逆問題などのさまざまな用途に使用できます。
SDORE の有効性は、広範な数値シミュレーションと実際のデータ分析を通じて検証されています。

要約(オリジナル)

We propose SDORE, a semi-supervised deep Sobolev regressor, for the nonparametric estimation of the underlying regression function and its gradient. SDORE employs deep neural networks to minimize empirical risk with gradient norm regularization, allowing computation of the gradient norm on unlabeled data. We conduct a comprehensive analysis of the convergence rates of SDORE and establish a minimax optimal rate for the regression function. Crucially, we also derive a convergence rate for the associated plug-in gradient estimator, even in the presence of significant domain shift. These theoretical findings offer valuable prior guidance for selecting regularization parameters and determining the size of the neural network, while showcasing the provable advantage of leveraging unlabeled data in semi-supervised learning. To the best of our knowledge, SDORE is the first provable neural network-based approach that simultaneously estimates the regression function and its gradient, with diverse applications including nonparametric variable selection and inverse problems. The effectiveness of SDORE is validated through an extensive range of numerical simulations and real data analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google