Sharp Generalization of Transductive Learning: A Transductive Local Rademacher Complexity Approach

要約

私たちは、トランスダクティブ学習法の汎化パフォーマンスを分析し、この分野での新しいアルゴリズムの開発を促すために設計された新しいツール、トランスダクティブ ローカル コンプレックス (TLC) を紹介します。
私たちの研究は、一般的な Local Rademacher Complexity (LRC) の概念を変換設定に拡張し、帰納設定における LRC 法の典型的な分析と比較して大幅で新しい修正を組み込んでいます。
LRC は帰納的モデルを分析するための強力なツールとして広く使用されており、分類の明確な一般化限界とノンパラメトリック回帰のミニマックス率を提供しますが、ローカライズされた Rademacher 複雑度ベースのツールをトランスダクティブ学習用に開発できるかどうかは未解決の問題のままです。
私たちの目標は、LRC によって確立された帰納的過剰リスク限界と一致する、トランスダクティブ学習の明確な限界を達成することです。
私たちは、TLC の導入により、この未解決の問題に対する決定的な答えを提供します。
最初に、テストトレインの経験的プロセスの最高値に対する新規で鋭い濃度不等式を確立することによって、TLC を構築します。
ピーリング戦略と新しい代理分散演算子を使用して、帰納的設定における古典的な LRC ベースの超過リスク制限と一致する、変換的設定における新しい超過リスク制限を導出します。
TLC の応用として、この新しいツールを使用してトランスダクティブ カーネル学習 (TKL) モデルを分析し、同じ仮定の下で現在の最先端技術によって提供されるものよりも鋭い超過リスク限界を導き出します。
さらに、テストトレインプロセスの濃度不等式を使用して、置換なしの均一サンプリングの設定における確率変数を含む経験的プロセスの一般最高値の鋭い濃度不等式を導き出します。
導出した境界の鮮明さを、同じ条件下での既存の濃度不平等と比較します。

要約(オリジナル)

We introduce a new tool, Transductive Local Complexity (TLC), designed to analyze the generalization performance of transductive learning methods and inspire the development of new algorithms in this domain. Our work extends the concept of the popular Local Rademacher Complexity (LRC) to the transductive setting, incorporating significant and novel modifications compared to the typical analysis of LRC methods in the inductive setting. While LRC has been widely used as a powerful tool for analyzing inductive models, providing sharp generalization bounds for classification and minimax rates for nonparametric regression, it remains an open question whether a localized Rademacher complexity-based tool can be developed for transductive learning. Our goal is to achieve sharp bounds for transductive learning that align with the inductive excess risk bounds established by LRC. We provide a definitive answer to this open problem with the introduction of TLC. We construct TLC by first establishing a novel and sharp concentration inequality for the supremum of a test-train empirical processes. Using a peeling strategy and a new surrogate variance operator, we derive the a novel excess risk bound in the transductive setting which is consistent with the classical LRC-based excess risk bound in the inductive setting. As an application of TLC, we employ this new tool to analyze the Transductive Kernel Learning (TKL) model, deriving sharper excess risk bounds than those provided by the current state-of-the-art under the same assumptions. Additionally, the concentration inequality for the test-train process is employed to derive a sharp concentration inequality for the general supremum of empirical processes involving random variables in the setting of uniform sampling without replacement. The sharpness of our derived bound is compared to existing concentration inequalities under the same conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google