Provable Hyperparameter Tuning for Structured Pfaffian Settings

要約

データ駆動型のアルゴリズム設計により、アルゴリズムが特定のアプリケーション ドメインに自動的に適応され、パフォーマンスが向上します。
パラメーター化されたアルゴリズムのコンテキストでは、このアプローチには、ターゲット アプリケーション ドメインの問題分布から抽出された問題インスタンスを使用してアルゴリズム パラメーターを調整することが含まれます。
経験的証拠はデータ駆動型アルゴリズム設計の有効性を裏付けていますが、いくつかのパラメーター化されたファミリーに対して理論的な保証を提供することは依然として困難です。
これは、対応する効用関数の複雑な動作によるもので、通常、区分的構造や不連続構造が許容されます。
この研究では、分散学習設定とオンライン学習設定の両方で、パラメーター化されたデータ駆動型アルゴリズムの設計問題に対する学習保証を提供するための洗練されたフレームワークを紹介します。
分散学習設定では、古典的な GJ フレームワークの拡張であるパフィアン GJ フレームワークを導入します。これは、計算にパフィアン関数が含まれる関数クラスの学習保証を提供できます。
有理関数によって特徴付けられる計算を行う関数クラスに限定される GJ フレームワークとは異なり、私たちが提案するフレームワークは、より一般的で広く適用可能なパファ関数を含む関数クラスを扱うことができます。
次に、対象となる多くのパラメータ化されたアルゴリズムについて、その効用関数が洗練された区分構造を持ち、それが提案したフレームワークを使用して学習保証に自動的に変換されることを示します。
オンライン学習設定のために、損失関数列の分散特性を検証するための新しいツールを提供します。
この十分条件により、区分的構造にパフィアン遷移境界が含まれる区分的構造化損失関数のシーケンスに対する後悔のない学習が可能になります。

要約(オリジナル)

Data-driven algorithm design automatically adapts algorithms to specific application domains, achieving better performance. In the context of parameterized algorithms, this approach involves tuning the algorithm parameters using problem instances drawn from the problem distribution of the target application domain. While empirical evidence supports the effectiveness of data-driven algorithm design, providing theoretical guarantees for several parameterized families remains challenging. This is due to the intricate behaviors of their corresponding utility functions, which typically admit piece-wise and discontinuity structures. In this work, we present refined frameworks for providing learning guarantees for parameterized data-driven algorithm design problems in both distributional and online learning settings. For the distributional learning setting, we introduce the Pfaffian GJ framework, an extension of the classical GJ framework, capable of providing learning guarantees for function classes for which the computation involves Pfaffian functions. Unlike the GJ framework, which is limited to function classes with computation characterized by rational functions, our proposed framework can deal with function classes involving Pfaffian functions, which are much more general and widely applicable. We then show that for many parameterized algorithms of interest, their utility function possesses a refined piece-wise structure, which automatically translates to learning guarantees using our proposed framework. For the online learning setting, we provide a new tool for verifying dispersion property of a sequence of loss functions. This sufficient condition allows no-regret learning for sequences of piece-wise structured loss functions where the piece-wise structure involves Pfaffian transition boundaries.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google