Ramsey Theorems for Trees and a General ‘Private Learning Implies Online Learning’ Theorem

要約

この研究では、差分プライベート (DP) とオンライン学習の間の関係を引き続き調査しています。
Alon、Livni、Malliaris、および Moran (2019) は、バイナリ概念クラスの場合、特定のクラスの DP 学習可能性は、そのクラスが有限のリトルストーン次元を持つ (つまり、オンラインで学習可能である) ことを意味することを示しました。
彼らの証明は、Hodges (1997) によるモデル理論の結果に依存しています。この結果は、大きなリトルストーン次元を持つバイナリ概念クラスには、大きな閾値のサブクラスが含まれることを示しています。
フォローアップ研究では、Jung、Kim、および Tewari (2020) がこの証明を、ラベルの数が制限されたマルチクラス PAC 学習に拡張しました。
残念ながら、Hodges の結果は、境界のないラベル空間を使用したマルチクラス PAC 学習や部分概念クラスの PAC 学習など、他の自然環境には当てはまりません。
これは当然、より一般的なシナリオにおいて DP の学習可能性がオンラインでの学習可能性を暗示し続けるかどうかという疑問を引き起こします。実際、Alon、Hanneke、Holzman、および Moran (2021) は、部分概念クラスの文脈ではそれを未解決の問題として明示的に残していますが、同様のことです。
質問は一般的なマルチクラス設定で開かれています。
この研究では、これらの質問に対して肯定的な答えを出し、一般的な分類タスクでは DP の学習可能性がオンラインでの学習可能性を意味することを示しています。
私たちの証明は、しきい値に依存することなく、リトルストーンの木について直接推論します。
私たちは、独立して興味深いと思われる木に関するいくつかのラムジー型定理を確立することによってこれを達成します。

要約(オリジナル)

This work continues to investigate the link between differentially private (DP) and online learning. Alon, Livni, Malliaris, and Moran (2019) showed that for binary concept classes, DP learnability of a given class implies that it has a finite Littlestone dimension (equivalently, that it is online learnable). Their proof relies on a model-theoretic result by Hodges (1997), which demonstrates that any binary concept class with a large Littlestone dimension contains a large subclass of thresholds. In a follow-up work, Jung, Kim, and Tewari (2020) extended this proof to multiclass PAC learning with a bounded number of labels. Unfortunately, Hodges’s result does not apply in other natural settings such as multiclass PAC learning with an unbounded label space, and PAC learning of partial concept classes. This naturally raises the question of whether DP learnability continues to imply online learnability in more general scenarios: indeed, Alon, Hanneke, Holzman, and Moran (2021) explicitly leave it as an open question in the context of partial concept classes, and the same question is open in the general multiclass setting. In this work, we give a positive answer to these questions showing that for general classification tasks, DP learnability implies online learnability. Our proof reasons directly about Littlestone trees, without relying on thresholds. We achieve this by establishing several Ramsey-type theorems for trees, which might be of independent interest.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google