MAP- and MLE-Based Teaching

要約

観察の集合から隠れた概念を推測しようとする学習者 L を想像してください。
Ferri et al. の研究 [4] に基づいて、事前確率 P(c) と c 条件付き尤度 P(z|c) によって学習者がパラメータ化されると仮定します。ここで、c は、指定されたクラス C のすべての概念に及びます。
z は、観測セット Z 内のすべての観測の範囲です。L は、観測のコレクション S をランダムなサンプルとみなして、最大の事後確率を持つ概念を返す場合、MAP 学習者 (それぞれ MLE 学習者) と呼ばれます。
(それぞれ、S の c 条件付き尤度を最大化する概念)。
L が S が順序付きサンプリングまたは順序なしサンプリングから得られると仮定するかどうかに応じて異なります。
置換ありまたはなしのサンプリングから、4 つの異なるサンプリング モードを区別できます。
C のターゲット概念 c が与えられると、MAP 学習者 L の教師は、L に c を返す最小の観測値の集合を見つけることを目的とします。
このアプローチは、自然な方法で、概念クラス C の MAP または MLE 教育次元のさまざまな概念につながります。主な結果は次のとおりです。この教育モデルには望ましい単調性特性があることが示されます。
4 つのサンプリング モードが相互にどのように関係しているかを明確にします。
(重要!) 特殊な場合、つまり概念が領域のサブセットであり、観測値が 0,1 でラベル付けされた例である場合に関しては、追加の結果が得られます。
まず第一に、最適にパラメータ化された MAP 学習者グラフに関連付けられた MAP および MLE 教育の次元を理論的に特徴付けます。
この中心的な結果から、他のいくつかの結果を簡単に導き出すことができます。
たとえば、MLE 教示次元は MAP 教示次元と等しいか、後者を 1 上回るかのいずれかであることが示されています。さらに、これらの次元は、いわゆるアンチチェーン数によって上から制限されることが示されています。
VC 次元と関連する組み合わせパラメーター。
さらに、それらは多項式時間で計算できます。

要約(オリジナル)

Imagine a learner L who tries to infer a hidden concept from a collection of observations. Building on the work [4] of Ferri et al., we assume the learner to be parameterized by priors P(c) and by c-conditional likelihoods P(z|c) where c ranges over all concepts in a given class C and z ranges over all observations in an observation set Z. L is called a MAP-learner (resp. an MLE-learner) if it thinks of a collection S of observations as a random sample and returns the concept with the maximum a-posteriori probability (resp. the concept which maximizes the c-conditional likelihood of S). Depending on whether L assumes that S is obtained from ordered or unordered sampling resp. from sampling with or without replacement, we can distinguish four different sampling modes. Given a target concept c in C, a teacher for a MAP-learner L aims at finding a smallest collection of observations that causes L to return c. This approach leads in a natural manner to various notions of a MAP- or MLE-teaching dimension of a concept class C. Our main results are: We show that this teaching model has some desirable monotonicity properties. We clarify how the four sampling modes are related to each other. As for the (important!) special case, where concepts are subsets of a domain and observations are 0,1-labeled examples, we obtain some additional results. First of all, we characterize the MAP- and MLE-teaching dimension associated with an optimally parameterized MAP-learner graph-theoretically. From this central result, some other ones are easy to derive. It is shown, for instance, that the MLE-teaching dimension is either equal to the MAP-teaching dimension or exceeds the latter by 1. It is shown furthermore that these dimensions can be bounded from above by the so-called antichain number, the VC-dimension and related combinatorial parameters. Moreover they can be computed in polynomial time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google