Finite-sample performance of the maximum likelihood estimator in logistic regression

要約

ロジスティック回帰は、多変量共変量に対する二値応答の確率的依存性を記述するための古典的なモデルです。
ロジスティック リスクの観点から評価された、ロジスティック回帰の最尤推定量 (MLE) の予測パフォーマンスを検討します。
2 つの問題を検討します。1 つは MLE の存在に関する問題 (データセットが線形に分離されていない場合に発生します)、2 つ目は MLE が存在する場合の精度の問題です。
これらの特性は、共変量の次元と信号強度の両方に依存します。
ガウス共変量と適切に指定されたロジスティック モデルの場合、MLE の存在と過剰なロジスティック リスクについての明確な非漸近的保証が得られます。
次に、これらの結果を 2 つの方法で一般化します。1 つ目は、特定の 2 次元マージン条件を満たす非ガウス共変量であり、2 つ目は、指定が間違っている可能性があるロジスティック モデルを使用した統計学習の一般的なケースです。
最後に、MLE の動作がパラメーターの方向に非常に敏感なベルヌーイ設計の場合を考えます。

要約(オリジナル)

Logistic regression is a classical model for describing the probabilistic dependence of binary responses to multivariate covariates. We consider the predictive performance of the maximum likelihood estimator (MLE) for logistic regression, assessed in terms of logistic risk. We consider two questions: first, that of the existence of the MLE (which occurs when the dataset is not linearly separated), and second that of its accuracy when it exists. These properties depend on both the dimension of covariates and on the signal strength. In the case of Gaussian covariates and a well-specified logistic model, we obtain sharp non-asymptotic guarantees for the existence and excess logistic risk of the MLE. We then generalize these results in two ways: first, to non-Gaussian covariates satisfying a certain two-dimensional margin condition, and second to the general case of statistical learning with a possibly misspecified logistic model. Finally, we consider the case of a Bernoulli design, where the behavior of the MLE is highly sensitive to the parameter direction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google