GL-LowPopArt: A Nearly Instance-Wise Minimax Estimator for Generalized Low-Rank Trace Regression

要約

我々は、一般化された低ランクのトレース回帰のための新しいCatoniスタイルの推定器である`GL-LowPopArt`を発表する。LowPopArt` (Jang et al., 2024)に基づき、核ノルム正則化の後に行列Catoni推定を行う2段階のアプローチを採用する。我々は、既存の保証（Fan et al., 2019; Kang et al., 2022）を上回る最先端の推定誤差境界を確立し、新しい実験設計目的$mathrm{GL}( \pi)$ を明らかにする。重要な技術的課題は、非線形逆リンク関数からのバイアスを制御することであり、我々は2段階のアプローチによってこれに対処する。我々は、`GL-LowPopArt`がインスタンス毎の最適性を基底真理ヘシアンの条件数まで享受することを示し、*局所的*な最小下界を証明する。応用例としては、`GL-LowPopArt`が最先端のフロベニウス誤差保証を達成する一般化線形行列補完や、一般的な選好学習(Zhang et al., 2024)に触発された新しい設定である**双線形決闘山賊**がある。GL-LowPopArt`に基づくexplore-then-commitアルゴリズムの解析により、ベクトル化よりも改善されたボルダ後悔限界とともに、新しい潜在的に興味深い問題依存量が明らかになった(Wu et al., 2024)。

要約(オリジナル)

We present `GL-LowPopArt`, a novel Catoni-style estimator for generalized low-rank trace regression. Building on `LowPopArt` (Jang et al., 2024), it employs a two-stage approach: nuclear norm regularization followed by matrix Catoni estimation. We establish state-of-the-art estimation error bounds, surpassing existing guarantees (Fan et al., 2019; Kang et al., 2022), and reveal a novel experimental design objective, $\mathrm{GL}(\pi)$. The key technical challenge is controlling bias from the nonlinear inverse link function, which we address by our two-stage approach. We prove a *local* minimax lower bound, showing that our `GL-LowPopArt` enjoys instance-wise optimality up to the condition number of the ground-truth Hessian. Applications include generalized linear matrix completion, where `GL-LowPopArt` achieves a state-of-the-art Frobenius error guarantee, and **bilinear dueling bandits**, a novel setting inspired by general preference learning (Zhang et al., 2024). Our analysis of a `GL-LowPopArt`-based explore-then-commit algorithm reveals a new, potentially interesting problem-dependent quantity, along with improved Borda regret bound than vectorization (Wu et al., 2024).

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL