Mode Estimation with Partial Feedback

要約

軽く監視された事前トレーニングとオンライン微調整の組み合わせは、最近の AI 開発において重要な役割を果たしています。
これらの新しい学習パイプラインには、新しい理論的フレームワークが必要です。
この論文では、部分フィードバックを使用した分布モードの推定という単純な問題を使用して、弱教師あり能動学習の中核となる側面を形式化します。
エントロピーコーディングによって部分フィードバックから最適な情報を取得し、モード識別のための十分な粗い統計を開発し、バンディットアルゴリズムを新しい設定に適応させる方法を示します。
最後に、これらの貢献を組み合わせて、問題に対する統計的および計算的に効率的な解決策を作成します。

要約(オリジナル)

The combination of lightly supervised pre-training and online fine-tuning has played a key role in recent AI developments. These new learning pipelines call for new theoretical frameworks. In this paper, we formalize core aspects of weakly supervised and active learning with a simple problem: the estimation of the mode of a distribution using partial feedback. We show how entropy coding allows for optimal information acquisition from partial feedback, develop coarse sufficient statistics for mode identification, and adapt bandit algorithms to our new setting. Finally, we combine those contributions into a statistically and computationally efficient solution to our problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google