Differentiable Model Selection for Ensemble Learning

要約

モデル選択は、正確で堅牢なモデルを作成することを目的とした戦略です。
これらのアルゴリズムを設計する際の重要な課題は、特定の入力サンプルを分類するための最適なモデルを特定することです。
この論文では、この課題に取り組み、機械学習と組み合わせ最適化を統合した微分可能なモデル選択のための新しいフレームワークを提案します。
このフレームワークは、個別に事前トレーニングされたモデルの出力を結合する戦略であるアンサンブル学習向けに調整されており、アンサンブル学習タスクをエンドツーエンドでトレーニングされた微分可能な選択プログラムに変換することで、特定の入力サンプルに適切なアンサンブル メンバーを選択する方法を学習します。
アンサンブル学習モデル内で。
さまざまなタスクでテストした結果、提案されたフレームワークはその汎用性と有効性を実証し、さまざまな設定や学習タスクにわたって従来の高度なコンセンサス ルールよりも優れたパフォーマンスを発揮します。

要約(オリジナル)

Model selection is a strategy aimed at creating accurate and robust models. A key challenge in designing these algorithms is identifying the optimal model for classifying any particular input sample. This paper addresses this challenge and proposes a novel framework for differentiable model selection integrating machine learning and combinatorial optimization. The framework is tailored for ensemble learning, a strategy that combines the outputs of individually pre-trained models, and learns to select appropriate ensemble members for a particular input sample by transforming the ensemble learning task into a differentiable selection program trained end-to-end within the ensemble learning model. Tested on various tasks, the proposed framework demonstrates its versatility and effectiveness, outperforming conventional and advanced consensus rules across a variety of settings and learning tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google