Learning to Help in Multi-Class Settings

要約

リソースに制約のあるデバイスに複雑な機械学習モデルを展開することは、計算能力、メモリ、モデルの再訓練可能性が限られているため、困難です。
これらの制限に対処するために、ローカル モデルをサーバー側モデルで拡張することによってハイブリッド システムを確立できます。この場合、サンプルはリジェクタによって選択的に延期され、処理のためにサーバーに送信されます。
ハイブリッド システムにより、サーバーの使用に伴うオーバーヘッドを最小限に抑えながら、計算リソースを効率的に使用できます。
最近提案された Learning to Help (L2H) モデルは、固定のローカル (クライアント) モデルを指定してサーバー モデルをトレーニングします。これは、固定 (エキスパート) サーバー用にクライアントをトレーニングする Learning to Defer (L2D) フレームワークとは異なります。
L2D と L2H の両方で、トレーニングにはクライアントでリジェクタを学習して、いつサーバーにクエリを実行するかを決定することが含まれます。
この研究では、L2H モデルをバイナリ分類問題からマルチクラス分類問題に拡張し、コスト、可用性、またはポリシーによってサーバーへのアクセスが制限される可能性がある、実際に興味深い多数の異なるシナリオへの適用可能性を実証します。
微分可能で凸型で、L2H モデルの 0-1 損失に対応するベイズ規則と一致する、ステージ切り替え代理損失関数を導出します。
実験では、私たちが提案した方法が、リソースに制約のある環境におけるマルチクラス分類に対する効率的かつ実用的なソリューションを提供することを示しています。

要約(オリジナル)

Deploying complex machine learning models on resource-constrained devices is challenging due to limited computational power, memory, and model retrainability. To address these limitations, a hybrid system can be established by augmenting the local model with a server-side model, where samples are selectively deferred by a rejector and then sent to the server for processing. The hybrid system enables efficient use of computational resources while minimizing the overhead associated with server usage. The recently proposed Learning to Help (L2H) model trains a server model given a fixed local (client) model, differing from the Learning to Defer (L2D) framework, which trains the client for a fixed (expert) server. In both L2D and L2H, the training includes learning a rejector at the client to determine when to query the server. In this work, we extend the L2H model from binary to multi-class classification problems and demonstrate its applicability in a number of different scenarios of practical interest in which access to the server may be limited by cost, availability, or policy. We derive a stage-switching surrogate loss function that is differentiable, convex, and consistent with the Bayes rule corresponding to the 0-1 loss for the L2H model. Experiments show that our proposed methods offer an efficient and practical solution for multi-class classification in resource-constrained environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google