Earning Extra Performance from Restrictive Feedbacks

要約

タイトル：制限的なフィードバックから追加の性能を得る

要約：
– 機械学習アプリケーションでは、ローカルユーザーの特定のニーズを満たすために、モデルプロバイダーが以前にトレーニングされたモデルをさらに洗練する必要がある場合があります。
– この問題は、ターゲットデータがモデルに許容された場合、一般的なモデル調整パラダイムに簡略化されます。
– しかし、ターゲットデータがモデルプロバイダーと共有されていない場合（代わりに、モデルに関する評価がアクセス可能である場合）、広範囲の実践的な場合で、この方法はかなり困難です。
– この論文では、「Earning eXtra PerformancE from restriCTive feEDdbacks」（EXPECTED）という課題を正式に設定して、この形式のモデル調整問題を説明します。
– 具体的には、EXPECTEDは、モデルプロバイダーがローカルユーザー（またはユーザーグループ）からのフィードバックを介して候補モデルの操作性能に何度もアクセスできるようにするものです。
– モデルプロバイダーの目標は、フィードバックを利用して最終的にローカルユーザー（複数）に満足のいくモデルを提供することです。
– ターゲットデータがモデル勾配の計算に常に準備されている既存のモデル調整方法とは異なり、EXPECTEDのモデルプロバイダーは、推論精度や使用率などの単純なスカラー値として表されるフィードバックしか見ないことができません。
– この制限的な状況で調整を可能にするために、私たちはパラメータの分布を探索して、モデルパラメータに関するモデルパフォーマンスの幾何学を特徴付けることを提案します。
– 特に、複数のレイヤーに分散する深層モデルに対しては、よりクエリ効率の高いアルゴリズムをさらに特別に設計して、より良い成果を上げるレイヤーにより注意を払いながらレイヤー別のチューニングを実施します。
– 私たちの理論解析は、提案されたアルゴリズムの有効性と効率性の両方の側面から正当化します。
– 異なるアプリケーションでの広範な実験は、私たちの作業がEXPECTED問題に対する確固とした解決策を鍛えていることを示しています。

要約(オリジナル)

Many machine learning applications encounter a situation where model providers are required to further refine the previously trained model so as to gratify the specific need of local users. This problem is reduced to the standard model tuning paradigm if the target data is permissibly fed to the model. However, it is rather difficult in a wide range of practical cases where target data is not shared with model providers but commonly some evaluations about the model are accessible. In this paper, we formally set up a challenge named \emph{Earning eXtra PerformancE from restriCTive feEDdbacks} (EXPECTED) to describe this form of model tuning problems. Concretely, EXPECTED admits a model provider to access the operational performance of the candidate model multiple times via feedback from a local user (or a group of users). The goal of the model provider is to eventually deliver a satisfactory model to the local user(s) by utilizing the feedbacks. Unlike existing model tuning methods where the target data is always ready for calculating model gradients, the model providers in EXPECTED only see some feedbacks which could be as simple as scalars, such as inference accuracy or usage rate. To enable tuning in this restrictive circumstance, we propose to characterize the geometry of the model performance with regard to model parameters through exploring the parameters’ distribution. In particular, for the deep models whose parameters distribute across multiple layers, a more query-efficient algorithm is further tailor-designed that conducts layerwise tuning with more attention to those layers which pay off better. Our theoretical analyses justify the proposed algorithms from the aspects of both efficacy and efficiency. Extensive experiments on different applications demonstrate that our work forges a sound solution to the EXPECTED problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI