Label Budget Allocation in Multi-Task Learning

要約

データのラベル付けのコストにより、機械学習システムのパフォーマンスが制限されることがよくあります。
マルチタスク学習では、関連するタスクが相互に情報を提供し、全体的なパフォーマンスを向上させますが、ラベルのコストはタスクによって異なる場合があります。
最適なマルチタスクのパフォーマンスを達成するには、ラベルの予算 (つまり、ラベル付けに費やされる金額) をさまざまなタスクにどのように割り当てるべきでしょうか?
私たちは、マルチタスク学習におけるラベル予算割り当て問題を提案して正式に定義した最初の企業であり、さまざまな予算割り当て戦略がそのパフォーマンスに大きな違いをもたらすことを経験的に示しました。
さまざまなマルチタスク学習設定に適応する最適な予算割り当てを堅牢に生成する、タスク適応型予算割り当てアルゴリズムを提案します。
具体的には、マルチタスクの学習パフォーマンスの代用として、割り当てられた予算から得られる新しい情報の範囲を推定し、最大化します。
PASCAL VOC と Taskonomy に関する実験は、他の広く使用されているヒューリスティックなラベル付け戦略に対する私たちのアプローチの有効性を実証しています。

要約(オリジナル)

The cost of labeling data often limits the performance of machine learning systems. In multi-task learning, related tasks provide information to each other and improve overall performance, but the label cost can vary among tasks. How should the label budget (i.e. the amount of money spent on labeling) be allocated among different tasks to achieve optimal multi-task performance? We are the first to propose and formally define the label budget allocation problem in multi-task learning and to empirically show that different budget allocation strategies make a big difference to its performance. We propose a Task-Adaptive Budget Allocation algorithm to robustly generate the optimal budget allocation adaptive to different multi-task learning settings. Specifically, we estimate and then maximize the extent of new information obtained from the allocated budget as a proxy for multi-task learning performance. Experiments on PASCAL VOC and Taskonomy demonstrate the efficacy of our approach over other widely used heuristic labeling strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google