Optimal Parallelization of Boosting

要約

Boosting の並列複雑さに関する最近の研究では、トレーニング ラウンド数 $p$ とラウンドごとの合計並列作業量 $t$ との間のトレードオフに関する強力な下限が確立されました。
これらの研究は、このトレードオフのさまざまな領域に光を当てる、非常に重要な並列アルゴリズムも提示しました。
これらの進歩にもかかわらず、理論的な下限とこれらのアルゴリズムのパフォーマンスの間には、トレードオフ領域の大部分にわたって大きなギャップが残っています。
この研究では、弱学習器から強学習器への並列複雑さの改善された下限と、$p$ 対 ~$t$ の妥協点全体にわたってパフォーマンスがこれらの境界に一致する並列ブースティング アルゴリズムの両方を提供することで、基本的にこのギャップを埋めます。
対数係数までのスペクトル。
最終的に、この作業により、ほぼサンプル最適化されたブースティング アルゴリズムの真の並列複雑さが解決されます。

要約(オリジナル)

Recent works on the parallel complexity of Boosting have established strong lower bounds on the tradeoff between the number of training rounds $p$ and the total parallel work per round $t$. These works have also presented highly non-trivial parallel algorithms that shed light on different regions of this tradeoff. Despite these advancements, a significant gap persists between the theoretical lower bounds and the performance of these algorithms across much of the tradeoff space. In this work, we essentially close this gap by providing both improved lower bounds on the parallel complexity of weak-to-strong learners, and a parallel Boosting algorithm whose performance matches these bounds across the entire $p$ vs.~$t$ compromise spectrum, up to logarithmic factors. Ultimately, this work settles the true parallel complexity of Boosting algorithms that are nearly sample-optimal.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google