GreedyML: A Parallel Algorithm for Maximizing Submodular Functions

要約

分散メモリマルチプロセッサの遺伝的制約を受ける単調部分モジュール関数を最大化するための並列近似アルゴリズムについて説明します。
私たちの仕事は、データの要約、機械学習、グラフのスパース化などの分野での実用的なアプリケーションのために、大規模なデータセットに対するサブモジュール最適化問題を解決する必要性によって動機づけられています。
私たちの研究は、Barbosa、Ene、Nguyen、および Ward (2015) によって提案されたランダム化分散 RandGreedI アルゴリズムに基づいて構築されています。
このアルゴリズムは、すべてのプロセッサー間でデータをランダムに分割し、すべてのプロセッサーが部分解を 1 つのプロセッサーに送信する単一の累積ステップを採用することにより、分散解を計算します。
ただし、大きな問題の場合、累積ステップがプロセッサーで利用可能なメモリを超える可能性があり、累積を実行するプロセッサーが計算のボトルネックになる可能性があります。
ここでは、必要なメモリを削減するために複数の累積ステップを採用する RandGreedI アルゴリズムの一般化を提案します。
(BSP モデルにおける) アルゴリズムの近似比と時間計算量を分析します。
また、3 つのクラスの問題について新しい GreedyML アルゴリズムを評価し、数百万の要素を含む大規模なデータ セットから結果を報告します。
結果は、GreedyML アルゴリズムが、メモリ制約により逐次 Greedy アルゴリズムと分散 RandGreedI アルゴリズムが失敗する問題を解決できることを示しています。
特定の計算集約型の問題では、GreedyML アルゴリズムの方が RandGreedI アルゴリズムよりも高速な場合があります。
GreedyML アルゴリズムによって計算された解の観測された近似品質は、これらの問題に関して RandGreedI アルゴリズムによって得られたものとよく一致します。

要約(オリジナル)

We describe a parallel approximation algorithm for maximizing monotone submodular functions subject to hereditary constraints on distributed memory multiprocessors. Our work is motivated by the need to solve submodular optimization problems on massive data sets, for practical applications in areas such as data summarization, machine learning, and graph sparsification. Our work builds on the randomized distributed RandGreedI algorithm, proposed by Barbosa, Ene, Nguyen, and Ward (2015). This algorithm computes a distributed solution by randomly partitioning the data among all the processors and then employing a single accumulation step in which all processors send their partial solutions to one processor. However, for large problems, the accumulation step could exceed the memory available on a processor, and the processor which performs the accumulation could become a computational bottleneck. Here, we propose a generalization of the RandGreedI algorithm that employs multiple accumulation steps to reduce the memory required. We analyze the approximation ratio and the time complexity of the algorithm (in the BSP model). We also evaluate the new GreedyML algorithm on three classes of problems, and report results from massive data sets with millions of elements. The results show that the GreedyML algorithm can solve problems where the sequential Greedy and distributed RandGreedI algorithms fail due to memory constraints. For certain computationally intensive problems, the GreedyML algorithm can be faster than the RandGreedI algorithm. The observed approximation quality of the solutions computed by the GreedyML algorithm closely matches those obtained by the RandGreedI algorithm on these problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google