Scalable network reconstruction in subquadratic time

要約

ネットワークの再構築は、それらの結合に条件付けられた結果の動作に関する観測データのみを与えられた場合に、$N$ ノード間の未観測のペアワイズ結合を決定することで構成されます。通常は、時系列またはグラフィカル モデルからの独立したサンプルです。
この問題に対して提案されたアルゴリズムのスケーラビリティに対する主な障害は、ほとんどのネットワークが
対象となる結合はまばらであり、非ゼロ結合の数はわずか $O(N)$ です。
ここでは、この二次ベースラインを大幅に上回る、広範囲の再構成問題に適用できる一般的なアルゴリズムを紹介します。
私たちのアルゴリズムは、確率的二次近傍探索 (Dong et al., 2011) に依存しており、高確率で最良のエッジ候補を生成するため、徹底的な二次探索をバイパスします。
第 2 近傍検索が対数線形時間で終了するという推測 (Baron & Darling, 2020; 2022) に依存すると、アルゴリズムが二次時間で終了し、データ依存の複雑さの上限が $ によって緩やかに制限されることが理論的に証明されます。
O(N^{3/2}\log N)$ ですが、より一般的な対数線形複雑度は $O(N\log^2N)$ です。
実際に、理論的分析と一致する方法で、アルゴリズムが 2 次ベースラインよりも何桁も高速なパフォーマンスを達成することを示します。これにより、並列化が容易になり、数十万のネットワークの再構築が可能になります。
さらには数百万のノードとエッジさえあります。

要約(オリジナル)

Network reconstruction consists in determining the unobserved pairwise couplings between $N$ nodes given only observational data on the resulting behavior that is conditioned on those couplings — typically a time-series or independent samples from a graphical model. A major obstacle to the scalability of algorithms proposed for this problem is a seemingly unavoidable quadratic complexity of $\Omega(N^2)$, corresponding to the requirement of each possible pairwise coupling being contemplated at least once, despite the fact that most networks of interest are sparse, with a number of non-zero couplings that is only $O(N)$. Here we present a general algorithm applicable to a broad range of reconstruction problems that significantly outperforms this quadratic baseline. Our algorithm relies on a stochastic second neighbor search (Dong et al., 2011) that produces the best edge candidates with high probability, thus bypassing an exhaustive quadratic search. If we rely on the conjecture that the second-neighbor search finishes in log-linear time (Baron & Darling, 2020; 2022), we demonstrate theoretically that our algorithm finishes in subquadratic time, with a data-dependent complexity loosely upper bounded by $O(N^{3/2}\log N)$, but with a more typical log-linear complexity of $O(N\log^2N)$. In practice, we show that our algorithm achieves a performance that is many orders of magnitude faster than the quadratic baseline — in a manner consistent with our theoretical analysis — allows for easy parallelization, and thus enables the reconstruction of networks with hundreds of thousands and even millions of nodes and edges.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google