MCPrioQ: A lock-free algorithm for online sparse markov-chains

要約

タイトル: オンライン疎なマルコフチェーンのためのロックフリーアルゴリズムMCPrioQ
要約:
– 高性能システムでは、効率的なメモリと計算を両立させるために非常に大規模なグラフの構築が難しいことがある。
– この論文では、マルコフチェーン優先キュー（MCPrioQ）と呼ばれるデータ構造を提案する。
– MCPrioQは、オンラインで連続的な学習を可能にするロックフリーな疎なマルコフチェーンであり、更新の時間複雑性は$O(1)$、推論の時間複雑性は$O(CDF^{-1}(t))$である。
– MCPrioQは、降順の確率順に$n$個のアイテムを検索するレコメンダーシステムに特に適している。
– ハッシュテーブルとアトミック命令を使用して並列更新を実現し、優先キューを使用して処理中の更新に対しても近似的な結果を可能にする。
– 近似的に正確でロックフリーな特性は、読み取りコピー更新スキームによって維持されますが、セマンティックは従来のポップ・インサートスキームではなく、要素の交換を許容するように若干更新されています。

要約(オリジナル)

In high performance systems it is sometimes hard to build very large graphs that are efficient both with respect to memory and compute. This paper proposes a data structure called Markov-chain-priority-queue (MCPrioQ), which is a lock-free sparse markov-chain that enables online and continuous learning with time-complexity of $O(1)$ for updates and $O(CDF^{-1}(t))$ inference. MCPrioQ is especially suitable for recommender-systems for lookups of $n$-items in descending probability order. The concurrent updates are achieved using hash-tables and atomic instructions and the lookups are achieved through a novel priority-queue which allows for approximately correct results even during concurrent updates. The approximatly correct and lock-free property is maintained by a read-copy-update scheme, but where the semantics have been slightly updated to allow for swap of elements rather than the traditional pop-insert scheme.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI