DeepLSH: Deep Locality-Sensitive Hash Learning for Fast and Efficient Near-Duplicate Crash Report Detection

要約

自動クラッシュ バケット化は、バグ レポートを効率的に優先順位付けするためのソフトウェア開発プロセスにおいて重要なフェーズです。
これは通常、クラスタリング技術を使用して類似したレポートをグループ化することで構成されます。
ただし、リアルタイムのストリーミング バグ収集では、システムは「新しいバグに最も類似したバグは何ですか?」という質問に迅速に答える、つまり、ほぼ重複するバグを効率的に見つける必要があります。
したがって、この問題に取り組むために最近傍検索を考慮することは自然であり、特に、サブリニアなパフォーマンスと類似性検索精度の理論的保証により、大規模なデータセットを扱うためによく知られた局所性依存ハッシュ (LSH) を検討することは自然です。
驚いたことに、LSH はクラッシュ バケット化の文献では考慮されていません。
実際、最先端のクラッシュ バケット化メトリクスのいわゆる局所性依存特性を満たすハッシュ関数を導出するのは簡単ではありません。
したがって、この文書では、このタスクに LSH を活用する方法を検討します。
文献で使用されている最も関連性の高いメトリクスを検討できるようにするために、独自の損失関数を備えたシャム DNN アーキテクチャである DeepLSH を導入します。これは、正確な LSH ソリューションが存在する Jaccard メトリクスや Cosine メトリクスに対しても、局所性感度特性を完全に近似します。
私たちは、利用可能にしているオリジナルのデータセットに対する一連の実験によってこの主張を裏付けています。

要約(オリジナル)

Automatic crash bucketing is a crucial phase in the software development process for efficiently triaging bug reports. It generally consists in grouping similar reports through clustering techniques. However, with real-time streaming bug collection, systems are needed to quickly answer the question: What are the most similar bugs to a new one?, that is, efficiently find near-duplicates. It is thus natural to consider nearest neighbors search to tackle this problem and especially the well-known locality-sensitive hashing (LSH) to deal with large datasets due to its sublinear performance and theoretical guarantees on the similarity search accuracy. Surprisingly, LSH has not been considered in the crash bucketing literature. It is indeed not trivial to derive hash functions that satisfy the so-called locality-sensitive property for the most advanced crash bucketing metrics. Consequently, we study in this paper how to leverage LSH for this task. To be able to consider the most relevant metrics used in the literature, we introduce DeepLSH, a Siamese DNN architecture with an original loss function, that perfectly approximates the locality-sensitivity property even for Jaccard and Cosine metrics for which exact LSH solutions exist. We support this claim with a series of experiments on an original dataset, which we make available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google