Discovering Data Structures: Nearest Neighbor Search and Beyond

要約

データ構造のエンドツーエンド学習のための一般的なフレームワークを提案します。
私たちのフレームワークは、基礎となるデータ分散に適応し、クエリとスペースの複雑さをきめ細かく制御できます。
重要なのは、データ構造が最初から学習されるため、慎重な初期化や候補データ構造/アルゴリズムのシードを必要としないことです。
まず、このフレームワークを最近傍探索の問題に適用します。
いくつかの設定では、学習したデータ構造とクエリ アルゴリズムをリバース エンジニアリングできます。
1D 最近傍検索の場合、モデルは、バイナリ検索や内挿検索のバリアントなど、(独立した) 依存アルゴリズムの最適な分布を発見します。
高次元では、モデルは一部のレジームでは k-d ツリーに似た解を学習しますが、他のレジームでは局所性を考慮したハッシュの要素を持ちます。
このモデルは、高次元データの有用な表現を学習し、それらを活用して効果的なデータ構造を設計することもできます。
また、私たちはフレームワークをデータ ストリーム上の周波数推定の問題にも適応させており、新しい問題に対する強力な発見ツールにもなり得ると考えています。

要約(オリジナル)

We propose a general framework for end-to-end learning of data structures. Our framework adapts to the underlying data distribution and provides fine-grained control over query and space complexity. Crucially, the data structure is learned from scratch, and does not require careful initialization or seeding with candidate data structures/algorithms. We first apply this framework to the problem of nearest neighbor search. In several settings, we are able to reverse-engineer the learned data structures and query algorithms. For 1D nearest neighbor search, the model discovers optimal distribution (in)dependent algorithms such as binary search and variants of interpolation search. In higher dimensions, the model learns solutions that resemble k-d trees in some regimes, while in others, they have elements of locality-sensitive hashing. The model can also learn useful representations of high-dimensional data and exploit them to design effective data structures. We also adapt our framework to the problem of estimating frequencies over a data stream, and believe it could also be a powerful discovery tool for new problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google