A quasi-polynomial time algorithm for Multi-Dimensional Scaling via LP hierarchies

要約

多次元尺度法 (MDS) は、$n$ オブジェクト間のペアごとの非類似性を低次元空間に埋め込むための手法のファミリーです。
MDS は、社会科学、生物学、統計、機械学習のデータ視覚化ツールとして広く使用されています。
MDS の鎌田・河合定式化を研究します。$n$ 点にわたる非負の相違点 $\{d_{i,j}\}_{i , j \in [n]}$ のセットが与えられた場合、目標は次のようになります。
\[ \text{OPT} = \min_{x} \mathbb{E}_{i,j を最小化する埋め込み $\{x_1,\dots,x_n\} \subset \mathbb{R}^k$ を見つけます
\in [n]} \left[ \left(1-\frac{\|x_i – x_j\|}{d_{i,j}}\right)^2 \right] \] 人気があるにもかかわらず、私たちの理論的理解は
MDS の量は非常に限られています。
最近、Demaine、Hesterberg、Koehler、Lynch、Urschel (arXiv:2109.11505) は、Kamada-Kawai に対する証明可能な保証を持つ最初の近似アルゴリズムを提供しました。これは、$n^ で $\text{OPT} +\epsilon$ のコストで埋め込みを実現します。
2 \cdot 2^{\tilde{\mathcal{O}}(k \Delta^4 / \epsilon^2)}$ 時間。$\Delta$ は入力相違点のアスペクト比です。
この研究では、$\Delta$ に対する準多項式依存性を持つ MDS の最初の近似アルゴリズムを提供します。ターゲット次元 $k$ に対して、コスト $\mathcal{O}(\text{OPT}^{
\hspace{0.04in}1/k } \cdot \log(\Delta/\epsilon) )+ \epsilon$ 時間 $n^{ \mathcal{O}(1)} \cdot 2^{\tilde{\
mathcal{O}}( k^2 (\log(\Delta)/\epsilon)^{k/2 + 1} ) }$。
私たちのアプローチは、シェラリ-アダムス LP 階層の条件付けベースの丸めスキームの新しい分析に基づいています。
重要なことは、私たちの分析は低次元ユークリッド空間の幾何学を活用しており、アスペクト比 $\Delta$ への指数関数的な依存を回避できることです。
私たちは、シェラリ・アダムス階層のジオメトリを意識した処理が、効率的なメトリック最適化アルゴリズムのための汎用技術の開発に向けた重要なステップであると信じています。

要約(オリジナル)

Multi-dimensional Scaling (MDS) is a family of methods for embedding pair-wise dissimilarities between $n$ objects into low-dimensional space. MDS is widely used as a data visualization tool in the social and biological sciences, statistics, and machine learning. We study the Kamada-Kawai formulation of MDS: given a set of non-negative dissimilarities $\{d_{i,j}\}_{i , j \in [n]}$ over $n$ points, the goal is to find an embedding $\{x_1,\dots,x_n\} \subset \mathbb{R}^k$ that minimizes \[ \text{OPT} = \min_{x} \mathbb{E}_{i,j \in [n]} \left[ \left(1-\frac{\|x_i – x_j\|}{d_{i,j}}\right)^2 \right] \] Despite its popularity, our theoretical understanding of MDS is extremely limited. Recently, Demaine, Hesterberg, Koehler, Lynch, and Urschel (arXiv:2109.11505) gave the first approximation algorithm with provable guarantees for Kamada-Kawai, which achieves an embedding with cost $\text{OPT} +\epsilon$ in $n^2 \cdot 2^{\tilde{\mathcal{O}}(k \Delta^4 / \epsilon^2)}$ time, where $\Delta$ is the aspect ratio of the input dissimilarities. In this work, we give the first approximation algorithm for MDS with quasi-polynomial dependency on $\Delta$: for target dimension $k$, we achieve a solution with cost $\mathcal{O}(\text{OPT}^{ \hspace{0.04in}1/k } \cdot \log(\Delta/\epsilon) )+ \epsilon$ in time $n^{ \mathcal{O}(1)} \cdot 2^{\tilde{\mathcal{O}}( k^2 (\log(\Delta)/\epsilon)^{k/2 + 1} ) }$. Our approach is based on a novel analysis of a conditioning-based rounding scheme for the Sherali-Adams LP Hierarchy. Crucially, our analysis exploits the geometry of low-dimensional Euclidean space, allowing us to avoid an exponential dependence on the aspect ratio $\Delta$. We believe our geometry-aware treatment of the Sherali-Adams Hierarchy is an important step towards developing general-purpose techniques for efficient metric optimization algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google