Gumbel-max List Sampling for Distribution Coupling with Multiple Samples

要約

結合確率分布の問題の緩和を研究します。1つの分布からサンプルのリストが生成され、これらのサンプルのいずれかが他の分布から生成されたサンプルと同一である場合、受け入れが宣言されます。
サンプルを生成するための新しい方法を提案します。これにより、Daliri et al。
（ARXIV：2408.07978）結合確率分布のため。
また、受け入れ確率に対応する下限を確立します。これは、リストを一致するリストと呼びます。
次に、セットアップの2つのアプリケーションについて説明します。
まず、マルチドラフトの投機的サンプリングの新しいメカニズムを開発し、実装が簡単で、SpectrやSpecInferなどのベースラインと競合するパフォーマンスを実現します。
また、私たちの方法では、既存のスキームではサポートされていない出力トークンに関するある程度の起草の不変性が保証されます。
また、トークンレベルの受け入れ確率で理論的な下限を提供します。
2番目のアプリケーションとして、ソースサンプルが圧縮され、それぞれが独立したサイド情報を持つ複数のデコーダーが利用できる設定で、副情報を使用して分布した損失圧縮を検討します。
Gumbel-Maxサンプリングの一般化に基づいた圧縮手法を提案し、合成ガウス源とMNIST画像データセットを含む実験に大幅な利益をもたらすことを示します。

要約(オリジナル)

We study a relaxation of the problem of coupling probability distributions — a list of samples is generated from one distribution and an accept is declared if any one of these samples is identical to the sample generated from the other distribution. We propose a novel method for generating samples, which extends the Gumbel-max sampling suggested in Daliri et al. (arXiv:2408.07978) for coupling probability distributions. We also establish a corresponding lower bound on the acceptance probability, which we call the list matching lemma. We next discuss two applications of our setup. First, we develop a new mechanism for multi-draft speculative sampling that is simple to implement and achieves performance competitive with baselines such as SpecTr and SpecInfer across a range of language tasks. Our method also guarantees a certain degree of drafter invariance with respect to the output tokens which is not supported by existing schemes. We also provide a theoretical lower bound on the token level acceptance probability. As our second application, we consider distributed lossy compression with side information in a setting where a source sample is compressed and available to multiple decoders, each with independent side information. We propose a compression technique that is based on our generalization of Gumbel-max sampling and show that it provides significant gains in experiments involving synthetic Gaussian sources and the MNIST image dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google