GenQ: Quantization in Low Data Regimes with Generative Synthetic Data

要約

ディープ ニューラル ネットワークの展開の領域では、低ビット量子化は計算効率を向上させる有望な手段となります。
ただし、多くの場合、量子化誤差を軽減するにはトレーニング データが利用できるかどうかにかかっています。これは、データの利用可能性が不足しているか、プライバシーや著作権の懸念により制限されている場合には大きな課題となります。
これに対処するために、高度な生成 AI モデルを採用して写真のようにリアルな高解像度の合成データを生成する新しいアプローチである GenQ を紹介します。これにより、ImageNet のような広範なデータセット内の複雑なオブジェクトを正確に模倣するのに苦労する従来の方法の制限が克服されます。
私たちの方法論は、合成データが実際のトレーニング データの本質的な特性と厳密に一致するように設計された 2 つの堅牢なフィルタリング メカニズムによって強調されています。
利用可能なデータが限られている場合は、実際のデータを使用して合成データ生成プロセスをガイドし、学習可能なトークンの埋め込みを反転することで忠実度を高めます。
GenQ は、厳密な実験を通じて、データフリーおよびデータ不足の量子化における新しいベンチマークを確立し、精度と効率の点で既存の方法を大幅に上回り、それによって低データ領域での量子化の新しい標準を確立します。
コードは \url{https://github.com/Intelligent-Computing-Lab-Yale/GenQ} でリリースされています。

要約(オリジナル)

In the realm of deep neural network deployment, low-bit quantization presents a promising avenue for enhancing computational efficiency. However, it often hinges on the availability of training data to mitigate quantization errors, a significant challenge when data availability is scarce or restricted due to privacy or copyright concerns. Addressing this, we introduce GenQ, a novel approach employing an advanced Generative AI model to generate photorealistic, high-resolution synthetic data, overcoming the limitations of traditional methods that struggle to accurately mimic complex objects in extensive datasets like ImageNet. Our methodology is underscored by two robust filtering mechanisms designed to ensure the synthetic data closely aligns with the intrinsic characteristics of the actual training data. In case of limited data availability, the actual data is used to guide the synthetic data generation process, enhancing fidelity through the inversion of learnable token embeddings. Through rigorous experimentation, GenQ establishes new benchmarks in data-free and data-scarce quantization, significantly outperforming existing methods in accuracy and efficiency, thereby setting a new standard for quantization in low data regimes. Code is released at \url{https://github.com/Intelligent-Computing-Lab-Yale/GenQ}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google