Compress and Compare: Interactively Evaluating Efficiency and Behavior Across ML Model Compression Experiments

要約

機械学習モデルをデバイスにデプロイするには、専門家は圧縮アルゴリズムを使用して、高品質の出力を維持しながらモデルを縮小し、高速化します。
実際の圧縮の重要な側面は、多くの圧縮実験の追跡、モデルの動作の微妙な変化の特定、複雑な精度と効率のトレードオフの交渉など、モデルの比較です。
ただし、既存の圧縮ツールは比較を十分にサポートしていないため、単調で、場合によっては不完全な分析がばらばらのツールにまたがって行われることになります。
現実世界の比較ワークフローをサポートするために、私たちは Compress and Compare と呼ばれるインタラクティブなビジュアル システムを開発しました。
単一のインターフェイス内で、Compress and Compare は、圧縮モデル間の来歴関係を視覚化することで有望な圧縮戦略を明らかにし、モデルの予測、重み、アクティベーションを比較することで圧縮によって引き起こされる動作の変化を明らかにします。
生成言語モデルで失敗した圧縮のデバッグと画像分類モデルでの圧縮アーティファクトの特定という 2 つのケース スタディを通じて、Compress and Compare が一般的な圧縮分析タスクをどのようにサポートするかを示します。
さらに、8 人の圧縮専門家によるユーザー調査で Compress and Compare を評価し、圧縮ワークフローに構造を提供し、実務者が圧縮についての直感を構築できるようにし、モデルの動作に対する圧縮の影響の徹底的な分析を促進する可能性を示しています。
これらの評価を通じて、将来のビジュアル分析ツールが考慮すべき圧縮固有の課題と、より広範なモデル比較タスクに一般化できる可能性のある圧縮と比較のビジュアライゼーションを特定します。

要約(オリジナル)

To deploy machine learning models on-device, practitioners use compression algorithms to shrink and speed up models while maintaining their high-quality output. A critical aspect of compression in practice is model comparison, including tracking many compression experiments, identifying subtle changes in model behavior, and negotiating complex accuracy-efficiency trade-offs. However, existing compression tools poorly support comparison, leading to tedious and, sometimes, incomplete analyses spread across disjoint tools. To support real-world comparative workflows, we develop an interactive visual system called Compress and Compare. Within a single interface, Compress and Compare surfaces promising compression strategies by visualizing provenance relationships between compressed models and reveals compression-induced behavior changes by comparing models’ predictions, weights, and activations. We demonstrate how Compress and Compare supports common compression analysis tasks through two case studies, debugging failed compression on generative language models and identifying compression artifacts in image classification models. We further evaluate Compress and Compare in a user study with eight compression experts, illustrating its potential to provide structure to compression workflows, help practitioners build intuition about compression, and encourage thorough analysis of compression’s effect on model behavior. Through these evaluations, we identify compression-specific challenges that future visual analytics tools should consider and Compress and Compare visualizations that may generalize to broader model comparison tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google