MOOSComp: Improving Lightweight Long-Context Compressor via Mitigating Over-Smoothing and Incorporating Outlier Scores

要約

大規模な言語モデルの最近の進歩により、長いコンテキスト入力を処理する能力が大幅に改善されましたが、特にリソースが制約した環境では、推論時間とリソースの消費の増加によって実用的なアプリケーションが挑戦されています。
これらの課題に対処するために、過剰なスモーティングの問題を軽減し、ーン代のスコアを組み込むことにより、BERTベースのコンプレッサーのパフォーマンスを向上させるトークン分類ベースの長いコンプレッションメソッドであるMoosCompを提案します。
トレーニングフェーズでは、クラス間のコサイン類似性損失項を追加して、過度に類似したトークン表現を罰し、トークン分類の精度を改善します。
圧縮段階では、タスクに依存しない圧縮で破棄される傾向があるまれであるが重要なトークンを保持するために、外れ値スコアを導入します。
これらのスコアは分類器の出力と統合されており、コンプレッサーをさまざまなタスクに一般化しやすくします。
長いコンテストの理解と推論ベンチマークで、さまざまな圧縮比で優れた性能が達成されます。
さらに、この方法では、リソース制約のあるモバイルデバイスで4倍の圧縮率で3.3倍のスピードアップを取得します。

要約(オリジナル)

Recent advances in large language models have significantly improved their ability to process long-context input, but practical applications are challenged by increased inference time and resource consumption, particularly in resource-constrained environments. To address these challenges, we propose MOOSComp, a token-classification-based long-context compression method that enhances the performance of a BERT-based compressor by mitigating the over-smoothing problem and incorporating outlier scores. In the training phase, we add an inter-class cosine similarity loss term to penalize excessively similar token representations, thereby improving the token classification accuracy. During the compression phase, we introduce outlier scores to preserve rare but critical tokens that are prone to be discarded in task-agnostic compression. These scores are integrated with the classifier’s output, making the compressor more generalizable to various tasks. Superior performance is achieved at various compression ratios on long-context understanding and reasoning benchmarks. Moreover, our method obtains a speedup of 3.3x at a 4x compression ratio on a resource-constrained mobile device.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google