International Scientific Report on the Safety of Advanced AI (Interim Report)

投稿日: 2025年4月10日 作成者: jarxiv

要約

これは、高度なAIの安全性に関する最初の国際科学報告書の暫定出版物です。
このレポートは、リスクの理解と管理に焦点を当てて、汎用AI（さまざまなタスクを実行できるAI）の科学的理解を統合しています。
75のAI専門家の多様なグループが、30か国、EU、および国連が指名した国際的な専門家諮問委員会を含むこのレポートに貢献しました。
椅子に率いられて、これらの独立した専門家は、レポートのコンテンツに対して完全に裁量権を持っていました。
最終レポートは、ARXIV：2501.17805で入手できます

要約(オリジナル)

This is the interim publication of the first International Scientific Report on the Safety of Advanced AI. The report synthesises the scientific understanding of general-purpose AI — AI that can perform a wide variety of tasks — with a focus on understanding and managing its risks. A diverse group of 75 AI experts contributed to this report, including an international Expert Advisory Panel nominated by 30 countries, the EU, and the UN. Led by the Chair, these independent experts collectively had full discretion over the report’s content. The final report is available at arXiv:2501.17805

arxiv情報

著者 Yoshua Bengio,Sören Mindermann,Daniel Privitera,Tamay Besiroglu,Rishi Bommasani,Stephen Casper,Yejin Choi,Danielle Goldfarb,Hoda Heidari,Leila Khalatbari,Shayne Longpre,Vasilios Mavroudis,Mantas Mazeika,Kwan Yee Ng,Chinasa T. Okolo,Deborah Raji,Theodora Skeadas,Florian Tramèr,Bayo Adekanmbi,Paul Christiano,David Dalrymple,Thomas G. Dietterich,Edward Felten,Pascale Fung,Pierre-Olivier Gourinchas,Nick Jennings,Andreas Krause,Percy Liang,Teresa Ludermir,Vidushi Marda,Helen Margetts,John A. McDermid,Arvind Narayanan,Alondra Nelson,Alice Oh,Gopal Ramchurn,Stuart Russell,Marietje Schaake,Dawn Song,Alvaro Soto,Lee Tiedrich,Gaël Varoquaux,Andrew Yao,Ya-Qin Zhang
発行日 2025-04-09 11:34:12+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CY | International Scientific Report on the Safety of Advanced AI (Interim Report) はコメントを受け付けていません

Learning in Spiking Neural Networks with a Calcium-based Hebbian Rule for Spike-timing-dependent Plasticity

投稿日: 2025年4月10日 作成者: jarxiv

要約

生物学的ニューラルネットワークが局所的な可塑性メカニズムを介してどのように形成されるかを理解することは、エネルギー効率の高い自己適応性情報処理システムにつながる可能性があり、エッジコンピューティングシステムの現在の障害の一部を軽減することを約束します。
生物学はスパイクを使用して、シナプス強度を調節するためにスパイクのタイミングと平均発火率の両方をシームレスに使用しますが、ほとんどのモデルは2つのうちの1つに焦点を当てています。
この作業では、シナプスの修飾がニューロン活動を追跡する関数としてシナプスの修飾をモデル化するヘビアのローカル学習ルールを提示します。
ルールが、神経科学的研究からのスパイク時間とスパイクレートプロトコルからの結果をどのように再現するかを示します。
さらに、モデルを使用して、MNIST Digit認識でスパイクニューラルネットワークをトレーニングして、実際のパターンを学習するために必要なメカニズムを表示および説明します。
私たちのモデルが相関スパイキング活動にどのように敏感であり、これにより、ニューロンの平均発火率や学習ルールの著名計を変更せずにネットワークの学習率を変調する方法を示します。
私たちの知る限り、これはスパイクのタイミングとレートがスパイクニューラルネットワークの接続性を形作る役割において補完的になる方法を示す最初の作業です。

要約(オリジナル)

Understanding how biological neural networks are shaped via local plasticity mechanisms can lead to energy-efficient and self-adaptive information processing systems, which promises to mitigate some of the current roadblocks in edge computing systems. While biology makes use of spikes to seamless use both spike timing and mean firing rate to modulate synaptic strength, most models focus on one of the two. In this work, we present a Hebbian local learning rule that models synaptic modification as a function of calcium traces tracking neuronal activity. We show how the rule reproduces results from spike time and spike rate protocols from neuroscientific studies. Moreover, we use the model to train spiking neural networks on MNIST digit recognition to show and explain what sort of mechanisms are needed to learn real-world patterns. We show how our model is sensitive to correlated spiking activity and how this enables it to modulate the learning rate of the network without altering the mean firing rate of the neurons nor the hyparameters of the learning rule. To the best of our knowledge, this is the first work that showcases how spike timing and rate can be complementary in their role of shaping the connectivity of spiking neural networks.

arxiv情報

著者 Willian Soares Girão,Nicoletta Risi,Elisabetta Chicca
発行日 2025-04-09 11:39:59+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.NE | Learning in Spiking Neural Networks with a Calcium-based Hebbian Rule for Spike-timing-dependent Plasticity はコメントを受け付けていません

Unraveling Human-AI Teaming: A Review and Outlook

投稿日: 2025年4月10日 作成者: jarxiv

要約

人工知能（AI）は前例のないペースで前進しており、意思決定と生産性を高める可能性が明確になります。
しかし、人間とAIの間の共同の意思決定プロセスは未発達のままであり、しばしばその変革的可能性に達していません。
このペーパーでは、受動的なツールから人間のチームの積極的な協力者へのAIエージェントの進化を探り、複雑な環境で自律的に学習、適応、および運用する能力を強調します。
このパラダイムは、新しいインタラクションプロトコル、委任戦略、責任分布フレームワークを必要とする従来のチームのダイナミクスに挑戦します。
チームの状況認識（SA）理論に基づいて、現在のヒューマンAIチームの研究における2つの重要なギャップを特定します。AIエージェントを人間の価値と目的に合わせることの難しさと、AIの能力が本物のチームメンバーとして十分に活用されています。
これらのギャップに対処するために、私たちは、策定、調整、メンテナンス、およびトレーニングの4つの重要な側面を中心とした構造化された研究の見通しを提案します。
私たちのフレームワークは、共有されたメンタルモデル、信頼構築、紛争解決、および効果的なチーム化のためのスキル適応の重要性を強調しています。
さらに、さまざまなチーム構成、目標、複雑さによってもたらされる独自の課題について説明します。
このペーパーでは、将来の研究と、持続可能で高性能な人間チームの実践的な設計の基礎アジェンダを提供します。

要約(オリジナル)

Artificial Intelligence (AI) is advancing at an unprecedented pace, with clear potential to enhance decision-making and productivity. Yet, the collaborative decision-making process between humans and AI remains underdeveloped, often falling short of its transformative possibilities. This paper explores the evolution of AI agents from passive tools to active collaborators in human-AI teams, emphasizing their ability to learn, adapt, and operate autonomously in complex environments. This paradigm shifts challenges traditional team dynamics, requiring new interaction protocols, delegation strategies, and responsibility distribution frameworks. Drawing on Team Situation Awareness (SA) theory, we identify two critical gaps in current human-AI teaming research: the difficulty of aligning AI agents with human values and objectives, and the underutilization of AI’s capabilities as genuine team members. Addressing these gaps, we propose a structured research outlook centered on four key aspects of human-AI teaming: formulation, coordination, maintenance, and training. Our framework highlights the importance of shared mental models, trust-building, conflict resolution, and skill adaptation for effective teaming. Furthermore, we discuss the unique challenges posed by varying team compositions, goals, and complexities. This paper provides a foundational agenda for future research and practical design of sustainable, high-performing human-AI teams.

arxiv情報

著者 Bowen Lou,Tian Lu,T. S. Raghu,Yingjie Zhang
発行日 2025-04-09 12:20:05+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.HC, econ.GN, q-fin.EC | Unraveling Human-AI Teaming: A Review and Outlook はコメントを受け付けていません

Adaptive Locally Linear Embedding

投稿日: 2025年4月10日 作成者: jarxiv

要約

局所線形埋め込み（LLE）などのマニホールド学習手法は、次元削減中に高次元データの地域の近隣構造を保存するように設計されています。
従来のLLEはユークリッド距離を使用して近隣を定義します。近隣を定義します。これは、複雑なデータ内の固有の幾何学的関係を把握するのに苦労する可能性があります。
局所的に線形埋め込まれた適応型アプローチ（ALL）は、トポロジー保存を強化する動的なデータ駆動型メトリックを組み込むことにより、この制限に対処するために導入されます。
この方法は、固定距離ではなくトポロジー近隣の包含に焦点を合わせることにより、近接性の概念を再定義します。
データのローカル構造に基づいてメトリックを適応させることにより、特に複雑なジオメトリと高次元構造を持つデータセットに対して、優れた近隣の保存を実現します。
実験結果は、ALLが入力スペースと特徴スペースの近隣間のアライメントを大幅に改善し、より正確でトポロジカルな忠実な埋め込みをもたらすことを示しています。
このアプローチは、基礎となるデータに距離メトリックを調整することにより、多様な学習を進め、高次元データセットで複雑な関係をキャプチャするための堅牢なソリューションを提供します。

要約(オリジナル)

Manifold learning techniques, such as Locally linear embedding (LLE), are designed to preserve the local neighborhood structures of high-dimensional data during dimensionality reduction. Traditional LLE employs Euclidean distance to define neighborhoods, which can struggle to capture the intrinsic geometric relationships within complex data. A novel approach, Adaptive locally linear embedding(ALLE), is introduced to address this limitation by incorporating a dynamic, data-driven metric that enhances topological preservation. This method redefines the concept of proximity by focusing on topological neighborhood inclusion rather than fixed distances. By adapting the metric based on the local structure of the data, it achieves superior neighborhood preservation, particularly for datasets with complex geometries and high-dimensional structures. Experimental results demonstrate that ALLE significantly improves the alignment between neighborhoods in the input and feature spaces, resulting in more accurate and topologically faithful embeddings. This approach advances manifold learning by tailoring distance metrics to the underlying data, providing a robust solution for capturing intricate relationships in high-dimensional datasets.

arxiv情報

著者 Ali Goli,Mahdieh Alizadeh,Hadi Sadoghi Yazdi
発行日 2025-04-09 12:40:13+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | Adaptive Locally Linear Embedding はコメントを受け付けていません

Integrating Cognitive Processing Signals into Language Models: A Review of Advances, Applications and Future Directions

投稿日: 2025年4月10日 作成者: jarxiv

要約

最近、自然言語処理（NLP）における認知神経科学の統合が大きな注目を集めています。
この記事では、言語モデル（LMS）およびマルチモーダル大手言語モデル（MLLM）を強化するために、認知信号、特に視線追跡（ET）シグナルを活用する際の最近の進歩の重要かつタイムリーな概要を説明します。
ユーザー中心の認知信号を組み込むことにより、これらのアプローチは、データ不足や大規模モデルのトレーニングの環境コストなど、重要な課題に対処します。
認知信号は、効率的なデータ増強、より速い収束、および人間のアライメントの改善を可能にします。
このレビューでは、視覚的な質問応答（VQA）やMLLMの幻覚の緩和などのタスクにおけるETデータの可能性を強調し、新しい課題と研究動向について議論することで締めくくります。

要約(オリジナル)

Recently, the integration of cognitive neuroscience in Natural Language Processing (NLP) has gained significant attention. This article provides a critical and timely overview of recent advancements in leveraging cognitive signals, particularly Eye-tracking (ET) signals, to enhance Language Models (LMs) and Multimodal Large Language Models (MLLMs). By incorporating user-centric cognitive signals, these approaches address key challenges, including data scarcity and the environmental costs of training large-scale models. Cognitive signals enable efficient data augmentation, faster convergence, and improved human alignment. The review emphasises the potential of ET data in tasks like Visual Question Answering (VQA) and mitigating hallucinations in MLLMs, and concludes by discussing emerging challenges and research trends.

arxiv情報

著者 Angela Lopez-Cardona,Sebastian Idesis,Ioannis Arapakis
発行日 2025-04-09 13:01:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Integrating Cognitive Processing Signals into Language Models: A Review of Advances, Applications and Future Directions はコメントを受け付けていません

Persona Dynamics: Unveiling the Impact of Personality Traits on Agents in Text-Based Games

投稿日: 2025年4月10日 作成者: jarxiv

要約

人工剤は、複雑な相互作用や意思決定のタスクの中心になりつつありますが、行動を望ましい人間の価値に合わせることは依然として開かれた課題です。
この作業では、人間のような性格特性が、テキストベースのインタラクティブ環境内でエージェントの行動とパフォーマンスにどのように影響するかを調査します。
Panda：PersonalityAdapted Neural Decisionエージェントを紹介します。これは、人格特性をエージェントに投影して行動を導くための新しい方法です。
テキストベースのゲームエージェントに性格を誘導するために、（i）エージェントのアクションが示す性格タイプを特定するためにパーソナリティ分類器を訓練し、（ii）パーソナリティプロファイルをエージェントのポリシー学習パイプラインに直接統合します。
25のテキストベースのゲームで16の異なる性格タイプを具体化し、軌跡を分析するエージェントを展開することにより、エージェントのアクション決定を特定の性格プロファイルに導くことができることを実証します。
さらに、より高いレベルのオープン性を特徴とするような特定の性格タイプは、パフォーマンスの顕著な利点を表示します。
これらの発見は、インタラクティブな環境でより整合し、効果的で、人間中心の意思決定を促進するための人格に適したエージェントの約束を強調しています。

要約(オリジナル)

Artificial agents are increasingly central to complex interactions and decision-making tasks, yet aligning their behaviors with desired human values remains an open challenge. In this work, we investigate how human-like personality traits influence agent behavior and performance within text-based interactive environments. We introduce PANDA: PersonalityAdapted Neural Decision Agents, a novel method for projecting human personality traits onto agents to guide their behavior. To induce personality in a text-based game agent, (i) we train a personality classifier to identify what personality type the agent’s actions exhibit, and (ii) we integrate the personality profiles directly into the agent’s policy-learning pipeline. By deploying agents embodying 16 distinct personality types across 25 text-based games and analyzing their trajectories, we demonstrate that an agent’s action decisions can be guided toward specific personality profiles. Moreover, certain personality types, such as those characterized by higher levels of Openness, display marked advantages in performance. These findings underscore the promise of personality-adapted agents for fostering more aligned, effective, and human-centric decision-making in interactive environments.

arxiv情報

著者 Seungwon Lim,Seungbeen Lee,Dongjun Min,Youngjae Yu
発行日 2025-04-09 13:17:00+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Persona Dynamics: Unveiling the Impact of Personality Traits on Agents in Text-Based Games はコメントを受け付けていません

Differential Adjusted Parity for Learning Fair Representations

投稿日: 2025年4月10日 作成者: jarxiv

要約

公正で公平な機械学習モデルの開発は、人工知能の分野の研究者にとって継続的な目的のままです。
差動調整済みパリティ（DAP）損失を導入して、公平な有益な表現を生成します。
調整されたパリティメトリックの微分可能なバリアントを利用して、統一された目的関数を作成します。
ダウンストリームタスク分類の精度と、敏感な機能ドメイン全体でのその矛盾を組み合わせることにより、パフォーマンスを向上させ、バイアスを緩和するための単一のツールを提供します。
このアプローチの重要な要素は、ソフトバランスの取れた精度の使用です。
以前の非逆数アプローチとは対照的に、DAPは、すべての敏感なドメインで等しく低いパフォーマンスを発揮することでメトリックが満たされる縮退に苦しむことはありません。
分析の下流のタスクの精度と公平性に関するいくつかの敵対モデルよりも優れています。
具体的には、これらのメトリックで最適なパフォーマンスの敵対的アプローチと比較した場合、それは人口統計のパリティ、均等化オッズ、敏感な機能の精度をそれぞれ22.5 \％、44.1 \％、および40.1 \％で改善します。
全体として、DAPの損失とそれに関連するメトリックは、より公正な機械学習モデルを作成する上で重要な役割を果たすことができます。

要約(オリジナル)

The development of fair and unbiased machine learning models remains an ongoing objective for researchers in the field of artificial intelligence. We introduce the Differential Adjusted Parity (DAP) loss to produce unbiased informative representations. It utilises a differentiable variant of the adjusted parity metric to create a unified objective function. By combining downstream task classification accuracy and its inconsistency across sensitive feature domains, it provides a single tool to increase performance and mitigate bias. A key element in this approach is the use of soft balanced accuracies. In contrast to previous non-adversarial approaches, DAP does not suffer a degeneracy where the metric is satisfied by performing equally poorly across all sensitive domains. It outperforms several adversarial models on downstream task accuracy and fairness in our analysis. Specifically, it improves the demographic parity, equalized odds and sensitive feature accuracy by as much as 22.5\%, 44.1\% and 40.1\%, respectively, when compared to the best performing adversarial approaches on these metrics. Overall, the DAP loss and its associated metric can play a significant role in creating more fair machine learning models.

arxiv情報

著者 Bucher Sahyouni,Matthew Vowels,Liqun Chen,Simon Hadfield
発行日 2025-04-09 13:19:22+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | Differential Adjusted Parity for Learning Fair Representations はコメントを受け付けていません

Preference-Based Alignment of Discrete Diffusion Models

投稿日: 2025年4月10日 作成者: jarxiv

要約

拡散モデルは、複数のドメインで最先端のパフォーマンスを達成しており、最近の進歩により個別のデータへの適用性が拡大されています。
ただし、特に明示的な報酬機能が利用できないシナリオでは、タスク固有の好みを持つ離散拡散モデルを調整することは依然として困難です。
この作業では、連続時間マルコフチェーンとして定式化された離散拡散モデルへの直接選好最適化（DPO）の最初の適応である離散拡散DPO（D2-DPO）を紹介します。
私たちのアプローチは、参照分布に忠実度を維持しながら、優先データを使用して生成プロセスを直接微調整する新しい損失関数を導き出します。
構造化されたバイナリシーケンス生成タスクでD2-DPOを検証し、構造の妥当性を維持しながら、メソッドがモデル出力を好みに効果的に整列させることを実証します。
私たちの結果は、D2-DPOが明示的な報酬モデルを必要とせずに制御された微調整を可能にし、補強学習ベースのアプローチの実用的な代替手段とすることを強調しています。
将来の研究では、言語モデリングやタンパク質シーケンス生成など、D2-DPOをより複雑な生成タスクに拡張すること、および均一なノイズなどの代替ノイズスケジュールを調査して、さまざまなアプリケーションの柔軟性を高めることを調査します。

要約(オリジナル)

Diffusion models have achieved state-of-the-art performance across multiple domains, with recent advancements extending their applicability to discrete data. However, aligning discrete diffusion models with task-specific preferences remains challenging, particularly in scenarios where explicit reward functions are unavailable. In this work, we introduce Discrete Diffusion DPO (D2-DPO), the first adaptation of Direct Preference Optimization (DPO) to discrete diffusion models formulated as continuous-time Markov chains. Our approach derives a novel loss function that directly fine-tunes the generative process using preference data while preserving fidelity to a reference distribution. We validate D2-DPO on a structured binary sequence generation task, demonstrating that the method effectively aligns model outputs with preferences while maintaining structural validity. Our results highlight that D2-DPO enables controlled fine-tuning without requiring explicit reward models, making it a practical alternative to reinforcement learning-based approaches. Future research will explore extending D2-DPO to more complex generative tasks, including language modeling and protein sequence generation, as well as investigating alternative noise schedules, such as uniform noising, to enhance flexibility across different applications.

arxiv情報

著者 Umberto Borso,Davide Paglieri,Jude Wells,Tim Rocktäschel
発行日 2025-04-09 14:34:53+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | Preference-Based Alignment of Discrete Diffusion Models はコメントを受け付けていません

Beyond Tools: Generative AI as Epistemic Infrastructure in Education

投稿日: 2025年4月10日 作成者: jarxiv

要約

生成的AIは世界中の教育インフラストラクチャに急速に統合されるため、知識がどのように作成、検証、共有されるかを変えますが、現在の談話は、認識論的インフラストラクチャが教育と学習を媒介することとしてその意味に不十分に対処します。
このペーパーでは、AIシステムが教育における認識論的インフラストラクチャとしてどのように機能し、人間の認識機関への影響を調査します。
状況に応じた認知の観点を採用し、価値に敏感な設計アプローチに従っているこの研究は、教育環境における2つの代表的なAIシステムの技術的調査を実施し、3つの次元にわたる教師の実践への影響を分析します。
この分析は、現在のAIシステムが教師の熟練した認識論的行動を不十分にサポートし、認識論的感受性を不十分に育成し、認識機関よりも効率性を優先する問題のある習慣を潜在的に培うことを明らかにしています。
これらの課題に対処するために、このペーパーでは、教育で発生するインフラストラクチャの変革を認識し、認識論的規範を維持しながら熟練した行動を刺激するAI環境を開発し、AIの設計プロセスに教育者を関与させることを推奨しています。

要約(オリジナル)

As generative AI rapidly integrates into educational infrastructures worldwide, it transforms how knowledge gets created, validated, and shared, yet current discourse inadequately addresses its implications as epistemic infrastructure mediating teaching and learning. This paper investigates how AI systems function as epistemic infrastructures in education and their impact on human epistemic agency. Adopting a situated cognition perspective and following a value-sensitive design approach, the study conducts a technical investigation of two representative AI systems in educational settings, analyzing their impact on teacher practice across three dimensions: affordances for skilled epistemic actions, support for epistemic sensitivity, and implications for long-term habit formation. The analysis reveals that current AI systems inadequately support teachers’ skilled epistemic actions, insufficiently foster epistemic sensitivity, and potentially cultivate problematic habits that prioritize efficiency over epistemic agency. To address these challenges, the paper recommends recognizing the infrastructural transformation occurring in education, developing AI environments that stimulate skilled actions while upholding epistemic norms, and involving educators in AI design processes — recommendations aimed at fostering AI integration that aligns with core educational values and maintains human epistemic agency.

arxiv情報

著者 Bodong Chen
発行日 2025-04-09 14:35:30+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CY, H.5.2 | Beyond Tools: Generative AI as Epistemic Infrastructure in Education はコメントを受け付けていません

Saliency-driven Dynamic Token Pruning for Large Language Models

投稿日: 2025年4月10日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）の最近の成功にもかかわらず、LLMは、注意メカニズムの二次計算の複雑さのために、長いシーケンス推論シナリオで特に困難です。
ニューラルネットワークモデルの特徴属性の解釈可能性理論に触発されて、すべてのトークンが同じ貢献をしているわけではないことを観察します。
この観察に基づいて、入力コンテキストに基づいて冗長トークンを徐々に動的にプルンするために、顕著なトークン剪定フレームワーク、すなわち顕著な動的トークン剪定（SDTP）を提案します。
具体的には、軽量の顕著性駆動型予測モジュールは、各トークンの重要なスコアを隠し状態で推定するように設計されており、LLMの異なるレイヤーに追加されて冗長トークンを階層的に剪定します。
さらに、ランキングベースの最適化戦略が提案され、顕著性スコアのランキングの相違と予測される重要性スコアを最小限に抑えることが提案されています。
広範な実験により、フレームワークはさまざまなモデルやデータセットに一般化できることが示されています。
入力トークンの65％を階層的に剪定することにより、この方法は33 \％$ \ sim $ 47 \％flopsを大幅に削減し、同等のパフォーマンスを維持しながら、推論中に最大1.75 $ \ times $を達成します。
さらに、SDTPをKVキャッシュ圧縮法と組み合わせて、さらなる圧縮を実証できることを実証します。

要約(オリジナル)

Despite the recent success of large language models (LLMs), LLMs are particularly challenging in long-sequence inference scenarios due to the quadratic computational complexity of the attention mechanism. Inspired by the interpretability theory of feature attribution in neural network models, we observe that not all tokens have the same contribution. Based on this observation, we propose a novel token pruning framework, namely Saliency-driven Dynamic Token Pruning (SDTP), to gradually and dynamically prune redundant tokens based on the input context. Specifically, a lightweight saliency-driven prediction module is designed to estimate the importance score of each token with its hidden state, which is added to different layers of the LLM to hierarchically prune redundant tokens. Furthermore, a ranking-based optimization strategy is proposed to minimize the ranking divergence of the saliency score and the predicted importance score. Extensive experiments have shown that our framework is generalizable to various models and datasets. By hierarchically pruning 65\% of the input tokens, our method greatly reduces 33\% $\sim$ 47\% FLOPs and achieves speedup up to 1.75$\times$ during inference, while maintaining comparable performance. We further demonstrate that SDTP can be combined with KV cache compression method for further compression.

arxiv情報

著者 Yao Tao,Yehui Tang,Yun Wang,Mingjian Zhu,Hailin Hu,Yunhe Wang
発行日 2025-04-09 14:36:19+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Saliency-driven Dynamic Token Pruning for Large Language Models はコメントを受け付けていません