How Does Knowledge Selection Help Retrieval Augmented Generation?

投稿日: 2025年5月16日 作成者: jarxiv

要約

検索された生成（RAG）は、外部の知識をモデルの出力に統合することにより、自然言語生成を強化するための強力な方法です。
以前の研究では、生成品質を高めるための知識の検索を改善することの重要性が実証されていますが、知識選択の役割は明らかではありません。
このペーパーでは、知識の選択がRAGシステムの下流の生成パフォーマンスにどのように影響するかを経験的に分析します。
金と気圧装置の知識の制御された混合物を通じて、さまざまな検索と選択条件をシミュレートすることにより、これらの要因が生成結果に与える影響を評価します。
私たちの調査結果は、下流のジェネレーターモデルの機能とタスクとデータセットの複雑さが、RAGシステム全体のパフォーマンスに対する知識選択の影響に大きく影響することを示しています。
典型的なシナリオでは、知識リコールスコアを改善することは、生成結果を強化するための鍵であり、明確で明確に定義されたタスクで強力なジェネレーターモデルが使用される場合、知識セレクターが限られた利点を提供します。
より弱い発電機モデルまたはより曖昧なタスクとデータセットの場合、知識F1スコアが重要な要因になり、知識セレクターが全体的なパフォーマンスを改善する上でより顕著な役割を果たします。

要約(オリジナル)

Retrieval-augmented generation (RAG) is a powerful method for enhancing natural language generation by integrating external knowledge into a model’s output. While prior work has demonstrated the importance of improving knowledge retrieval for boosting generation quality, the role of knowledge selection remains less clear. This paper empirically analyzes how knowledge selection influences downstream generation performance in RAG systems. By simulating different retrieval and selection conditions through a controlled mixture of gold and distractor knowledge, we assess the impact of these factors on generation outcomes. Our findings indicate that the downstream generator model’s capability, as well as the complexity of the task and dataset, significantly influence the impact of knowledge selection on the overall RAG system performance. In typical scenarios, improving the knowledge recall score is key to enhancing generation outcomes, with the knowledge selector providing limited benefit when a strong generator model is used on clear, well-defined tasks. For weaker generator models or more ambiguous tasks and datasets, the knowledge F1 score becomes a critical factor, and the knowledge selector plays a more prominent role in improving overall performance.

arxiv情報

著者 Xiangci Li,Jessica Ouyang
発行日 2025-05-15 17:59:42+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | How Does Knowledge Selection Help Retrieval Augmented Generation? はコメントを受け付けていません

Optimizing Power Grid Topologies with Reinforcement Learning: A Survey of Methods and Challenges

投稿日: 2025年5月16日 作成者: jarxiv

要約

再生可能エネルギー源の統合の増加と、より適応的な制御戦略の必要性により、電力網の動作はますます複雑になっています。
強化学習（RL）は、パワーネットワーク制御（PNC）に対する有望なアプローチとして浮上しており、動的で不確実な環境での意思決定を強化する可能性を提供しています。
Power Network（L2RPN）競技を実行する学習は、標準化されたベンチマークと問題の定式化を提供することにより、研究の加速に重要な役割を果たし、RLベースの方法の急速な進歩をもたらしました。
この調査では、パワーグリッドトポロジの最適化、既存の手法の分類、主要な設計の選択の強調、および現在の研究のギャップの特定のRLアプリケーションの包括的かつ構造化された概要を提供します。
さらに、一般的に適用されるRLベースの方法の影響を評価する比較数値研究を提示し、それらの実際の有効性に関する洞察を提供します。
既存の研究を統合し、オープンな課題を概説することにより、この調査は、RL駆動型のパワーグリッド最適化における将来の進歩の基盤を提供することを目的としています。

要約(オリジナル)

Power grid operation is becoming increasingly complex due to the rising integration of renewable energy sources and the need for more adaptive control strategies. Reinforcement Learning (RL) has emerged as a promising approach to power network control (PNC), offering the potential to enhance decision-making in dynamic and uncertain environments. The Learning To Run a Power Network (L2RPN) competitions have played a key role in accelerating research by providing standardized benchmarks and problem formulations, leading to rapid advancements in RL-based methods. This survey provides a comprehensive and structured overview of RL applications for power grid topology optimization, categorizing existing techniques, highlighting key design choices, and identifying gaps in current research. Additionally, we present a comparative numerical study evaluating the impact of commonly applied RL-based methods, offering insights into their practical effectiveness. By consolidating existing research and outlining open challenges, this survey aims to provide a foundation for future advancements in RL-driven power grid optimization.

arxiv情報

著者 Erica van der Sar,Alessandro Zocca,Sandjai Bhulai
発行日 2025-05-15 14:22:35+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, cs.SY, eess.SY, stat.ML | Optimizing Power Grid Topologies with Reinforcement Learning: A Survey of Methods and Challenges はコメントを受け付けていません

The Lazy Student’s Dream: ChatGPT Passing an Engineering Course on Its Own

投稿日: 2025年5月16日 作成者: jarxiv

要約

このペーパーでは、学期にわたる学部管理システムコースを正常に完了するための大規模な言語モデル（LLMS）の能力に関する包括的な調査を提示します。
115のコース成果物の評価を通じて、現実的な学生の使用パターンをシミュレートする「最小限の労力」プロトコルの下でChatGPTを使用してLLMパフォーマンスを評価します。
この調査では、自動格付けされた複数選択の質問から複雑なPythonプログラミングタスクや長期の分析ライティングまで、複数の評価形式にわたる厳格なテスト方法を採用しています。
私たちの分析は、制御システムエンジニアリングにおける数学の定式化、コーディングの課題、および理論的概念の処理におけるAIの強みと制限に関する定量的洞察を提供します。
LLMはBグレードのパフォーマンス（82.24 \％）を達成し、近づいていますが、クラスの平均（84.99 \％）を超えていませんでした。
調査結果は、AIの進歩に応じたコース設計適応についての議論を知らせ、工学教育におけるこれらのツールの思慮深い統合に向けて単純な禁止を超えて移動します。
シラバス、試験用紙、設計プロジェクト、および例の回答などの追加資料は、プロジェクトWebサイトhttps：//gradegpt.github.ioに記載されています。

要約(オリジナル)

This paper presents a comprehensive investigation into the capability of Large Language Models (LLMs) to successfully complete a semester-long undergraduate control systems course. Through evaluation of 115 course deliverables, we assess LLM performance using ChatGPT under a ‘minimal effort’ protocol that simulates realistic student usage patterns. The investigation employs a rigorous testing methodology across multiple assessment formats, from auto-graded multiple choice questions to complex Python programming tasks and long-form analytical writing. Our analysis provides quantitative insights into AI’s strengths and limitations in handling mathematical formulations, coding challenges, and theoretical concepts in control systems engineering. The LLM achieved a B-grade performance (82.24\%), approaching but not exceeding the class average (84.99\%), with strongest results in structured assignments and greatest limitations in open-ended projects. The findings inform discussions about course design adaptation in response to AI advancement, moving beyond simple prohibition towards thoughtful integration of these tools in engineering education. Additional materials including syllabus, examination papers, design projects, and example responses can be found at the project website: https://gradegpt.github.io.

arxiv情報

著者 Gokul Puthumanaillam,Melkior Ornik
発行日 2025-05-15 14:23:05+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CY | The Lazy Student’s Dream: ChatGPT Passing an Engineering Course on Its Own はコメントを受け付けていません

GPU Performance Portability needs Autotuning

投稿日: 2025年5月16日 作成者: jarxiv

要約

LLMSが複雑になるにつれて、最先端のパフォーマンスを達成するには、アルゴリズム、ソフトウェア、ハードウェア全体の厳しい共同設計が必要です。
今日の単一の支配的なプラットフォームへの依存は、移植性を制限し、ベンダーのロックインを作成し、新しいAIハードウェアの障壁を引き上げます。
この作業では、ジャストインタイム（JIT）コンパイルとカーネルパラメーターのコンパイルを組み合わせて、コード変更なしで最先端のパフォーマンスとポータブルLLM推論を可能にすることをお勧めします。
Flashの注意に焦点を当てている – 広範囲にわたるパフォーマンスの重要なLLMカーネル – このアプローチは、最大15倍のカーネルパラメーター構成を調査し、複数の次元で大幅に多様なコードを生成し、ベンダーが最大限に補償された実装を最大230％上回ることを実証します。
私たちの結果は、GPUベンダー全体でモデルの移植性を解き放つための有望なパスとしてのオートチューニングを強調しています。

要約(オリジナル)

As LLMs grow in complexity, achieving state-of-the-art performance requires tight co-design across algorithms, software, and hardware. Today’s reliance on a single dominant platform limits portability, creates vendor lock-in, and raises barriers for new AI hardware. In this work, we make the case for combining just-in-time (JIT) compilation with kernel parameter autotuning to enable portable LLM inference with state-of-the-art performance without code changes. Focusing on flash attention — a widespread performance critical LLM kernel — we demonstrate that this approach explores up to 15x more kernel parameter configurations, produces significantly more diverse code across multiple dimensions, and even outperforms vendor-optimized implementations by up to 230%, all while reducing kernel code size by 70x and eliminating manual code optimizations. Our results highlight autotuning as a promising path to unlocking model portability across GPU vendors.

arxiv情報

著者 Burkhard Ringlein,Thomas Parnell,Radu Stoica
発行日 2025-05-15 14:26:40+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.AR, cs.PL | GPU Performance Portability needs Autotuning はコメントを受け付けていません

Towards Graph Foundation Models: Training on Knowledge Graphs Enables Transferability to General Graphs

投稿日: 2025年5月16日 作成者: jarxiv

要約

大規模な言語モデルの成功に触発されて、さまざまなドメインで多様なダウンストリームタスクを実施するためのグラフファンデーションモデルを開発する傾向があります。
ただし、現在のモデルでは、学習した構造表現とセマンティック表現を新しいグラフに適用するために、余分な微調整を必要とすることが多く、汎用性が制限されます。
ナレッジグラフ（KGS）のゼロショット誘導推論の最近のブレークスルーは、KGの推論を一般的なグラフアプリケーションに拡張するという新しい視点を提供します。
この論文では、知識グラフでトレーニングし、幅広いグラフタスクとドメインに効果的に一般化するように設計された統一グラフ推論フレームワークであるSCRを紹介します。
まず、タスク固有のKG構造を設計して、さまざまなタスク形式の統一トポロジを確立します。
次に、グラフ表現の構造的およびセマンティックな不変性パターンを共同でモデル化することにより、従来のKG推論における固有のセマンティック分離に対処する新しいメカニズムであるセマンティックコンディショニングメッセージの合格を提案します。
有効性を実証するために、38の多様なグラフデータセットを使用してSCRの誘導性推論能力を評価し、複数のドメインにわたってノードレベル、リンクレベル、グラフレベルのタスクをカバーします。
私たちの結果は、既存の基礎モデルと監視されたベースラインに比べて大幅なパフォーマンスの向上を示し、アプローチの有効性と適応性を強調しています。

要約(オリジナル)

Inspired by the success of large language models, there is a trend toward developing graph foundation models to conduct diverse downstream tasks in various domains. However, current models often require extra fine-tuning to apply their learned structural and semantic representations to new graphs, which limits their versatility. Recent breakthroughs in zero-shot inductive reasoning on knowledge graphs (KGs), offer us a new perspective on extending KG reasoning to general graph applications. In this paper, we introduce SCR, a unified graph reasoning framework designed to train on knowledge graphs and effectively generalize across a wide range of graph tasks and domains. We begin by designing the task-specific KG structures to establish a unified topology for different task formats. Then we propose semantic-conditioned message passing, a novel mechanism addressing the inherent semantic isolation in traditional KG reasoning, by jointly modeling structural and semantic invariance patterns in graph representations. To demonstrate the effectiveness, we evaluate the inductive reasoning capability of SCR using 38 diverse graph datasets, covering node-level, link-level, and graph-level tasks across multiple domains. Our results show substantial performance gains over existing foundation models and supervised baselines, highlighting the efficacy and adaptability of our approach.

arxiv情報

著者 Kai Wang,Siqiang Luo,Caihua Shan,Yifei Shen
発行日 2025-05-15 14:27:59+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | Towards Graph Foundation Models: Training on Knowledge Graphs Enables Transferability to General Graphs はコメントを受け付けていません

Uniform Loss vs. Specialized Optimization: A Comparative Analysis in Multi-Task Learning

投稿日: 2025年5月16日 作成者: jarxiv

要約

競合する勾配や異なるグラデーション規範などの問題に対処することにより、マルチタスク学習における特殊なマルチタスクオプティマー（SMTO）バランスタスク学習。
しかし、最近の批判は、同様に加重されたタスクがSMTOと比較して競争結果を達成できることを示唆しており、以前のSMTOの結果は不十分なハイパーパラメーターの最適化と正規化の欠如に影響されたと主張しています。
この作業では、この動作を明確にするために、より複雑なマルチタスクの問題に関する最新の方法を含むSMTOの広範な経験的評価を通じて、これらの主張を評価します。
私たちの調査結果は、SMTOSが均一な損失と比較してうまく機能し、固定重量がSMTOと比較して競争力のあるパフォーマンスを達成できることを示しています。
さらに、場合によっては均一な損失がSMTOSと同様に機能する理由を示します。
コードは公開されます。

要約(オリジナル)

Specialized Multi-Task Optimizers (SMTOs) balance task learning in Multi-Task Learning by addressing issues like conflicting gradients and differing gradient norms, which hinder equal-weighted task training. However, recent critiques suggest that equally weighted tasks can achieve competitive results compared to SMTOs, arguing that previous SMTO results were influenced by poor hyperparameter optimization and lack of regularization. In this work, we evaluate these claims through an extensive empirical evaluation of SMTOs, including some of the latest methods, on more complex multi-task problems to clarify this behavior. Our findings indicate that SMTOs perform well compared to uniform loss and that fixed weights can achieve competitive performance compared to SMTOs. Furthermore, we demonstrate why uniform loss perform similarly to SMTOs in some instances. The code will be made publicly available.

arxiv情報

著者 Gabriel S. Gama,Valdir Grassi Jr
発行日 2025-05-15 14:34:36+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | Uniform Loss vs. Specialized Optimization: A Comparative Analysis in Multi-Task Learning はコメントを受け付けていません

Not All Adapters Matter: Selective Adapter Freezing for Memory-Efficient Fine-Tuning of Language Models

投稿日: 2025年5月16日 作成者: jarxiv

要約

トランスベースの大規模な事前訓練モデルは、大きな成功を収めています。
微調整は、これらのモデルをダウンストリームタスクで活用するための標準的な慣行です。
微調整方法の中で、アダプターチューニングは、ほとんどの訓練を受けたパラメーターを冷凍しながら軽量のトレーニング可能なモジュールを導入することにより、パラメーター効率の高い微調整を提供します。
ただし、既存のアダプターチューニングメソッドは、依然としてかなりのリソースの使用を課しています。
調査を通じて、各アダプターがタスクのパフォーマンスとリソースの使用の両方に不平等に貢献することを示します。
この洞察に動機付けられて、私たちは選択的なアダプター凍結（安全）を提案します。これは、パフォーマンスを維持しながら不必要なリソースの使用を減らすために、あまり重要でないアダプターを早期に徐々に凍結します。
実験では、安全なメモリの使用量、計算量、およびトレーニング時間をそれぞれ42.85 \％、34.59 \％、および11.82 \％減少させ、ベースラインと比較して同等またはより良いタスクパフォ​​ーマンスを達成します。
また、安全なものが正則化効果を誘発し、それにより損失の状況を滑らかにすることを実証します。

要約(オリジナル)

Transformer-based large-scale pre-trained models achieve great success. Fine-tuning is the standard practice for leveraging these models in downstream tasks. Among the fine-tuning methods, adapter-tuning provides a parameter-efficient fine-tuning by introducing lightweight trainable modules while keeping most pre-trained parameters frozen. However, existing adapter-tuning methods still impose substantial resource usage. Through our investigation, we show that each adapter unequally contributes to both task performance and resource usage. Motivated by this insight, we propose Selective Adapter FrEezing (SAFE), which gradually freezes less important adapters early to reduce unnecessary resource usage while maintaining performance. In our experiments, SAFE reduces memory usage, computation amount, and training time by 42.85\%, 34.59\%, and 11.82\%, respectively, while achieving comparable or better task performance compared to the baseline. We also demonstrate that SAFE induces regularization effect, thereby smoothing the loss landscape, which enables the model to generalize better by avoiding sharp minima.

arxiv情報

著者 Hyegang Son,Yonglak Son,Changhoon Kim,Young Geun Kim
発行日 2025-05-15 14:39:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | Not All Adapters Matter: Selective Adapter Freezing for Memory-Efficient Fine-Tuning of Language Models はコメントを受け付けていません

FactsR: A Safer Method for Producing High Quality Healthcare Documentation

投稿日: 2025年5月16日 作成者: jarxiv

要約

現在、アンビエントドキュメントのために大規模な言語モデルの利用を約束するヘルスケアのための多数のAIScribingソリューションがあります。
ただし、これらのAIの筆記者は、協議が終了した後、ノートを生成するためのワンショットまたは少数のショットプロンプトにまだ依存しています。
これは、幻覚の増加、臨床医の意図の不実表示、およびエラーをキャッチする臨床医の校正への依存で長いノートにリスクを冒します。
警戒がワークロードと疲労によって危険にさらされる場合、患者の安全のための危険な組み合わせ。
この論文では、ヘルスケア相談、事実を示し、その情報を再帰的に使用して最終メモを生成するために、顕著な臨床情報をリアルタイムで抽出する方法を紹介します。
FACTSRメソッドは、リアルタイムの意思決定サポート内で新しいユースケースを開設しながら、メモ生成の臨床医を配置することにより、より正確で簡潔なメモをもたらします。

要約(オリジナル)

There are now a multitude of AI-scribing solutions for healthcare promising the utilization of large language models for ambient documentation. However, these AI scribes still rely on one-shot, or few-shot prompts for generating notes after the consultation has ended, employing little to no reasoning. This risks long notes with an increase in hallucinations, misrepresentation of the intent of the clinician, and reliance on the proofreading of the clinician to catch errors. A dangerous combination for patient safety if vigilance is compromised by workload and fatigue. In this paper, we introduce a method for extracting salient clinical information in real-time alongside the healthcare consultation, denoted Facts, and use that information recursively to generate the final note. The FactsR method results in more accurate and concise notes by placing the clinician-in-the-loop of note generation, while opening up new use cases within real-time decision support.

arxiv情報

著者 Victor Petrén Bach Hansen,Lasse Krogsbøll,Jonas Lyngsø,Mathias Baltzersen,Andreas Motzfeldt,Kevin Pelgrims,Lars Maaløe
発行日 2025-05-15 14:51:22+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, stat.AP | FactsR: A Safer Method for Producing High Quality Healthcare Documentation はコメントを受け付けていません

Plasticity as the Mirror of Empowerment

投稿日: 2025年5月16日 作成者: jarxiv

要約

エージェントは、過去の観察の影響を受け、将来の観察に影響を与えるように行動するエンティティです。
この後者の能力は、人工知能と認知科学全体の重要なフレーミングコンセプトとして機能してきたエンパワーメントによって捉えられています。
しかし、この以前の能力は同様に基本的です。どのような方法で、どの程度まで、エージェントはそれが観察するものに影響を与えることができますか？
この論文では、この概念は、可塑性と呼ばれる普遍的なエージェント中心の尺度で接地し、エンパワーメントとの根本的なつながりを明らかにします。
適切な定義に関する一連のDesiderataに従って、一般化された指示情報と呼ばれる新しい情報理論量を使用して可塑性を定義します。
この新しい量は、マッセイ（1990）によって導入された指示された情報を厳密に一般化しながら、望ましいプロパティをすべて保存していることを示しています。
私たちの最初の発見は、可塑性がエンパワーメントの鏡であるということです。エージェントの可塑性は環境のエンパワーメントと同一であり、逆も同様です。
2番目の発見は、エージェントの可塑性とエンパワーメントの間に緊張を確立し、エージェントの設計が両方の特性に注意する必要があることを示唆しています。
これらの発見の意味を探り、可塑性、エンパワーメント、およびそれらの関係が機関を理解するために不可欠であることを示唆しています。

要約(オリジナル)

Agents are minimally entities that are influenced by their past observations and act to influence future observations. This latter capacity is captured by empowerment, which has served as a vital framing concept across artificial intelligence and cognitive science. This former capacity, however, is equally foundational: In what ways, and to what extent, can an agent be influenced by what it observes? In this paper, we ground this concept in a universal agent-centric measure that we refer to as plasticity, and reveal a fundamental connection to empowerment. Following a set of desiderata on a suitable definition, we define plasticity using a new information-theoretic quantity we call the generalized directed information. We show that this new quantity strictly generalizes the directed information introduced by Massey (1990) while preserving all of its desirable properties. Our first finding is that plasticity is the mirror of empowerment: The agent’s plasticity is identical to the empowerment of the environment, and vice versa. Our second finding establishes a tension between the plasticity and empowerment of an agent, suggesting that agent design needs to be mindful of both characteristics. We explore the implications of these findings, and suggest that plasticity, empowerment, and their relationship are essential to understanding agency.

arxiv情報

著者 David Abel,Michael Bowling,André Barreto,Will Dabney,Shi Dong,Steven Hansen,Anna Harutyunyan,Khimya Khetarpal,Clare Lyle,Razvan Pascanu,Georgios Piliouras,Doina Precup,Jonathan Richens,Mark Rowland,Tom Schaul,Satinder Singh
発行日 2025-05-15 14:52:16+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | Plasticity as the Mirror of Empowerment はコメントを受け付けていません

ILIF: Temporal Inhibitory Leaky Integrate-and-Fire Neuron for Overactivation in Spiking Neural Networks

投稿日: 2025年5月16日 作成者: jarxiv

要約

スパイクニューラルネットワーク（SNN）は、そのエネルギー効率の良い、イベント駆動型処理と生物学的妥当性に注目を集めています。
Backpropagationを介してSNNを訓練するには、代理勾配を使用して非拡張不可能なスパイク関数を近似しますが、サロゲートグラデーションサポート幅ガンマと呼ばれる発火しきい値の近くに狭い範囲の膜電位内で非ゼロ誘導体のみを維持します。
ガンマのジレンマと呼ばれる主要な課題を特定します。比較的大きなガンマは過剰なニューロン発火を特徴とする過剰活性化につながります。
これに対処するために、生物学的抑制メカニズムに触発された、時間的抑制漏れ漏れ統合と火災（ILIF）ニューロンモデルを提案します。
このモデルには、膜電位と電流のための相互接続された抑制ユニットが組み込まれており、勾配伝播を維持しながら過活動を効果的に緩和します。
理論分析は、ガンマのジレンマを克服する際のILIFの有効性を示しており、複数のデータセットでの広範な実験は、ILIFが発火率を減らし、トレーニングを安定させ、精度を高めることでエネルギー効率を改善することを示しています。
コードはgithub.com/kaisun1/ilifで入手できます。

要約(オリジナル)

The Spiking Neural Network (SNN) has drawn increasing attention for its energy-efficient, event-driven processing and biological plausibility. To train SNNs via backpropagation, surrogate gradients are used to approximate the non-differentiable spike function, but they only maintain nonzero derivatives within a narrow range of membrane potentials near the firing threshold, referred to as the surrogate gradient support width gamma. We identify a major challenge, termed the dilemma of gamma: a relatively large gamma leads to overactivation, characterized by excessive neuron firing, which in turn increases energy consumption, whereas a small gamma causes vanishing gradients and weakens temporal dependencies. To address this, we propose a temporal Inhibitory Leaky Integrate-and-Fire (ILIF) neuron model, inspired by biological inhibitory mechanisms. This model incorporates interconnected inhibitory units for membrane potential and current, effectively mitigating overactivation while preserving gradient propagation. Theoretical analysis demonstrates ILIF effectiveness in overcoming the gamma dilemma, and extensive experiments on multiple datasets show that ILIF improves energy efficiency by reducing firing rates, stabilizes training, and enhances accuracy. The code is available at github.com/kaisun1/ILIF.

arxiv情報

著者 Kai Sun,Peibo Duan,Levin Kuhlmann,Beilun Wang,Bin Zhang
発行日 2025-05-15 14:56:06+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, cs.NE | ILIF: Temporal Inhibitory Leaky Integrate-and-Fire Neuron for Overactivation in Spiking Neural Networks はコメントを受け付けていません