Novelty Detection in Reinforcement Learning with World Models

投稿日: 2025年2月12日 作成者: jarxiv

要約

世界モデルを使用した補強学習（RL）は、最近の大幅な成功を発見しています。
ただし、世界の仕組みやプロパティの突然の変化が発生すると、エージェントのパフォーマンスと信頼性が劇的に低下する可能性があります。
視覚的特性の突然の変化または状態の移行を斬新と呼びます。
生成された世界モデルフレームワーク内でノベルティ検出を実装することは、展開時にエージェントを保護するための重要なタスクです。
この論文では、世界モデルの幻覚状態と真の観察された状態の不整合を異常スコアとして利用することにより、世界モデルRLエージェントに斬新な検出を組み込むための簡単な境界アプローチを提案します。
世界モデルのエージェントによって学習した遷移の分布におけるノベルティを検出するための効果的なアプローチを提供します。
最後に、従来の機械学習のノベルティ検出方法と、現在受け入れられているRL焦点の斬新な検出アルゴリズムと比較して、新しい環境での仕事の利点を示しています。

要約(オリジナル)

Reinforcement learning (RL) using world models has found significant recent successes. However, when a sudden change to world mechanics or properties occurs then agent performance and reliability can dramatically decline. We refer to the sudden change in visual properties or state transitions as novelties. Implementing novelty detection within generated world model frameworks is a crucial task for protecting the agent when deployed. In this paper, we propose straightforward bounding approaches to incorporate novelty detection into world model RL agents, by utilizing the misalignment of the world model’s hallucinated states and the true observed states as an anomaly score. We provide effective approaches to detecting novelties in a distribution of transitions learned by an agent in a world model. Finally, we show the advantage of our work in a novel environment compared to traditional machine learning novelty detection methods as well as currently accepted RL focused novelty detection algorithms.

arxiv情報

著者 Geigh Zollicoffer,Kenneth Eaton,Jonathan Balloch,Julia Kim,Wei Zhou,Robert Wright,Mark O. Riedl
発行日 2025-02-11 17:38:13+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, cs.SY, eess.SY | Novelty Detection in Reinforcement Learning with World Models はコメントを受け付けていません

Hallucination Detection in Foundation Models for Decision-Making: A Flexible Definition and Review of the State of the Art

投稿日: 2025年2月12日 作成者: jarxiv

要約

自律システムはすぐに、製造、農業、ヘルスケア、エンターテイメント、その他の産業にまたがるユビキタスになります。
これらのシステムのほとんどは、手工学または学習ベースの意思決定、計画、および制御のためのモジュール式サブコンポーネントで開発されています。
これらのアプローチは、特別に設計された状況ではうまく機能しますが、テスト時に間違いなく発生する分散型シナリオでは特に不十分に機能します。
印象的な大規模なデータセットで複数のタスクで訓練された基礎モデルの台頭により、研究者は、これらのモデルが既存のプランナーが欠落しているという「常識」推論を提供し、アルゴリズムの開発と展開の間のギャップを埋めると信じるようになりました。
研究者は、意思決定タスクに基礎モデルを展開することで有望な結果を示していますが、これらのモデルは幻覚を起こし、合理的に聞こえるかもしれないが実際には貧弱な決定を生成することが知られています。
私たちは、モデルの決定の確実性を定量化し、幻覚がいつであるかを検出できるシステムを後退させて同時に設計する必要があると主張します。
この作業では、意思決定タスクの基礎モデルの現在のユースケースについて説明し、幻覚の一般的な定義を例で提供し、意思決定の問題に焦点を当て、幻覚検出と緩和に対する既存のアプローチについて説明し、ガイドラインの提示を行い、
このエキサイティングな分野でのさらなる研究。

要約(オリジナル)

Autonomous systems are soon to be ubiquitous, spanning manufacturing, agriculture, healthcare, entertainment, and other industries. Most of these systems are developed with modular sub-components for decision-making, planning, and control that may be hand-engineered or learning-based. While these approaches perform well under the situations they were specifically designed for, they can perform especially poorly in out-of-distribution scenarios that will undoubtedly arise at test-time. The rise of foundation models trained on multiple tasks with impressively large datasets has led researchers to believe that these models may provide ‘common sense’ reasoning that existing planners are missing, bridging the gap between algorithm development and deployment. While researchers have shown promising results in deploying foundation models to decision-making tasks, these models are known to hallucinate and generate decisions that may sound reasonable, but are in fact poor. We argue there is a need to step back and simultaneously design systems that can quantify the certainty of a model’s decision, and detect when it may be hallucinating. In this work, we discuss the current use cases of foundation models for decision-making tasks, provide a general definition for hallucinations with examples, discuss existing approaches to hallucination detection and mitigation with a focus on decision problems, present guidelines, and explore areas for further research in this exciting field.

arxiv情報

著者 Neeloy Chakraborty,Melkior Ornik,Katherine Driggs-Campbell
発行日 2025-02-11 17:40:41+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.RO | Hallucination Detection in Foundation Models for Decision-Making: A Flexible Definition and Review of the State of the Art はコメントを受け付けていません

Verifying LLM-Generated Code in the Context of Software Verification with Ada/SPARK

投稿日: 2025年2月12日 作成者: jarxiv

要約

大規模な言語モデル（LLM）は、顕著なコード生成機能を実証していますが、生成されたコードの正しさは本質的に信頼できません。
このペーパーでは、LLMが生成したコードの信頼性を確保するために、正式なソフトウェア検証、特にADAのSpark Frameworkを使用する可能性を調査します。
Marmaraganは、既存のプログラムのSpark Annotationsを生成するためにLLMを活用するツールであり、コードの正式な検証を可能にします。
このツールは、キュレーションされた一連のスパークプログラムにベンチマークされており、注釈が選択的に削除されて特定の機能をテストします。
ベンチマークでのGPT-4Oを使用したMarmaraganのパフォーマンスは有望であり、ベンチマークケースの50.7％で正しい注釈が生成されました。
この結果は、LLMの力を正式なソフトウェア検証の信頼性と組み合わせることに関する将来の作業の基盤を確立します。

要約(オリジナル)

Large language models (LLMs) have demonstrated remarkable code generation capabilities, but the correctness of the generated code cannot be inherently trusted. This paper explores the feasibility of using formal software verification, specifically the SPARK framework for Ada, to ensure the reliability of LLM-generated code. We present Marmaragan, a tool that leverages an LLM in order to generate SPARK annotations for existing programs, enabling formal verification of the code. The tool is benchmarked on a curated set of SPARK programs, with annotations selectively removed to test specific capabilities. The performance of Marmaragan with GPT-4o on the benchmark is promising, with correct annotations having been generated for 50.7% of the benchmark cases. The results establish a foundation for future work on combining the power of LLMs with the reliability of formal software verification.

arxiv情報

著者 Marcos Cramer,Lucian McIntyre
発行日 2025-02-11 17:42:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.SE | Verifying LLM-Generated Code in the Context of Software Verification with Ada/SPARK はコメントを受け付けていません

TopoTune : A Framework for Generalized Combinatorial Complex Neural Networks

投稿日: 2025年2月12日 作成者: jarxiv

要約

グラフニューラルネットワーク（GNNS）は、グラフドメインの対称性を保持する方法で、リレーショナルデータセット、処理ノード、およびエッジ機能から学習することに優れています。
ただし、生物学的ネットワークやソーシャルネットワークなどの多くの複雑なシステムは、高次トポロジードメインによってより自然に表される多量の複雑な相互作用を投入します。
トポロジーディープラーニング（TDL）の新興分野は、これらの高次構造に対応して活用することを目的としています。
かなり一般的なTDLモデルである組み合わせ複合ニューラルネットワーク（CCNNS）は、GNNよりも表現力豊かでパフォーマンスが優れていることが示されています。
ただし、GNNエコシステムとは異なる方法で、TDLには、新しいアーキテクチャを簡単に定義し、そのアクセシビリティと適用性を制限するための原則と標準化されたフレームワークがありません。
この問題に対処するために、Generalized CCNNS（GCCNS）を導入します。これは、TDLモデルの新しいシンプルでありながら強力なファミリであり、任意の（グラフ）ニューラルネットワークをTDLの対応物に体系的に変換できるようにします。
GCCNSはCCNNを一般化および包含することを証明しますが、GCCNSの多様なクラスでの広範な実験は、これらのアーキテクチャがCCNNSと一貫して一致またはアウトパフォーマンスし、多くの場合モデルの複雑さが少ないことを示しています。
TDLを加速および民主化するために、前例のない柔軟性と容易さでGCCNを定義、構築、およびトレーニングするための軽量ソフトウェアであるTopotuneを紹介します。

要約(オリジナル)

Graph Neural Networks (GNNs) excel in learning from relational datasets, processing node and edge features in a way that preserves the symmetries of the graph domain. However, many complex systems — such as biological or social networks–involve multiway complex interactions that are more naturally represented by higher-order topological domains. The emerging field of Topological Deep Learning (TDL) aims to accommodate and leverage these higher-order structures. Combinatorial Complex Neural Networks (CCNNs), fairly general TDL models, have been shown to be more expressive and better performing than GNNs. However, differently from the GNN ecosystem, TDL lacks a principled and standardized framework for easily defining new architectures, restricting its accessibility and applicability. To address this issue, we introduce Generalized CCNNs (GCCNs), a novel simple yet powerful family of TDL models that can be used to systematically transform any (graph) neural network into its TDL counterpart. We prove that GCCNs generalize and subsume CCNNs, while extensive experiments on a diverse class of GCCNs show that these architectures consistently match or outperform CCNNs, often with less model complexity. In an effort to accelerate and democratize TDL, we introduce TopoTune, a lightweight software for defining, building, and training GCCNs with unprecedented flexibility and ease.

arxiv情報

著者 Mathilde Papillon,Guillermo Bernárdez,Claudio Battiloro,Nina Miolane
発行日 2025-02-11 17:49:04+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | TopoTune : A Framework for Generalized Combinatorial Complex Neural Networks はコメントを受け付けていません

What makes math problems hard for reinforcement learning: a case study

投稿日: 2025年2月12日 作成者: jarxiv

要約

組み合わせグループ理論からの長年の推測を使用して、複数の観点から、不釣り合いに高い報酬を運ぶまれなインスタンスを見つけるという課題を探ります。
Andrews-Curtisの推測によって定義されたコンテキストで学んだ教訓に基づいて、アルゴリズムの強化と、幅広いクラスの検索問題に影響を与えるトポロジー硬度測定を提案します。
私たちの研究の一環として、いくつかの未解決の数学的質問にも対処します。
特に、Akbulut-Kirbyシリーズ（1981）の2つのプレゼンテーションを除くすべてのすべての長さの削減を実証し、3つの無限サブファミリーを含むMiller-Schuppシリーズ（1991）のさまざまな潜在的な反論を解決します。

要約(オリジナル)

Using a long-standing conjecture from combinatorial group theory, we explore, from multiple perspectives, the challenges of finding rare instances carrying disproportionately high rewards. Based on lessons learned in the context defined by the Andrews-Curtis conjecture, we propose algorithmic enhancements and a topological hardness measure with implications for a broad class of search problems. As part of our study, we also address several open mathematical questions. Notably, we demonstrate the length reducibility of all but two presentations in the Akbulut-Kirby series (1981), and resolve various potential counterexamples in the Miller-Schupp series (1991), including three infinite subfamilies.

arxiv情報

著者 Ali Shehper,Anibal M. Medina-Mardones,Lucas Fagan,Bartłomiej Lewandowski,Angus Gruen,Yang Qiu,Piotr Kucharski,Zhenghan Wang,Sergei Gukov
発行日 2025-02-11 18:01:40+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, math.CO, math.GR, math.GT | What makes math problems hard for reinforcement learning: a case study はコメントを受け付けていません

WHODUNIT: Evaluation benchmark for culprit detection in mystery stories

投稿日: 2025年2月12日 作成者: jarxiv

要約

物語のコンテキスト内で、大規模な言語モデル（LLM）の演ductive的推論能力を評価するために、新しいデータセットであるWhodunitを提示します。
オープンドメインのミステリーノベルと短編小説から構築されたデータセットは、LLMSに挑戦して、ストーリーを読んで理解した後に加害者を特定するように挑戦します。
モデルの堅牢性を評価するために、オリジナルの名前、名前のスワップ、代替など、人気のある談話からの有名な現実および/または架空のエンティティを含む、さまざまなキャラクターレベルの名前の増強を適用します。
さらに、さまざまなプロンプトスタイルを使用して、演ductiveな推論の正確性に対するプロンプトの影響を調査します。
最先端のモデル、特にGPT-4O、GPT-4-Turbo、およびGPT-4O-MINIを使用して評価研究を実施し、信頼性を確保するために多数の反応選択を伴う複数の試験で評価されます。
結果は、LLMが変更されていないテキストで確実に機能するが、特定の名前の置換、特に広く認識されているもので精度が低下することを示しています。
このデータセットはここで公開されています。

要約(オリジナル)

We present a novel data set, WhoDunIt, to assess the deductive reasoning capabilities of large language models (LLM) within narrative contexts. Constructed from open domain mystery novels and short stories, the dataset challenges LLMs to identify the perpetrator after reading and comprehending the story. To evaluate model robustness, we apply a range of character-level name augmentations, including original names, name swaps, and substitutions with well-known real and/or fictional entities from popular discourse. We further use various prompting styles to investigate the influence of prompting on deductive reasoning accuracy. We conduct evaluation study with state-of-the-art models, specifically GPT-4o, GPT-4-turbo, and GPT-4o-mini, evaluated through multiple trials with majority response selection to ensure reliability. The results demonstrate that while LLMs perform reliably on unaltered texts, accuracy diminishes with certain name substitutions, particularly those with wide recognition. This dataset is publicly available here.

arxiv情報

著者 Kshitij Gupta
発行日 2025-02-11 18:14:44+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | WHODUNIT: Evaluation benchmark for culprit detection in mystery stories はコメントを受け付けていません

Faux Polyglot: A Study on Information Disparity in Multilingual Large Language Models

投稿日: 2025年2月12日 作成者: jarxiv

要約

LLMSの多言語能力は、言語の壁を克服するための新しい機会を提供しますが、これらの能力は、言語的分裂と多言語ソース間の知識の対立が既知の発生である現実のシナリオに変換されますか？
この論文では、言語間のぼろきれベースの情報検索設定でLLMの言語的好みを研究しました。
LLMは、ドキュメント取得と回答生成の両方で、クエリ言語と同じ言語で情報に対する全身バイアスを表示することがわかりました。
さらに、クエリの言語に情報がないシナリオでは、LLMSは生成中に高リソース言語のドキュメントを好み、支配的な見解を強化する可能性があります。
このようなバイアスは、事実と意見に基づくクエリの両方に存在します。
私たちの結果は、情報検索システムの多言語LLM内の言語的格差を強調しています。
LLMSの一見有益な多言語能力は、言語固有の情報cocoを強化したり、低リソースビューをさらに疎外したりすることにより、情報パリティに逆火する可能性があります。

要約(オリジナル)

Although the multilingual capability of LLMs offers new opportunities to overcome the language barrier, do these capabilities translate into real-life scenarios where linguistic divide and knowledge conflicts between multilingual sources are known occurrences? In this paper, we studied LLM’s linguistic preference in a cross-language RAG-based information search setting. We found that LLMs displayed systemic bias towards information in the same language as the query language in both document retrieval and answer generation. Furthermore, in scenarios where no information is in the language of the query, LLMs prefer documents in high-resource languages during generation, potentially reinforcing the dominant views. Such bias exists for both factual and opinion-based queries. Our results highlight the linguistic divide within multilingual LLMs in information search systems. The seemingly beneficial multilingual capability of LLMs may backfire on information parity by reinforcing language-specific information cocoons or filter bubbles further marginalizing low-resource views.

arxiv情報

著者 Nikhil Sharma,Kenton Murray,Ziang Xiao
発行日 2025-02-11 18:17:53+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.IR | Faux Polyglot: A Study on Information Disparity in Multilingual Large Language Models はコメントを受け付けていません

Reinforcement Learning from Human Feedback with Active Queries

投稿日: 2025年2月12日 作成者: jarxiv

要約

大規模な言語モデル（LLM）を人間の好みに合わせることは、最新の生成モデルを構築する上で重要な役割を果たし、人間のフィードバック（RLHF）からの強化学習によって達成できます。
優れたパフォーマンスにもかかわらず、現在のRLHFアプローチでは、多くの場合、収集するのに費用がかかる大量の人間で標識された選好データが必要です。
この論文では、アクティブラーニングの成功に触発されたこのペーパーでは、クエリ効率の高いRLHFメソッドを提案することにより、この問題に対処します。
まず、アラインメントの問題を文脈上の決闘の盗賊問題として形式化し、$ \ tilde {o}（d^2/\ delta）$ instance依存性後悔と$ \ tilde {o}（d^2/\ delta）を備えたアクティブなクエリベースの近位ポリシー最適化（appo）アルゴリズムを設計します。
$ \ tilde {o}（d^2/\ delta^2）$クエリの複雑さ。ここで、$ d $は機能空間の寸法であり、$ \ delta $はすべてのコンテキストにわたるサブオプティマリティギャップです。
次に、直接選好最適化（DPO）に基づいてアルゴリズムの実用的なバージョンであるADPOを提案し、微調整LLMSに適用します。
私たちの実験では、ADPOは、人間の好みのために約半分のクエリしか作成しないが、最先端のDPOメソッドのパフォーマンスと一致することを示しています。

要約(オリジナル)

Aligning large language models (LLM) with human preference plays a key role in building modern generative models and can be achieved by reinforcement learning from human feedback (RLHF). Despite their superior performance, current RLHF approaches often require a large amount of human-labelled preference data, which is expensive to collect. In this paper, inspired by the success of active learning, we address this problem by proposing query-efficient RLHF methods. We first formalize the alignment problem as a contextual dueling bandit problem and design an active-query-based proximal policy optimization (APPO) algorithm with an $\tilde{O}(d^2/\Delta)$ instance-dependent regret bound and an $\tilde{O}(d^2/\Delta^2)$ query complexity, where $d$ is the dimension of feature space and $\Delta$ is the sub-optimality gap over all the contexts. We then propose ADPO, a practical version of our algorithm based on direct preference optimization (DPO) and apply it to fine-tuning LLMs. Our experiments show that ADPO, while only making about half of queries for human preference, matches the performance of the state-of-the-art DPO method.

arxiv情報

著者 Kaixuan Ji,Jiafan He,Quanquan Gu
発行日 2025-02-11 18:18:59+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG, math.OC, stat.ML | Reinforcement Learning from Human Feedback with Active Queries はコメントを受け付けていません

PFedDST: Personalized Federated Learning with Decentralized Selection Training

投稿日: 2025年2月12日 作成者: jarxiv

要約

分散学習（DL）により、複数のデバイスにわたる機械学習モデルのトレーニングが可能になりますが、非IIDデータ分布やデバイス機能の格差などの課題に直面しているため、トレーニング効率を妨げる可能性があります。
コミュニケーションボトルネックは、従来のフェデレートラーニング（FL）のセットアップをさらに複雑にします。
これらの問題を軽減するために、分散型選択トレーニング（PFEDDST）フレームワークを使用して、パーソナライズされたフェデレーション学習を紹介します。
PFEDDSTは、包括的なコミュニケーションスコアに基づいて、デバイスがピアを戦略的に評価および選択できるようにすることにより、モデルトレーニングを強化します。
このスコアは、損失、タスクの類似性、選択頻度を統合し、最適なピア接続を確保します。
この選択戦略は、現地のパーソナライズを増やし、有益なピアコラボレーションを促進して、トレーニングプロセスの安定性と効率を強化するように調整されています。
私たちの実験は、PFEDDSTがモデルの精度を高めるだけでなく、収束を加速することを示しています。
このアプローチは、データの不均一性の処理における最先端の方法よりも優れており、多様で分散型のシステムでより高速でより効果的なトレーニングの両方を提供します。

要約(オリジナル)

Distributed Learning (DL) enables the training of machine learning models across multiple devices, yet it faces challenges like non-IID data distributions and device capability disparities, which can impede training efficiency. Communication bottlenecks further complicate traditional Federated Learning (FL) setups. To mitigate these issues, we introduce the Personalized Federated Learning with Decentralized Selection Training (PFedDST) framework. PFedDST enhances model training by allowing devices to strategically evaluate and select peers based on a comprehensive communication score. This score integrates loss, task similarity, and selection frequency, ensuring optimal peer connections. This selection strategy is tailored to increase local personalization and promote beneficial peer collaborations to strengthen the stability and efficiency of the training process. Our experiments demonstrate that PFedDST not only enhances model accuracy but also accelerates convergence. This approach outperforms state-of-the-art methods in handling data heterogeneity, delivering both faster and more effective training in diverse and decentralized systems.

arxiv情報

著者 Mengchen Fan,Keren Li,Tianyun Zhang,Qing Tian,Baocheng Geng
発行日 2025-02-11 18:25:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | PFedDST: Personalized Federated Learning with Decentralized Selection Training はコメントを受け付けていません

Towards Efficient Optimizer Design for LLM via Structured Fisher Approximation with a Low-Rank Extension

投稿日: 2025年2月12日 作成者: jarxiv

要約

低メモリの要件と速い収束を備えた大規模な言語モデル（LLMS）の効率的なオプティマザーを設計することは、重要で挑戦的な問題です。
この論文は、構造化されたフィッシャー情報マトリックス（FIM）近似のレンズを介したこのようなオプティマイザーの体系的な設計に向けた一歩を踏み出します。
多くの最先端の効率的なオプティマイザーは、特定の構造的仮定を備えたFIM近似（Frobenius Normの下）のソリューションと見なすことができることを示しています。
これらの洞察に基づいて、LLMSの実用的な効率的なオプティマザーに関する2つの設計上の推奨事項を提案し、一般性と効率のバランスをとる構造の仮定の慎重な選択、および新しい低ランク拡張フレームワークを通じて一般的な構造とのオプティマイザーのメモリ効率の向上を提案します。
新しいメモリ効率の高いオプティマーを導き出すことにより、各設計アプローチを使用する方法を示します：行と列のスケーリングされたSGD（RAC）および適応性低次元サブスペース推定（Alice）。
Llama Pre-Training（最大1Bパラメーター）の実験は、有効性を検証し、既存のメモリ効率の高いベースラインやメモリオーバーヘッドがほとんどないAdamよりも速くより良い収束を示します。
特に、AliceはAdamよりも2倍の高速収束を超えるよりも優れていますが、RACSはSGDのようなメモリを備えた1Bモデルで強力なパフォーマンスを提供します。

要約(オリジナル)

Designing efficient optimizers for large language models (LLMs) with low-memory requirements and fast convergence is an important and challenging problem. This paper makes a step towards the systematic design of such optimizers through the lens of structured Fisher information matrix (FIM) approximation. We show that many state-of-the-art efficient optimizers can be viewed as solutions to FIM approximation (under the Frobenius norm) with specific structural assumptions. Building on these insights, we propose two design recommendations of practical efficient optimizers for LLMs, involving the careful selection of structural assumptions to balance generality and efficiency, and enhancing memory efficiency of optimizers with general structures through a novel low-rank extension framework. We demonstrate how to use each design approach by deriving new memory-efficient optimizers: Row and Column Scaled SGD (RACS) and Adaptive low-dimensional subspace estimation (Alice). Experiments on LLaMA pre-training (up to 1B parameters) validate the effectiveness, showing faster and better convergence than existing memory-efficient baselines and Adam with little memory overhead. Notably, Alice achieves better than 2x faster convergence over Adam, while RACS delivers strong performance on the 1B model with SGD-like memory.

arxiv情報

著者 Wenbo Gong,Meyer Scetbon,Chao Ma,Edward Meeds
発行日 2025-02-11 18:27:19+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, stat.ML | Towards Efficient Optimizer Design for LLM via Structured Fisher Approximation with a Low-Rank Extension はコメントを受け付けていません