「cond-mat.dis-nn」カテゴリーアーカイブ

Two-Point Deterministic Equivalence for Stochastic Gradient Dynamics in Linear Models

投稿日: 2025年2月10日 作成者: jarxiv

要約 本論文では、ランダム行列resolventの2点関数に関する新しい決定論的 … 続きを読む →

カテゴリー: cond-mat.dis-nn, cs.LG, stat.ML | Two-Point Deterministic Equivalence for Stochastic Gradient Dynamics in Linear Models はコメントを受け付けていません

In-context denoising with one-layer transformers: connections between attention and associative memory retrieval

投稿日: 2025年2月10日 作成者: jarxiv

要約 現代のホップフィールドネットワークとしても知られる、注意ベースのアーキテク … 続きを読む →

カテゴリー: cond-mat.dis-nn, cs.LG | In-context denoising with one-layer transformers: connections between attention and associative memory retrieval はコメントを受け付けていません

Deep Linear Network Training Dynamics from Random Initialization: Data, Width, Depth, and Hyperparameter Transfer

投稿日: 2025年2月6日 作成者: jarxiv

要約 我々は、ランダムな初期化から大きな幅で訓練された深層線形ネットワークにおけ … 続きを読む →

カテゴリー: cond-mat.dis-nn, cs.LG, stat.ML | Deep Linear Network Training Dynamics from Random Initialization: Data, Width, Depth, and Hyperparameter Transfer はコメントを受け付けていません

Deep Linear Network Training Dynamics from Random Initialization: Data, Width, Depth, and Hyperparameter Transfer

投稿日: 2025年2月5日 作成者: jarxiv

要約 我々は、ランダムな初期化から大きな幅で訓練された深層線形ネットワークにおけ … 続きを読む →

カテゴリー: cond-mat.dis-nn, cs.LG, stat.ML | Deep Linear Network Training Dynamics from Random Initialization: Data, Width, Depth, and Hyperparameter Transfer はコメントを受け付けていません

Optimal Spectral Transitions in High-Dimensional Multi-Index Models

投稿日: 2025年2月5日 作成者: jarxiv

要約 我々は、ガウス多指数モデルから、関連する指数部分空間を弱再構築するのに必要 … 続きを読む →

カテゴリー: cond-mat.dis-nn, cs.LG | Optimal Spectral Transitions in High-Dimensional Multi-Index Models はコメントを受け付けていません

Random features and polynomial rules

投稿日: 2025年2月3日 作成者: jarxiv

要約 ランダムな特徴モデルは、深い学習の理論において際立った役割を果たし、無限の … 続きを読む →

カテゴリー: cond-mat.dis-nn, cs.LG | Random features and polynomial rules はコメントを受け付けていません

Optimal generalisation and learning transition in extensive-width shallow neural networks near interpolation

投稿日: 2025年1月31日 作成者: jarxiv

要約 幅$ k $と入力寸法$ d $が大きく比例している完全に訓練された2層ニ … 続きを読む →

カテゴリー: cond-mat.dis-nn, cond-mat.stat-mech, cs.IT, cs.LG, math.IT, stat.ML | Optimal generalisation and learning transition in extensive-width shallow neural networks near interpolation はコメントを受け付けていません

The Effect of Optimal Self-Distillation in Noisy Gaussian Mixture Model

投稿日: 2025年1月28日 作成者: jarxiv

要約 モデルが独自の予測からそれ自体を改良する手法である自己抵抗（SD）は、機械 … 続きを読む →

カテゴリー: cond-mat.dis-nn, cs.LG, stat.ML | The Effect of Optimal Self-Distillation in Noisy Gaussian Mixture Model はコメントを受け付けていません

In-situ graph reasoning and knowledge expansion using Graph-PReFLexOR

投稿日: 2025年1月15日 作成者: jarxiv

要約 自動化された科学的発見の追求により、記号論理から現代の AI への進歩が促 … 続きを読む →

カテゴリー: cond-mat.dis-nn, cond-mat.mtrl-sci, cs.AI, cs.CL | In-situ graph reasoning and knowledge expansion using Graph-PReFLexOR はコメントを受け付けていません

Are queries and keys always relevant? A case study on Transformer wave functions

投稿日: 2025年1月14日 作成者: jarxiv

要約 ドット積アテンション メカニズムは、もともと自然言語処理タスク用に設計され … 続きを読む →

カテゴリー: cond-mat.dis-nn, cs.CL, physics.comp-ph | Are queries and keys always relevant? A case study on Transformer wave functions はコメントを受け付けていません