「cond-mat.dis-nn」カテゴリーアーカイブ

Scaling and renormalization in high-dimensional regression

投稿日: 2024年6月25日 作成者: jarxiv

要約 この論文では、ランダム行列理論と自由確率の基本ツールを使用した、さまざまな … 続きを読む →

カテゴリー: cond-mat.dis-nn, cs.LG, stat.ML | Scaling and renormalization in high-dimensional regression はコメントを受け付けていません

Why Warmup the Learning Rate? Underlying Mechanisms and Improvements

投稿日: 2024年6月14日 作成者: jarxiv

要約 深層学習では、学習率 $\eta$ をウォームアップするのが一般的であり、 … 続きを読む →

カテゴリー: cond-mat.dis-nn, cs.LG, stat.ML | Why Warmup the Learning Rate? Underlying Mechanisms and Improvements はコメントを受け付けていません

Quantum-Noise-Driven Generative Diffusion Models

投稿日: 2024年6月13日 作成者: jarxiv

要約 機械学習技術で実現された生成モデルは、新しい合成データを生成するために、有 … 続きを読む →

カテゴリー: 68Q09, 68Q12, 81P47, 81P68, cond-mat.dis-nn, cs.AI, cs.LG, I.2.6, quant-ph, stat.ML | Quantum-Noise-Driven Generative Diffusion Models はコメントを受け付けていません

Quantum Equilibrium Propagation for efficient training of quantum systems based on Onsager reciprocity

投稿日: 2024年6月11日 作成者: jarxiv

要約 科学技術のあらゆる分野で機械学習と人工知能が広く導入されたことで、エネルギ … 続きを読む →

カテゴリー: cond-mat.dis-nn, cs.ET, cs.LG, quant-ph | Quantum Equilibrium Propagation for efficient training of quantum systems based on Onsager reciprocity はコメントを受け付けていません

Grokking Modular Polynomials

投稿日: 2024年6月6日 作成者: jarxiv

要約 ニューラル ネットワークは、モジュラー算術タスクのサブセットを容易に学習し … 続きを読む →

カテゴリー: cond-mat.dis-nn, cs.LG, hep-th, math.NT, stat.ML | Grokking Modular Polynomials はコメントを受け付けていません

Learning to grok: Emergence of in-context learning and skill composition in modular arithmetic tasks

投稿日: 2024年6月5日 作成者: jarxiv

要約 大規模な言語モデルは、トレーニング セットには存在しなかったタスクを解決で … 続きを読む →

カテゴリー: cond-mat.dis-nn, cs.LG, hep-th, stat.ML | Learning to grok: Emergence of in-context learning and skill composition in modular arithmetic tasks はコメントを受け付けていません

Information limits and Thouless-Anderson-Palmer equations for spiked matrix models with structured noise

投稿日: 2024年6月3日 作成者: jarxiv

要約 構造化スパイクモデルに対するベイズ推論の典型的な問題、つまり低ランク信号が … 続きを読む →

カテゴリー: 62F15, 82B44, cond-mat.dis-nn, cs.IT, cs.LG, math.IT, math.ST, stat.TH | Information limits and Thouless-Anderson-Palmer equations for spiked matrix models with structured noise はコメントを受け付けていません

Bias in Motion: Theoretical Insights into the Dynamics of Bias in SGD Training

投稿日: 2024年5月29日 作成者: jarxiv

要約 機械学習システムは多くの場合、データ内の望ましくない特徴を利用することでバ … 続きを読む →

カテゴリー: cond-mat.dis-nn, cs.LG, stat.ML | Bias in Motion: Theoretical Insights into the Dynamics of Bias in SGD Training はコメントを受け付けていません

Dimension-free deterministic equivalents for random feature regression

投稿日: 2024年5月27日 作成者: jarxiv

要約 この研究では、ランダム特徴リッジ回帰 (RFRR) の一般化パフォーマンス … 続きを読む →

カテゴリー: cond-mat.dis-nn, cs.LG, stat.ML | Dimension-free deterministic equivalents for random feature regression はコメントを受け付けていません

Infinite Limits of Multi-head Transformer Dynamics

投稿日: 2024年5月27日 作成者: jarxiv

要約 この研究では、特徴学習領域における変圧器モデルのトレーニング ダイナミクス … 続きを読む →

カテゴリー: cond-mat.dis-nn, cs.LG, stat.ML | Infinite Limits of Multi-head Transformer Dynamics はコメントを受け付けていません