「cond-mat.dis-nn」カテゴリーアーカイブ

A Dynamical Model of Neural Scaling Laws

投稿日: 2024年4月15日 作成者: jarxiv

要約 さまざまなタスクにおいて、ニューラル ネットワークのパフォーマンスは、トレ … 続きを読む →

カテゴリー: cond-mat.dis-nn, cs.LG, stat.ML | A Dynamical Model of Neural Scaling Laws はコメントを受け付けていません

Grokking as the Transition from Lazy to Rich Training Dynamics

投稿日: 2024年4月12日 作成者: jarxiv

要約 私たちは、ニューラル ネットワークのトレーニング損失がテスト損失よりもはる … 続きを読む →

カテゴリー: cond-mat.dis-nn, cs.LG, stat.ML | Grokking as the Transition from Lazy to Rich Training Dynamics はコメントを受け付けていません

Neural population geometry and optimal coding of tasks with shared latent structure

投稿日: 2024年4月12日 作成者: jarxiv

要約 人間と動物は環境内の潜在的な構造を認識し、その情報を適用して世界を効率的に … 続きを読む →

カテゴリー: cond-mat.dis-nn, cond-mat.stat-mech, cs.LG, cs.NE, q-bio.NC | Neural population geometry and optimal coding of tasks with shared latent structure はコメントを受け付けていません

Mapping of attention mechanisms to a generalized Potts model

投稿日: 2024年4月5日 作成者: jarxiv

要約 トランスフォーマーは、自然言語処理と機械学習に革命をもたらしたニューラルネ … 続きを読む →

カテゴリー: cond-mat.dis-nn, cond-mat.stat-mech, cs.CL, stat.ML | Mapping of attention mechanisms to a generalized Potts model はコメントを受け付けていません

X-LoRA: Mixture of Low-Rank Adapter Experts, a Flexible Framework for Large Language Models with Applications in Protein Mechanics and Molecular Design

投稿日: 2024年4月2日 作成者: jarxiv

要約 我々は、低ランク適応（LoRA）に基づく深い層ごとのトークンレベルのアプロ … 続きを読む →

カテゴリー: cond-mat.dis-nn, cond-mat.soft, cs.AI, cs.CL, cs.LG, q-bio.QM | X-LoRA: Mixture of Low-Rank Adapter Experts, a Flexible Framework for Large Language Models with Applications in Protein Mechanics and Molecular Design はコメントを受け付けていません

Robustness of the Random Language Model

投稿日: 2024年3月25日 作成者: jarxiv

要約 ランダム言語モデル (De Giuli 2019) は、人間言語とコンピュ … 続きを読む →

カテゴリー: cond-mat.dis-nn, cs.CL | Robustness of the Random Language Model はコメントを受け付けていません

Asymptotic generalization error of a single-layer graph convolutional network

投稿日: 2024年3月21日 作成者: jarxiv

要約 グラフ畳み込みネットワークは実用的な有望性を示していますが、サンプル数の関 … 続きを読む →

カテゴリー: cond-mat.dis-nn, cs.LG | Asymptotic generalization error of a single-layer graph convolutional network はコメントを受け付けていません

The Training Process of Many Deep Networks Explores the Same Low-Dimensional Manifold

投稿日: 2024年3月20日 作成者: jarxiv

要約 私たちは、トレーニング中にディープネットワークの予測の軌跡を分析するための … 続きを読む →

カテゴリー: cond-mat.dis-nn, cs.LG | The Training Process of Many Deep Networks Explores the Same Low-Dimensional Manifold はコメントを受け付けていません

Neural network representation of quantum systems

投稿日: 2024年3月19日 作成者: jarxiv

要約 ガウス過程に近いランダムワイドニューラルネットワークは、ガウス固定点の周り … 続きを読む →

カテゴリー: cond-mat.dis-nn, cs.AI, cs.LG, hep-th, quant-ph | Neural network representation of quantum systems はコメントを受け付けていません

Weight fluctuations in (deep) linear neural networks and a derivation of the inverse-variance flatness relation

投稿日: 2024年3月18日 作成者: jarxiv

要約 合成ガウス データの確率的勾配降下法 (SGD) の連続限界内で、単層およ … 続きを読む →

カテゴリー: cond-mat.dis-nn, cond-mat.stat-mech, cs.LG | Weight fluctuations in (deep) linear neural networks and a derivation of the inverse-variance flatness relation はコメントを受け付けていません