「cond-mat.dis-nn」カテゴリーアーカイブ

An exactly solvable model for emergence and scaling laws

投稿日: 2024年4月29日 作成者: jarxiv

要約 深層学習モデルは、トレーニング時間 ($T$)、トレーニング データ ($ … 続きを読む →

カテゴリー: cond-mat.dis-nn, cs.LG, stat.ML | An exactly solvable model for emergence and scaling laws はコメントを受け付けていません

How Deep Networks Learn Sparse and Hierarchical Data: the Sparse Random Hierarchy Model

投稿日: 2024年4月17日 作成者: jarxiv

要約 高次元データを学習可能にするものを理解することは、機械学習における基本的な … 続きを読む →

カテゴリー: cond-mat.dis-nn, cs.LG, stat.ML | How Deep Networks Learn Sparse and Hierarchical Data: the Sparse Random Hierarchy Model はコメントを受け付けていません

A replica analysis of under-bagging

投稿日: 2024年4月16日 作成者: jarxiv

要約 不均衡なデータから分類器をトレーニングするための一般的なアンサンブル学習方 … 続きを読む →

カテゴリー: cond-mat.dis-nn, cond-mat.stat-mech, cs.LG, stat.ML | A replica analysis of under-bagging はコメントを受け付けていません

Rotation-equivariant Graph Neural Networks for Learning Glassy Liquids Representations

投稿日: 2024年4月15日 作成者: jarxiv

要約 ガラス状液体の静的構造とそのダイナミクスを関連付けるという難しい問題は、デ … 続きを読む →

カテゴリー: cond-mat.dis-nn, cond-mat.soft, cs.LG | Rotation-equivariant Graph Neural Networks for Learning Glassy Liquids Representations はコメントを受け付けていません

A Dynamical Model of Neural Scaling Laws

投稿日: 2024年4月15日 作成者: jarxiv

要約 さまざまなタスクにおいて、ニューラル ネットワークのパフォーマンスは、トレ … 続きを読む →

カテゴリー: cond-mat.dis-nn, cs.LG, stat.ML | A Dynamical Model of Neural Scaling Laws はコメントを受け付けていません

Grokking as the Transition from Lazy to Rich Training Dynamics

投稿日: 2024年4月12日 作成者: jarxiv

要約 私たちは、ニューラル ネットワークのトレーニング損失がテスト損失よりもはる … 続きを読む →

カテゴリー: cond-mat.dis-nn, cs.LG, stat.ML | Grokking as the Transition from Lazy to Rich Training Dynamics はコメントを受け付けていません

Neural population geometry and optimal coding of tasks with shared latent structure

投稿日: 2024年4月12日 作成者: jarxiv

要約 人間と動物は環境内の潜在的な構造を認識し、その情報を適用して世界を効率的に … 続きを読む →

カテゴリー: cond-mat.dis-nn, cond-mat.stat-mech, cs.LG, cs.NE, q-bio.NC | Neural population geometry and optimal coding of tasks with shared latent structure はコメントを受け付けていません

Mapping of attention mechanisms to a generalized Potts model

投稿日: 2024年4月5日 作成者: jarxiv

要約 トランスフォーマーは、自然言語処理と機械学習に革命をもたらしたニューラルネ … 続きを読む →

カテゴリー: cond-mat.dis-nn, cond-mat.stat-mech, cs.CL, stat.ML | Mapping of attention mechanisms to a generalized Potts model はコメントを受け付けていません

X-LoRA: Mixture of Low-Rank Adapter Experts, a Flexible Framework for Large Language Models with Applications in Protein Mechanics and Molecular Design

投稿日: 2024年4月2日 作成者: jarxiv

要約 我々は、低ランク適応（LoRA）に基づく深い層ごとのトークンレベルのアプロ … 続きを読む →

カテゴリー: cond-mat.dis-nn, cond-mat.soft, cs.AI, cs.CL, cs.LG, q-bio.QM | X-LoRA: Mixture of Low-Rank Adapter Experts, a Flexible Framework for Large Language Models with Applications in Protein Mechanics and Molecular Design はコメントを受け付けていません

Robustness of the Random Language Model

投稿日: 2024年3月25日 作成者: jarxiv

要約 ランダム言語モデル (De Giuli 2019) は、人間言語とコンピュ … 続きを読む →

カテゴリー: cond-mat.dis-nn, cs.CL | Robustness of the Random Language Model はコメントを受け付けていません