DICE: Device-level Integrated Circuits Encoder with Graph Contrastive Pretraining

投稿日: 2025年5月20日 作成者: jarxiv

要約

監視されていないグラフ表現学習を備えた事前削除モデルは、ソーシャルネットワーク分析、分子設計、電子設計自動化（EDA）などのドメインの大幅な進歩をもたらしました。
ただし、EDAでの以前の作業は、主にデジタル回路の事前削除モデルに焦点を当てており、アナログと混合シグナル回路を見下ろしています。
このギャップを埋めるために、アナログサーキットとデジタル回路の両方でグラフレベルの予測タスクに合わせて特別に調整された自己監視学習を介して前処理された最初のグラフニューラルネットワーク（GNN）であるデバイスレベルの統合サーキットエンコーダーであるサイコロを紹介します。
サイコロは、グラフのコントラスト学習に基づいてシミュレーションのない事前削除アプローチを採用し、2つの新しいグラフ増強技術を活用します。
実験結果は、3つのダウンストリームタスクにわたって大幅なパフォーマンスの改善を示し、アナログサーキットとデジタル回路の両方のサイコロの有効性を強調しています。
コードはgithub.com/brianlsy98/diceで入手できます。

要約(オリジナル)

Pretraining models with unsupervised graph representation learning has led to significant advancements in domains such as social network analysis, molecular design, and electronic design automation (EDA). However, prior work in EDA has mainly focused on pretraining models for digital circuits, overlooking analog and mixed-signal circuits. To bridge this gap, we introduce DICE, a Device-level Integrated Circuits Encoder, which is the first graph neural network (GNN) pretrained via self-supervised learning specifically tailored for graph-level prediction tasks in both analog and digital circuits. DICE adopts a simulation-free pretraining approach based on graph contrastive learning, leveraging two novel graph augmentation techniques. Experimental results demonstrate substantial performance improvements across three downstream tasks, highlighting the effectiveness of DICE for both analog and digital circuits. The code is available at github.com/brianlsy98/DICE.

arxiv情報

著者 Sungyoung Lee,Ziyi Wang,Seunggeun Kim,Taekyun Lee,Yao Lai,David Z. Pan
発行日 2025-05-19 17:23:05+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | DICE: Device-level Integrated Circuits Encoder with Graph Contrastive Pretraining はコメントを受け付けていません

Learning by solving differential equations

投稿日: 2025年5月20日 作成者: jarxiv

要約

現代の深い学習アルゴリズムは、主な学習方法として勾配降下のバリエーションを使用します。
勾配降下は、最も単純な通常の微分方程式（ODE）ソルバーとして理解できます。
つまり、勾配流の微分方程式に適用されるオイラー法。
オイラー以来、多くのODEソルバーが考案されており、勾配の流れ方程式をより正確かつより安定に追随しています。
Runge-Kutta（RK）メソッドは、非常に強力な明示的で暗黙の高次ODEソルバーのファミリーを提供します。
ただし、これらの高次ソルバーは、これまでのところ、深い学習に幅広いアプリケーションを見つけていません。
この作業では、深い学習に適用された場合の高次RKソルバーのパフォーマンスを評価し、それらの制限を研究し、これらの欠点を克服する方法を提案します。
特に、前処理、適応学習率、勢いなどの最新のニューラルネットワークオプティマーの主要な成分を自然に組み込むことにより、パフォーマンスを改善する方法を探ります。

要約(オリジナル)

Modern deep learning algorithms use variations of gradient descent as their main learning methods. Gradient descent can be understood as the simplest Ordinary Differential Equation (ODE) solver; namely, the Euler method applied to the gradient flow differential equation. Since Euler, many ODE solvers have been devised that follow the gradient flow equation more precisely and more stably. Runge-Kutta (RK) methods provide a family of very powerful explicit and implicit high-order ODE solvers. However, these higher-order solvers have not found wide application in deep learning so far. In this work, we evaluate the performance of higher-order RK solvers when applied in deep learning, study their limitations, and propose ways to overcome these drawbacks. In particular, we explore how to improve their performance by naturally incorporating key ingredients of modern neural network optimizers such as preconditioning, adaptive learning rates, and momentum.

arxiv情報

著者 Benoit Dherin,Michael Munn,Hanna Mazzawi,Michael Wunder,Sourabh Medapati,Javier Gonzalvo
発行日 2025-05-19 17:34:32+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.NA, math.NA, stat.ML | Learning by solving differential equations はコメントを受け付けていません

Evaluating Mathematical Reasoning Across Large Language Models: A Fine-Grained Approach

投稿日: 2025年5月20日 作成者: jarxiv

要約

人工知能（AI）の急速な進歩により、大規模な言語モデル（LLM）は、ヘルスケア、エンジニアリング、科学、教育、数学的推論など、幅広いドメインに大きな影響を与えました。
これらの中で、数学的推論は依然として特に挑戦的な能力であり、多くの場合、マルチステップロジックと抽象的な一般化が必要です。
以前の作業では、推論タスクに関するLLMのパフォーマンスを調査しましたが、モデルファミリ全体で深さと幅の両方にまたがる包括的な評価は限られたままです。
この研究では、3つの独立したベンチマークデータセットを使用して、最近の2つのDeepSeekモデルを含む8つの主要なLLMにわたる数学的推論能力の体系的な評価を提示します。
分析により、いくつかの重要な調査結果が明らかになりました。（1）DeepSeek-R1は、ほとんどのドメインでO1と競合的に機能し、MMLUの正式なロジックベンチマークで最高の精度を実現します。
（2）Deepseek-1.5bなどの蒸留バリアントは、実質的なパフォーマンスの劣化を示します。
（3）Gemini 2.0 Flashは、応答の最低レイテンシを実現します。
定量的メトリックを超えて、建築の選択、トレーニングパラダイム、および最適化戦略が推論パフォーマンスの変動にどのように貢献するかを探ります。
これらの調査結果は、数学ドメインにおける現在のLLMの能力と制限に関する新しい洞察を提供し、厳密な推論要求に合わせた将来のモデルの開発のためのガイダンスを提供します。

要約(オリジナル)

With the rapid advancement of Artificial Intelligence (AI), Large Language Models (LLMs) have significantly impacted a wide array of domains, including healthcare, engineering, science, education, and mathematical reasoning. Among these, mathematical reasoning remains a particularly challenging capability, often requiring multi-step logic and abstract generalization. While prior work has explored LLM performance on reasoning tasks, comprehensive evaluations that span both depth and breadth across model families remain limited. In this study, we present a systematic evaluation of mathematical reasoning abilities across eight leading LLMs, including two recent DeepSeek models, using three independent benchmark datasets. Our analyses reveal several key findings: (1) DeepSeek-R1 performs competitively with o1 across most domains and achieves the highest accuracy on the MMLU Formal Logic benchmark; (2) distilled variants, such as DeepSeek-1.5B, exhibit substantial performance degradation; and (3) Gemini 2.0 Flash achieves the lowest response latency. Beyond quantitative metrics, we explore how architectural choices, training paradigms, and optimization strategies contribute to variation in reasoning performance. These findings provide new insights into the capabilities and limitations of current LLMs in mathematical domains, and offer guidance for the development of future models better aligned with rigorous reasoning demands.

arxiv情報

著者 Afrar Jahin,Arif Hassan Zidan,Wei Zhang,Yu Bao,Tianming Liu
発行日 2025-05-19 17:36:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Evaluating Mathematical Reasoning Across Large Language Models: A Fine-Grained Approach はコメントを受け付けていません

A Dataless Reinforcement Learning Approach to Rounding Hyperplane Optimization for Max-Cut

投稿日: 2025年5月20日 作成者: jarxiv

要約

最大カット（maxcut）の問題はNP不完全であり、その最適なソリューションを取得することは、最悪の場合はNPハードです。
その結果、ヒューリスティックベースのアルゴリズムが一般的に使用されていますが、その設計には重要なドメインの専門知識が必要になることがよくあります。
最近では、大きな（UN）ラベルのあるデータセットでトレーニングされた学習ベースの方法が提案されています。
ただし、これらのアプローチは、多くの場合、一般化可能性とスケーラビリティに苦労しています。
Maxcutのよく知られている近似アルゴリズムは、Goemans-Williamson（GW）アルゴリズムです。これは、2次非制約のバイナリ最適化（QUBO）の定式化をセミデフィニットプログラム（SDP）に緩和します。
GWアルゴリズムは、ランダムハイパープレーンを均一にサンプリングしてSDPソリューションをバイナリノード割り当てに変換することにより、ハイパープレーンの丸めを適用します。
このホワイトペーパーでは、エージェントがGWアルゴリズムによって生成されたものよりも優れたカットを生成する改善された丸めハイパープレーンを選択することを学ぶことを学ぶことを学ぶ、エピソードではない補強学習の定式化に基づいたトレーニング-DATAフリーアプローチを提案します。
マルコフ決定プロセス（MDP）を最適化することにより、我々の方法は、さまざまな密度と程度分布を備えた大規模なグラフでより良いカットを一貫して達成します。

要約(オリジナル)

The Maximum Cut (MaxCut) problem is NP-Complete, and obtaining its optimal solution is NP-hard in the worst case. As a result, heuristic-based algorithms are commonly used, though their design often requires significant domain expertise. More recently, learning-based methods trained on large (un)labeled datasets have been proposed; however, these approaches often struggle with generalizability and scalability. A well-known approximation algorithm for MaxCut is the Goemans-Williamson (GW) algorithm, which relaxes the Quadratic Unconstrained Binary Optimization (QUBO) formulation into a semidefinite program (SDP). The GW algorithm then applies hyperplane rounding by uniformly sampling a random hyperplane to convert the SDP solution into binary node assignments. In this paper, we propose a training-data-free approach based on a non-episodic reinforcement learning formulation, in which an agent learns to select improved rounding hyperplanes that yield better cuts than those produced by the GW algorithm. By optimizing over a Markov Decision Process (MDP), our method consistently achieves better cuts across large-scale graphs with varying densities and degree distributions.

arxiv情報

著者 Gabriel Malikal,Ismail Alkhouri,Alvaro Velasquez,Adam M Alessio,Saiprasad Ravishankar
発行日 2025-05-19 17:41:10+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | A Dataless Reinforcement Learning Approach to Rounding Hyperplane Optimization for Max-Cut はコメントを受け付けていません

Nesterov Acceleration for Ensemble Kalman Inversion and Variants

投稿日: 2025年5月20日 作成者: jarxiv

要約

アンサンブルKalman Inversion（EKI）は、逆の問題を解決するための派生粒子ベースの最適化方法です。
EKIが勾配流に近似することを示すことができます。これにより、勾配降下を加速する方法を適用できます。
ここでは、Nesterov加速が、さまざまな逆問題に対するEKIコスト関数の削減を加速するのに効果的であることを示しています。
また、2つのEkiバリアント、無濃縮カルマンの反転、およびアンサンブル変換カルマン反転のネステロフ加速度も実装しています。
当社の具体的な実装は、粒子レベルのナッジの形をとります。これは、既存のEKIバリアントアルゴリズムとブラックボックスの方法で結合するのが明らかに簡単に簡単になり、追加の計算費用がなく、追加のチューニングハイパーパラメーターがありません。
この研究は、勾配ベースの最適化の進歩をグラデーションのないカルマンの最適化の進歩に変換するための将来の研究のための経路を示しています。

要約(オリジナル)

Ensemble Kalman inversion (EKI) is a derivative-free, particle-based optimization method for solving inverse problems. It can be shown that EKI approximates a gradient flow, which allows the application of methods for accelerating gradient descent. Here, we show that Nesterov acceleration is effective in speeding up the reduction of the EKI cost function on a variety of inverse problems. We also implement Nesterov acceleration for two EKI variants, unscented Kalman inversion and ensemble transform Kalman inversion. Our specific implementation takes the form of a particle-level nudge that is demonstrably simple to couple in a black-box fashion with any existing EKI variant algorithms, comes with no additional computational expense, and with no additional tuning hyperparameters. This work shows a pathway for future research to translate advances in gradient-based optimization into advances in gradient-free Kalman optimization.

arxiv情報

著者 Sydney Vernon,Eviatar Bach,Oliver R. A. Dunbar
発行日 2025-05-19 17:47:46+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.OC, stat.CO | Nesterov Acceleration for Ensemble Kalman Inversion and Variants はコメントを受け付けていません

Joint Velocity-Growth Flow Matching for Single-Cell Dynamics Modeling

投稿日: 2025年5月20日 作成者: jarxiv

要約

スナップショットデータから単一のセルの基礎となるダイナミクスを学習することで、科学および機械学習の研究で注目が高まっています。
破壊的な測定技術と細胞の増殖/死により、スナップショット間の対応のない不均衡なデータが生じ、根本的なダイナミクスの学習が困難になります。
このホワイトペーパーでは、フローマッチングを介してシングルセル集団の状態移行と大量成長を共同で学習する新しいパラダイムである、関節速度成長フローマッチング（VGFM）を提案します。
VGFMは、質量の速度と質量の成長を含む理想的なシングルセルダイナミクスを構築します。これは、不対のデータと不平衡データの結合を求める数学的ツールである静的な半溶解最適な輸送の提示された2期間の動的理解によって駆動されます。
実用的な使用を可能にするために、ニューラルネットワークを使用して理想的なダイナミクスを近似し、関節の速度と成長マッチングフレームワークを形成します。
Snapshotデータのフィッティングパフォーマンスをさらに改善するために、VGFMで分布フィッティング損失も採用されています。
合成データセットと実際のデータセットの両方での広範な実験結果は、VGFMが時間の経過とともに質量と状態の変動を考慮して基礎となる生物学的ダイナミクスをキャプチャできることを示しており、単一細胞ダイナミクスモデリングの既存のアプローチを上回っています。

要約(オリジナル)

Learning the underlying dynamics of single cells from snapshot data has gained increasing attention in scientific and machine learning research. The destructive measurement technique and cell proliferation/death result in unpaired and unbalanced data between snapshots, making the learning of the underlying dynamics challenging. In this paper, we propose joint Velocity-Growth Flow Matching (VGFM), a novel paradigm that jointly learns state transition and mass growth of single-cell populations via flow matching. VGFM builds an ideal single-cell dynamics containing velocity of state and growth of mass, driven by a presented two-period dynamic understanding of the static semi-relaxed optimal transport, a mathematical tool that seeks the coupling between unpaired and unbalanced data. To enable practical usage, we approximate the ideal dynamics using neural networks, forming our joint velocity and growth matching framework. A distribution fitting loss is also employed in VGFM to further improve the fitting performance for snapshot data. Extensive experimental results on both synthetic and real datasets demonstrate that VGFM can capture the underlying biological dynamics accounting for mass and state variations over time, outperforming existing approaches for single-cell dynamics modeling.

arxiv情報

著者 Dongyi Wang,Yuanwei Jiang,Zhenyi Zhang,Xiang Gu,Peijie Zhou,Jian Sun
発行日 2025-05-19 17:48:04+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Joint Velocity-Growth Flow Matching for Single-Cell Dynamics Modeling はコメントを受け付けていません

Gluon: Making Muon & Scion Great Again! (Bridging Theory and Practice of LMO-based Optimizers for LLMs)

投稿日: 2025年5月20日 作成者: jarxiv

要約

深い学習最適化の最近の開発により、$ \ sf muon $や$ \ sf scion $など、線形最小化Oracle（LMO）フレームワークに基づいた根本的に新しいアルゴリズムがもたらされました。
10年以上の$ \ sf Adam $の支配の後、これらのLMOベースの方法は実行可能な置換として浮上しており、メモリ効率の向上、ハイパーパラメーターの移動性の向上、LLMトレーニングを含む大規模タスクの優れた経験的パフォーマンスなど、いくつかの実用的な利点を提供します。
ただし、実際の使用と現在の理論的理解の間には大きなギャップが残っています。事前の分析（1）実際のこれらのオプティマイザーの層ごとのLMOアプリケーションを見落としており、（2）非現実的な滑らかさの仮定に依存して、実用的に小さな階段化に依存しています。
両方に対処するために、$ \ sf gluon $と呼ばれる新しいLMOベースの方法を提案し、以前の理論的に分析された方法を特別なケースとしてキャプチャし、ニューラルネットワークのレイヤーごとのジオメトリをキャプチャする新しい洗練された一般化されたスムーズさモデルを導入します。
以前の結果とは異なり、私たちの理論的な階段は、Pethick et al。
（2025）。
NanoGPTとCNNを使用した実験は、私たちの仮定が最適化の軌跡に沿って保持され、最終的に理論と実践のギャップを埋めることを確認します。

要約(オリジナル)

Recent developments in deep learning optimization have brought about radically new algorithms based on the Linear Minimization Oracle (LMO) framework, such as $\sf Muon$ and $\sf Scion$. After over a decade of $\sf Adam$’s dominance, these LMO-based methods are emerging as viable replacements, offering several practical advantages such as improved memory efficiency, better hyperparameter transferability, and most importantly, superior empirical performance on large-scale tasks, including LLM training. However, a significant gap remains between their practical use and our current theoretical understanding: prior analyses (1) overlook the layer-wise LMO application of these optimizers in practice, and (2) rely on an unrealistic smoothness assumption, leading to impractically small stepsizes. To address both, we propose a new LMO-based method called $\sf Gluon$, capturing prior theoretically analyzed methods as special cases, and introduce a new refined generalized smoothness model that captures the layer-wise geometry of neural networks, matches the layer-wise practical implementation of $\sf Muon$ and $\sf Scion$, and leads to convergence guarantees with strong practical predictive power. Unlike prior results, our theoretical stepsizes closely match the fine-tuned values reported by Pethick et al. (2025). Our experiments with NanoGPT and CNN confirm that our assumption holds along the optimization trajectory, ultimately closing the gap between theory and practice.

arxiv情報

著者 Artem Riabinin,Egor Shulgin,Kaja Gruntkowska,Peter Richtárik
発行日 2025-05-19 17:50:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.OC, stat.ML | Gluon: Making Muon & Scion Great Again! (Bridging Theory and Practice of LMO-based Optimizers for LLMs) はコメントを受け付けていません

SubGCache: Accelerating Graph-based RAG with Subgraph-level KV Cache

投稿日: 2025年5月20日 作成者: jarxiv

要約

グラフベースの検索された生成（RAG）により、大規模な言語モデル（LLM）は、グラフ取得を介してコンテキスト入力として構造化された知識を組み込むことができ、より正確でコンテキスト認識の推論を強化します。
さまざまなクエリについて、プロンプトと同様のサブグラフを取得できるため、同様の構造プロンプト（つまり、サブグラフ）でクエリ全体で計算を再利用することで推論潜時を減らすことを目的としています。
具体的には、サブグラフの埋め込みに基づいてサブガッチクラスタークエリをクエリし、各クラスターの代表的なサブグラフを構築し、代表的なサブグラフのキー価値（kV）キャッシュを事前に互換性を示します。
クラスター内に検索されたサブグラフを使用した各クエリについて、計算を保存するためにKVテンソルを再度計算せずに、クラスターの代表的なサブグラフの事前に計算されたKVキャッシュを再利用します。
複数のLLMバックボーンとグラフベースのRAGフレームワークにわたる2つの新しいデータセットでの実験は、サブガチャチが、同等の、さらには改善された生成品質で推論の遅延を一貫して低下させ、最大6.68 $ \ Times $削減（TTTFT）で最大6.68 $ \ Times $削減を達成することを示しています。

要約(オリジナル)

Graph-based retrieval-augmented generation (RAG) enables large language models (LLMs) to incorporate structured knowledge via graph retrieval as contextual input, enhancing more accurate and context-aware reasoning. We observe that for different queries, it could retrieve similar subgraphs as prompts, and thus we propose SubGCache, which aims to reduce inference latency by reusing computation across queries with similar structural prompts (i.e., subgraphs). Specifically, SubGCache clusters queries based on subgraph embeddings, constructs a representative subgraph for each cluster, and pre-computes the key-value (KV) cache of the representative subgraph. For each query with its retrieved subgraph within a cluster, it reuses the pre-computed KV cache of the representative subgraph of the cluster without computing the KV tensors again for saving computation. Experiments on two new datasets across multiple LLM backbones and graph-based RAG frameworks demonstrate that SubGCache consistently reduces inference latency with comparable and even improved generation quality, achieving up to 6.68$\times$ reduction in time-to-first-token (TTFT).

arxiv情報

著者 Qiuyu Zhu,Liang Zhang,Qianxiong Xu,Cheng Long,Jie Zhang
発行日 2025-05-19 17:51:26+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | SubGCache: Accelerating Graph-based RAG with Subgraph-level KV Cache はコメントを受け付けていません

Make Still Further Progress: Chain of Thoughts for Tabular Data Leaderboard

投稿日: 2025年5月20日 作成者: jarxiv

要約

機械学習における基本的なデータ形式である表形式データは、主に競合や現実世界のアプリケーションで利用されています。
勾配モデルのパフォーマンスは、勾配が決定ツリーやニューラルネットワークを強化するなど、特徴分布とタスク特性の違いによりデータセット間で大きく異なります。
各データセットで最高のパフォーマンスを達成するには、多くの場合、専門的な専門知識が必要です。
この変動に対処するために、実践者はしばしば複数のモデルの予測を集約します。
ただし、従来の集約戦略は通常、静的な組み合わせルールに依存しており、インスタンスレベルの適応性を欠いています。
この作業では、外部モデル予測の動的でインスタンス固有の統合を実行するために大規模な言語モデル（LLM）を活用する表形式予測のコンテキスト内アンサンブルフレームワークを提案します。
生の表形式の機能やセマンティック情報へのアクセスがないと、この方法は、最近傍と外部モデルのプールからの予測を使用して、各テストインスタンスの周りにコンテキストを構築します。
この濃縮されたコンテキスト内では、マルチステップで解釈可能な推論を導くプロンプト戦略である表形式の思考のチェーン（Cot $^2 $）を紹介し、専門家レベルの意思決定に向けてさらに進歩します。
実験結果は、私たちの方法が、広範囲の表形式データセットにわたって、よく調整されたベースラインと標準のアンサンブル技術を上回ることを示しています。

要約(オリジナル)

Tabular data, a fundamental data format in machine learning, is predominantly utilized in competitions and real-world applications. The performance of tabular models–such as gradient boosted decision trees and neural networks–can vary significantly across datasets due to differences in feature distributions and task characteristics. Achieving top performance on each dataset often requires specialized expert knowledge. To address this variability, practitioners often aggregate the predictions of multiple models. However, conventional aggregation strategies typically rely on static combination rules and lack instance-level adaptability. In this work, we propose an in-context ensemble framework for tabular prediction that leverages large language models (LLMs) to perform dynamic, instance-specific integration of external model predictions. Without access to raw tabular features or semantic information, our method constructs a context around each test instance using its nearest neighbors and the predictions from a pool of external models. Within this enriched context, we introduce Chain of Tabular Thoughts (CoT$^2$), a prompting strategy that guides LLMs through multi-step, interpretable reasoning, making still further progress toward expert-level decision-making. Experimental results show that our method outperforms well-tuned baselines and standard ensemble techniques across a wide range of tabular datasets.

arxiv情報

著者 Si-Yang Liu,Qile Zhou,Han-Jia Ye
発行日 2025-05-19 17:52:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Make Still Further Progress: Chain of Thoughts for Tabular Data Leaderboard はコメントを受け付けていません

Machine learning the first stage in 2SLS: Practical guidance from bias decomposition and simulation

投稿日: 2025年5月20日 作成者: jarxiv

要約

機械学習（ML）は、主に「予測の問題」を解決するために進化しました。
2段階の最小二乗（2SL）の最初の段階は予測の問題であり、MLの第1段階の支援からの潜在的な利益を示唆しています。
ただし、MLが2SLS $ \ unicode {x2014} $を支援する場合、またはそれが痛い場合は、ほとんどガイダンスが存在しません。
MLを2SLに挿入することの意味を調査し、3つの有益なコンポーネントにバイアスを分解します。
機械的に、ML-in-2SLS手順は、予測および因果関係の設定に共通の問題に直面しています$ \ unicode {x2014} $およびそれらの相互作用。
シミュレーションを通じて、線形MLメソッド（例えば、ラッソ後）がうまく機能することを示しますが、非線形メソッド（ランダムフォレスト、ニューラルネットなど）は、第2段階の推定値で実質的なバイアスを生成します$ \ Unicode {x2014} $は、内生のOLのバイアスを潜在的に超えています。

要約(オリジナル)

Machine learning (ML) primarily evolved to solve ‘prediction problems.’ The first stage of two-stage least squares (2SLS) is a prediction problem, suggesting potential gains from ML first-stage assistance. However, little guidance exists on when ML helps 2SLS$\unicode{x2014}$or when it hurts. We investigate the implications of inserting ML into 2SLS, decomposing the bias into three informative components. Mechanically, ML-in-2SLS procedures face issues common to prediction and causal-inference settings$\unicode{x2014}$and their interaction. Through simulation, we show linear ML methods (e.g., post-Lasso) work well, while nonlinear methods (e.g., random forests, neural nets) generate substantial bias in second-stage estimates$\unicode{x2014}$potentially exceeding the bias of endogenous OLS.

arxiv情報

著者 Connor Lennon,Edward Rubin,Glen Waddell
発行日 2025-05-19 17:53:15+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, econ.EM, stat.AP, stat.ML | Machine learning the first stage in 2SLS: Practical guidance from bias decomposition and simulation はコメントを受け付けていません