Learning Beyond Experience: Generalizing to Unseen State Space with Reservoir Computing

投稿日: 2025年6月6日 作成者: jarxiv

要約

機械学習技術は、観察されたデータからのみ動的システムをモデル化するための効果的なアプローチを提供します。
ただし、これらの手法は、通常、トレーニングデータに不十分に表されているダイナミクスの側面に一般化するのに苦労している、明示的な構造的前提（基礎となるダイナミクスに関する仮定が組み込まれていない）がなければ。
ここでは、ダイナミカルシステムのデータ駆動型モデリングによく使用されるシンプルで効率的で汎用性の高い機械学習フレームワークである貯水池コンピューティングが、明示的な構造プライアーなしで未開拓の状態空間の領域に一般化できることを実証します。
まず、馬鹿げた時系列のコレクション全体でトレーニングをサポートし、利用可能なトレーニングデータの効果的な使用を可能にする貯水池コンピューターの多注文トレーニングスキームについて説明します。
次に、このトレーニングスキームを多数の動的システムに適用すると、単一のアトラクション盆地からの軌跡をトレーニングしたRCSが、完全に観測されていない盆地でシステムの動作をキャプチャすることにより、ドメイン外の一般化を達成できることを示します。

要約(オリジナル)

Machine learning techniques offer an effective approach to modeling dynamical systems solely from observed data. However, without explicit structural priors — built-in assumptions about the underlying dynamics — these techniques typically struggle to generalize to aspects of the dynamics that are poorly represented in the training data. Here, we demonstrate that reservoir computing — a simple, efficient, and versatile machine learning framework often used for data-driven modeling of dynamical systems — can generalize to unexplored regions of state space without explicit structural priors. First, we describe a multiple-trajectory training scheme for reservoir computers that supports training across a collection of disjoint time series, enabling effective use of available training data. Then, applying this training scheme to multistable dynamical systems, we show that RCs trained on trajectories from a single basin of attraction can achieve out-of-domain generalization by capturing system behavior in entirely unobserved basins.

arxiv情報

著者 Declan A. Norton,Yuanzhao Zhang,Michelle Girvan
発行日 2025-06-05 17:46:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.DS, nlin.CD, physics.comp-ph | コメントする

A Smooth Sea Never Made a Skilled $\texttt{SAILOR}$: Robust Imitation via Learning to Search

投稿日: 2025年6月6日 作成者: jarxiv

要約

模倣学習に対する行動クローニング（BC）アプローチの基本的な制限は、専門家が訪れた州で専門家が行ったことのみを教えることです。
これは、BCエージェントがデモンストレーションのサポートからそれらを奪う間違いを犯したとき、彼らはしばしばそれから回復する方法を知らないことを意味します。
この意味で、BCは、エージェントに魚を魚に教えるのではなく、狭い状態で密集した監督を与えることに似ています。テスト時に見えない状況に直面しても、専門家の結果を達成することについて独立して推論できるように。
これに応じて、専門家のデモンストレーションから検索（L2）を検索することを検討します。つまり、テスト時に必要なコンポーネントを学習し、間違いを犯した後でも、専門家の結果を一致させることを計画しています。
これらには、（1）世界モデルと（2）報酬モデルが含まれます。
これらのコンポーネントと他のコンポーネントを組み合わせて、追加の人間の補正なしで安定したサンプル/相互作用効率の回復行動の学習に必要なアルゴリズムと設計の決定のセットを慎重に除去します。
3つのベンチマークからのダースの視覚操作タスクを超えて、私たちのアプローチ$ \ Texttt {Sailor} $は、同じデータでBCを介してトレーニングされた最先端の拡散ポリシーを一貫してパフォーマンスしています。
さらに、BCに使用されるデモンストレーションの量を5-10 $ \ Times $でスケールアップすると、パフォーマンスギャップが残ります。
$ \ texttt {Sailor} $は、微妙な障害を識別し、ハッキングに報いるのに堅牢であることがわかります。
私たちのコードは、https：//github.com/arnavkj1995/sailorで入手できます。

要約(オリジナル)

The fundamental limitation of the behavioral cloning (BC) approach to imitation learning is that it only teaches an agent what the expert did at states the expert visited. This means that when a BC agent makes a mistake which takes them out of the support of the demonstrations, they often don’t know how to recover from it. In this sense, BC is akin to giving the agent the fish — giving them dense supervision across a narrow set of states — rather than teaching them to fish: to be able to reason independently about achieving the expert’s outcome even when faced with unseen situations at test-time. In response, we explore learning to search (L2S) from expert demonstrations, i.e. learning the components required to, at test time, plan to match expert outcomes, even after making a mistake. These include (1) a world model and (2) a reward model. We carefully ablate the set of algorithmic and design decisions required to combine these and other components for stable and sample/interaction-efficient learning of recovery behavior without additional human corrections. Across a dozen visual manipulation tasks from three benchmarks, our approach $\texttt{SAILOR}$ consistently out-performs state-of-the-art Diffusion Policies trained via BC on the same data. Furthermore, scaling up the amount of demonstrations used for BC by 5-10$\times$ still leaves a performance gap. We find that $\texttt{SAILOR}$ can identify nuanced failures and is robust to reward hacking. Our code is available at https://github.com/arnavkj1995/SAILOR .

arxiv情報

著者 Arnav Kumar Jain,Vibhakar Mohta,Subin Kim,Atiksh Bhardwaj,Juntao Ren,Yunhai Feng,Sanjiban Choudhury,Gokul Swamy
発行日 2025-06-05 17:47:40+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | コメントする

Power Law Guided Dynamic Sifting for Efficient Attention

投稿日: 2025年6月6日 作成者: jarxiv

要約

特に注意計算における高帯域幅メモリ（HBM）とSRAMの間のデータ転送中、メモリ帯域幅の制限のために、大きな言語モデルを使用したGPUの効率的な推論は依然として困難です。
おおよその注意方法は、計算およびメモリのオーバーヘッドを削減することによりこの問題に対処しますが、GPUでパフォーマンスが低い高価な$ $ k $操作に依存することがよくあります。
Siftattentionを提案します。これは、上位$ k $ステップを、しきい値に基づいて計算効率の高い要素ごとのフィルタリング操作に置き換える新しい近似注意方法です。
これを行うための私たちの直感は、注意スコアの$ \ tau $ -thitileが連続した生成ステップを介した予測可能なパワーローに従うという経験的な観察に基づいています。
この洞察を活用すると、私たちのアプローチは、各世代のステップでのプロンプトあたりのしきい値を動的に推定します。
このしきい値を超える注意スコアと、対応する値ベクトルは、注意出力を計算するためにロード/使用され、HBMとSRAMの間のデータの動きを削減します。
私たちの評価は、Siftattentionが既存の近似注意方法よりもモデルの品質をよりよく保持し、値ベクトルをロードするときにメモリ帯域幅の使用を削減することを示しています。

要約(オリジナル)

Efficient inference on GPUs using large language models remains challenging due to memory bandwidth limitations, particularly during data transfers between High Bandwidth Memory (HBM) and SRAM in attention computations. Approximate attention methods address this issue by reducing computational and memory overhead but often rely on expensive top-$k$ operations, which perform poorly on GPUs. We propose SiftAttention, a novel approximate attention method that replaces the top-$k$ step with a computationally efficient element-wise filtering operation based on a threshold value. Our intuition for doing this is based on our empirical observation that the $\tau$-th quantile of attention scores follows a predictable power-law over sequential generation steps. Exploiting this insight, our approach dynamically estimates a threshold value per prompt at each generation step. Only attention scores above this threshold and their corresponding value vectors are loaded/used to compute the attention output, reducing data movement between HBM and SRAM. Our evaluation demonstrates that SiftAttention preserves model quality better than existing approximate attention methods while reducing memory bandwidth usage when loading value vectors.

arxiv情報

著者 Nirav Koley,Prajwal Singhania,Abhinav Bhatele
発行日 2025-06-05 17:50:32+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | コメントする

Learning normalized image densities via dual score matching

投稿日: 2025年6月6日 作成者: jarxiv

要約

データからの学習確率モデルは多くの機械学習の努力の中心にありますが、次元の呪いのために難しいことで有名です。
スコアを推定するために最適化されたネットワークに依存する、拡散生成モデルからインスピレーションを受けた学習\ emph {remormized}エネルギー（ログ確率）モデルのための新しいフレームワークを紹介します。
スコアネットワークアーキテクチャを変更して、誘導バイアスを維持しながらエネルギーを計算します。
入力画像に関するこのエネルギーネットワークの勾配は、学習密度のスコアであり、除去目標を使用して最適化できます。
重要なことに、ノイズレベルに関する勾配は、新しい二次目標で最適化できる追加スコアを提供し、ノイズレベル全体で一貫した正規化されたエネルギーを確保します。
Imagenet64データセットのこの\ emph {dual}スコアマッチング目標を使用してエネルギーネットワークをトレーニングし、アートの最新技術に匹敵するクロスエントロピー（負の対数尤度）値を取得します。
さらに、エネルギーモデル\ end {強く一般化}：推定ログ確率がトレーニングセットの特定の画像とほぼ依存していることを示すことで、アプローチを検証します。
最後に、ローカル近隣の画像の確率と次元の両方が、測定の集中や低次元の多様体へのサポートなどの従来の仮定とは対照的に、画像含有量によって大きく異なることを実証します。

要約(オリジナル)

Learning probability models from data is at the heart of many machine learning endeavors, but is notoriously difficult due to the curse of dimensionality. We introduce a new framework for learning \emph{normalized} energy (log probability) models that is inspired from diffusion generative models, which rely on networks optimized to estimate the score. We modify a score network architecture to compute an energy while preserving its inductive biases. The gradient of this energy network with respect to its input image is the score of the learned density, which can be optimized using a denoising objective. Importantly, the gradient with respect to the noise level provides an additional score that can be optimized with a novel secondary objective, ensuring consistent and normalized energies across noise levels. We train an energy network with this \emph{dual} score matching objective on the ImageNet64 dataset, and obtain a cross-entropy (negative log likelihood) value comparable to the state of the art. We further validate our approach by showing that our energy model \emph{strongly generalizes}: estimated log probabilities are nearly independent of the specific images in the training set. Finally, we demonstrate that both image probability and dimensionality of local neighborhoods vary significantly with image content, in contrast with traditional assumptions such as concentration of measure or support on a low-dimensional manifold.

arxiv情報

著者 Florentin Guth,Zahra Kadkhodaie,Eero P Simoncelli
発行日 2025-06-05 17:53:57+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | コメントする

Generalizable, real-time neural decoding with hybrid state-space models

投稿日: 2025年6月6日 作成者: jarxiv

要約

神経活動のリアルタイムデコードは、閉ループ実験から脳コンピューター界面まで、神経科学および神経科学のアプリケーションの中心であり、モデルは厳密な潜在的制約の影響を受けます。
単純な再発性ニューラルネットワークを含む従来の方法は、高速で軽量ですが、目に見えないデータに一般化するのに苦労しています。
対照的に、最近の変圧器ベースのアプローチは、強力な一般化パフォーマンスのために大規模な事前トレーニングを活用していますが、通常ははるかに大きな計算要件を持ち、低リソースやリアルタイムの設定に常に適しているわけではありません。
これらの欠点に対処するために、クロスアテンションモジュールを介した個々のスパイクトークン化を再発状態空間モデル（SSM）バックボーンと組み合わせて（1）（1）（1）（2）（2）（2）（2）（2）（2）（2）（2）（2）（2）（2）（2）（2）（2）（2）、新しいセッション、個人、およびマルチダタセットのPretrineを通じてのタスクの個人化、個人、および（2）効率的な一般化を実現する新しいHybridアーキテクチャであるPassmを提示します。
Monkey Motor Taskの皮質内デコードに関するPossmのデコード性能と推論速度を評価し、臨床応用、つまり人間の被験者における手書きと音声解読にまで及ぶことを示します。
特に、サルの運動皮質記録を事前に除去すると、人間の手書きタスクのデコードパフォーマンスが向上し、異種移動のエキサイティングな可能性を強調することが実証されています。
これらのタスクのすべてで、Possmは、推論コストのほんの一部（GPUで最大9倍高速）で、最先端の変圧器に匹敵するデコード精度を達成することがわかります。
これらの結果は、ハイブリッドSSMが、リアルタイムの閉ループアプリケーションのために神経デコーダーをトレーニングする際の精度、推論速度、および一般化の間のギャップを埋めるための有望なアプローチであることを示唆しています。

要約(オリジナル)

Real-time decoding of neural activity is central to neuroscience and neurotechnology applications, from closed-loop experiments to brain-computer interfaces, where models are subject to strict latency constraints. Traditional methods, including simple recurrent neural networks, are fast and lightweight but often struggle to generalize to unseen data. In contrast, recent Transformer-based approaches leverage large-scale pretraining for strong generalization performance, but typically have much larger computational requirements and are not always suitable for low-resource or real-time settings. To address these shortcomings, we present POSSM, a novel hybrid architecture that combines individual spike tokenization via a cross-attention module with a recurrent state-space model (SSM) backbone to enable (1) fast and causal online prediction on neural activity and (2) efficient generalization to new sessions, individuals, and tasks through multi-dataset pretraining. We evaluate POSSM’s decoding performance and inference speed on intracortical decoding of monkey motor tasks, and show that it extends to clinical applications, namely handwriting and speech decoding in human subjects. Notably, we demonstrate that pretraining on monkey motor-cortical recordings improves decoding performance on the human handwriting task, highlighting the exciting potential for cross-species transfer. In all of these tasks, we find that POSSM achieves decoding accuracy comparable to state-of-the-art Transformers, at a fraction of the inference cost (up to 9x faster on GPU). These results suggest that hybrid SSMs are a promising approach to bridging the gap between accuracy, inference speed, and generalization when training neural decoders for real-time, closed-loop applications.

arxiv情報

著者 Avery Hee-Woon Ryoo,Nanda H. Krishna,Ximeng Mao,Mehdi Azabou,Eva L. Dyer,Matthew G. Perich,Guillaume Lajoie
発行日 2025-06-05 17:57:08+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, q-bio.NC | コメントする

LSM-2: Learning from Incomplete Wearable Sensor Data

投稿日: 2025年6月6日 作成者: jarxiv

要約

機械学習における最近の進歩の基礎であるFoundationモデルは、主に完全でよく構築されたデータで繁栄しています。
ウェアラブルセンサーデータは頻繁に大きな欠落に苦しんでおり、通常、完全なデータ入力を想定する自己監視学習（SSL）モデルに大きな課題をもたらします。
このホワイトペーパーでは、明示的な帰属を必要とせずに不完全なデータから直接堅牢な表現を学習する新しいSSLアプローチである、適応および継承されたマスキング（AIM）を使用して、第2世代の大センサーモデル（LSM-2）を紹介します。
AIMのコアノベルティは、学習可能なマスクトークンを使用して、既存（「継承」）と人為的に導入された欠落の両方をモデル化し、推論中に断片化された実際のデータを堅牢に処理できるようにします。
40m時間の1日のマルチモーダルセンサーデータの広範なデータセットで事前に訓練されたAIMのLSM-2は、分類、回帰、生成モデリングなど、多様なタスクで最高のパフォーマンスを実現します。
さらに、AIMを備えたLSM-2は優れたスケーリングパフォーマンスを示し、非常に高いパフォーマンスは、高血圧予測のための夜間バイオシグナルの診断値など、臨床的に一貫性のあるパターンを反映して、ターゲットの欠落シナリオの下でも高性能を維持します。
これにより、実際のウェアラブルデータアプリケーションにとって、AIMはより信頼性の高い選択になります。

要約(オリジナル)

Foundation models, a cornerstone of recent advancements in machine learning, have predominantly thrived on complete and well-structured data. Wearable sensor data frequently suffers from significant missingness, posing a substantial challenge for self-supervised learning (SSL) models that typically assume complete data inputs. This paper introduces the second generation of Large Sensor Model (LSM-2) with Adaptive and Inherited Masking (AIM), a novel SSL approach that learns robust representations directly from incomplete data without requiring explicit imputation. AIM’s core novelty lies in its use of learnable mask tokens to model both existing (‘inherited’) and artificially introduced missingness, enabling it to robustly handle fragmented real-world data during inference. Pre-trained on an extensive dataset of 40M hours of day-long multimodal sensor data, our LSM-2 with AIM achieves the best performance across a diverse range of tasks, including classification, regression and generative modeling. Furthermore, LSM-2 with AIM exhibits superior scaling performance, and critically, maintains high performance even under targeted missingness scenarios, reflecting clinically coherent patterns, such as the diagnostic value of nighttime biosignals for hypertension prediction. This makes AIM a more reliable choice for real-world wearable data applications.

arxiv情報

著者 Maxwell A. Xu,Girish Narayanswamy,Kumar Ayush,Dimitris Spathis,Shun Liao,Shyam A. Tailor,Ahmed Metwally,A. Ali Heydari,Yuwei Zhang,Jake Garrison,Samy Abdel-Ghaffar,Xuhai Xu,Ken Gu,Jacob Sunshine,Ming-Zher Poh,Yun Liu,Tim Althoff,Shrikanth Narayanan,Pushmeet Kohli,Mark Malhotra,Shwetak Patel,Yuzhe Yang,James M. Rehg,Xin Liu,Daniel McDuff
発行日 2025-06-05 17:57:11+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | コメントする

Seeing the Invisible: Machine learning-Based QPI Kernel Extraction via Latent Alignment

投稿日: 2025年6月6日 作成者: jarxiv

要約

準粒子干渉（QPI）イメージングは​​、量子材料の電子構造を調査するための強力なツールですが、マルチスカッカー画像から単一散乱QPIパターン（つまり、カーネル）を抽出するための強力なツールです。
この作業では、QPIカーネル抽出のための最初のAIベースのフレームワークを提案します。
観測からカーネルへの推論から学習をカーネル表現を分離する2段階の学習戦略を紹介します。
最初のステップでは、バリエーションオートエンコーダーを訓練して、散乱カーネルのコンパクトな潜在スペースを学習します。
2番目のステップでは、QPI観測の潜在的な表現を、専用エンコーダーを使用して、事前に学習したカーネルの潜在表現と整列させます。
この設計により、モデルは、複雑で絡み合った散乱条件下でも核心を堅牢に推測できます。
100個の一意のカーネルで構成される多様で物理的に現実的なQPIデータセットを構築し、直接のワンステップベースラインに対して方法を評価します。
実験結果は、私たちのアプローチが抽出の精度が大幅に高いことを実証し、目に見えないカーネルへの一般化を改善したことを示しています。

要約(オリジナル)

Quasiparticle interference (QPI) imaging is a powerful tool for probing electronic structures in quantum materials, but extracting the single-scatterer QPI pattern (i.e., the kernel) from a multi-scatterer image remains a fundamentally ill-posed inverse problem. In this work, we propose the first AI-based framework for QPI kernel extraction. We introduce a two-step learning strategy that decouples kernel representation learning from observation-to-kernel inference. In the first step, we train a variational autoencoder to learn a compact latent space of scattering kernels. In the second step, we align the latent representation of QPI observations with those of the pre-learned kernels using a dedicated encoder. This design enables the model to infer kernels robustly even under complex, entangled scattering conditions. We construct a diverse and physically realistic QPI dataset comprising 100 unique kernels and evaluate our method against a direct one-step baseline. Experimental results demonstrate that our approach achieves significantly higher extraction accuracy, and improved generalization to unseen kernels.

arxiv情報

著者 Yingshuai Ji,Haomin Zhuang,Matthew Toole,James McKenzie,Xiaolong Liu,Xiangliang Zhang
発行日 2025-06-05 17:58:09+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | コメントする

Admissibility of Completely Randomized Trials: A Large-Deviation Approach

投稿日: 2025年6月6日 作成者: jarxiv

要約

実験者が適応試験を実行するオプションを持っている場合、このオプションを無視して代わりに不適合試験を実行することは許容されますか？
実験者は、最も効果的な治療部門を自信を持って展開するために測定努力を慎重に割り当てることを目指している最高の腕の識別問題で、この質問に対する否定的な答えを提供します。
少なくとも3つの治療群があるときはいつでも、普遍的かつ厳密に支配的でない完全に無作為化された試験を普遍的かつ厳密に支配する単純な適応設計が存在することがわかります。
この優位性は、実験サンプルが大きいときに設計の統計効率を定量化する効率指数と呼ばれる概念によって特徴付けられます。
私たちの分析は、バッチングアームエリミネーションデザインのクラスに焦点を当てており、事前に指定されたバッチ間隔で徐々にパフォーマンスの低いアームを徐々に排除します。
これらの設計が完全に無作為化された試験を普遍的かつ厳密に支配する単純な十分な条件を特徴付けます。
これらの結果は、Qin [2022]でもたらされる2番目の未解決の問題を解決します。

要約(オリジナル)

When an experimenter has the option of running an adaptive trial, is it admissible to ignore this option and run a non-adaptive trial instead? We provide a negative answer to this question in the best-arm identification problem, where the experimenter aims to allocate measurement efforts judiciously to confidently deploy the most effective treatment arm. We find that, whenever there are at least three treatment arms, there exist simple adaptive designs that universally and strictly dominate non-adaptive completely randomized trials. This dominance is characterized by a notion called efficiency exponent, which quantifies a design’s statistical efficiency when the experimental sample is large. Our analysis focuses on the class of batched arm elimination designs, which progressively eliminate underperforming arms at pre-specified batch intervals. We characterize simple sufficient conditions under which these designs universally and strictly dominate completely randomized trials. These results resolve the second open problem posed in Qin [2022].

arxiv情報

著者 Guido Imbens,Chao Qin,Stefan Wager
発行日 2025-06-05 17:58:43+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, econ.EM, stat.ML | コメントする

The NTNU System at the S&I Challenge 2025 SLA Open Track

投稿日: 2025年6月6日 作成者: jarxiv

要約

音声言語評価に関する最近の研究ライン（SLA）は、BertやWAV2VEC 2.0（W2V）などのニューラルモデルを採用して、言語および音響モダリティ全体の話す習熟度を評価しています。
両方のモデルは、口頭能力に関連する機能を効果的にキャプチャしますが、それぞれがモダリティ固有の制限を示しています。
BERTベースの方法は、SLAの韻律的および音声的キューをキャプチャできないことが多いASR転写産物に依存しています。
対照的に、W2Vベースの方法は、音響機能のモデリングに優れていますが、セマンティックな解釈可能性がありません。
これらの制限を克服するために、スコアフュージョン戦略を通じてW2VをPHI-4マルチモーダル大手言語モデル（MLLM）を統合するシステムを提案します。
提案されたシステムは、Speak＆Import Challenge 2025の公式テストセットで0.375のルート平均平方根誤差（RMSE）を達成し、競争で2位を獲得します。
比較のために、トップランク、3位、および公式のベースラインシステムのRMSは、それぞれ0.364、0.384、および0.444です。

要約(オリジナル)

A recent line of research on spoken language assessment (SLA) employs neural models such as BERT and wav2vec 2.0 (W2V) to evaluate speaking proficiency across linguistic and acoustic modalities. Although both models effectively capture features relevant to oral competence, each exhibits modality-specific limitations. BERT-based methods rely on ASR transcripts, which often fail to capture prosodic and phonetic cues for SLA. In contrast, W2V-based methods excel at modeling acoustic features but lack semantic interpretability. To overcome these limitations, we propose a system that integrates W2V with Phi-4 multimodal large language model (MLLM) through a score fusion strategy. The proposed system achieves a root mean square error (RMSE) of 0.375 on the official test set of the Speak & Improve Challenge 2025, securing second place in the competition. For comparison, the RMSEs of the top-ranked, third-ranked, and official baseline systems are 0.364, 0.384, and 0.444, respectively.

arxiv情報

著者 Hong-Yun Lin,Tien-Hong Lo,Yu-Hsuan Fang,Jhen-Ke Lin,Chung-Chun Wang,Hao-Chien Lu,Berlin Chen
発行日 2025-06-05 15:09:23+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.SD, eess.AS | コメントする

CHIMERA: A Knowledge Base of Idea Recombination in Scientific Literature

投稿日: 2025年6月6日 作成者: jarxiv

要約

人間の革新の特徴は、組換えのプロセスです。既存のメカニズムと概念の要素を統合することにより、オリジナルのアイデアを作成します。
この作業では、科学文献を自動的にマイニングし、キメラを構築します。再結合の例の大規模な知識ベース（KB）です。
キメラは、科学者がどのように概念を再結合し、さまざまな分野からインスピレーションを得るかを経験的に調査するために、または新しい創造的なクロスドメインの方向を予測することを学ぶ監督された機械学習モデルを訓練するために使用できます。
このKBを構築するために、科学論文の要約から組換えを抽出するという新しい情報抽出タスクを提示し、数百の手動で発表されたアブストラクトの高品質のコーパスを収集し、LLMベースの抽出モデルを訓練するためにそれを使用します。
このモデルは、AIドメイン内の大規模な紙のコーパスに適用され、28kを超える組換え例のKBが得られます。
キメラを分析して、AIの異なるサブレアの組換えの特性を探索します。
最後に、KBを使用して科学的仮説生成モデルを訓練します。これは、現実世界の研究者がインスピレーションを感じる新しい組換え方向を予測します。
データとコードは、https：//github.com/noy-sternlicht/chimera-kbで入手できます

要約(オリジナル)

A hallmark of human innovation is the process of recombination — creating original ideas by integrating elements of existing mechanisms and concepts. In this work, we automatically mine the scientific literature and build CHIMERA: a large-scale knowledge base (KB) of recombination examples. CHIMERA can be used to empirically explore at scale how scientists recombine concepts and take inspiration from different areas, or to train supervised machine learning models that learn to predict new creative cross-domain directions. To build this KB, we present a novel information extraction task of extracting recombination from scientific paper abstracts, collect a high-quality corpus of hundreds of manually annotated abstracts, and use it to train an LLM-based extraction model. The model is applied to a large corpus of papers in the AI domain, yielding a KB of over 28K recombination examples. We analyze CHIMERA to explore the properties of recombination in different subareas of AI. Finally, we train a scientific hypothesis generation model using the KB, which predicts new recombination directions that real-world researchers find inspiring. Our data and code are available at https://github.com/noy-sternlicht/CHIMERA-KB

arxiv情報

著者 Noy Sternlicht,Tom Hope
発行日 2025-06-05 15:20:59+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | コメントする