Neural Network Verification for Gliding Drone Control: A Case Study

投稿日: 2025年5月2日 作成者: jarxiv

要約

機械学習が自律システムにますます展開されるため、ニューラルネットワークコントローラーの検証は積極的な研究領域になりつつあります。
既存のツールと年次検証競争は、この技術がすぐに現実世界のアプリケーションに効果的になることを示唆しています。
私たちのアプリケーションは、風によって受動的に輸送されるマイクロファイヤーの新興分野から来ています。これは、天候や汚染の監視にさまざまな用途がある可能性があります。
具体的には、Alsomitra Macrocarpa diasporesに似たセンチスケールのバイオ風に触れた滑空ドローンを調査します。
この論文では、ターゲットの軌跡に密接に付着することを目的として、ニューラルネットワークコントローラーを使用したアルサミトラ風のドローンの検証に関する新しいケーススタディを提案します。
私たちのシステムは、既存のVNNおよびARCHコンペティションのベンチマークとは大きく異なることを示し、特定の欠点を克服できる場合、ツールの組み合わせが将来そのようなシステムを検証することを約束することを示しています。
回帰ネットワークの堅牢なトレーニングのための新しい方法を提案し、車両とCORAでのこのケーススタディの形式を調査します。
検証結果は、調査対象のトレーニング方法がこのアプリケーションでのニューラルネットワークコントローラーのパフォーマンスと堅牢性を改善するが、範囲と有用性が限られていることを示唆しています。
これは、車両とCORAの両方の体系的な制限と、到達可能性のスケールを縮小するシステムの複雑さによるものであり、詳細に調査します。
これらの制限を克服できれば、エンジニアは人々の生活を改善し、環境への影響を減らす安全で堅牢な技術を開発できるようになります。

要約(オリジナル)

As machine learning is increasingly deployed in autonomous systems, verification of neural network controllers is becoming an active research domain. Existing tools and annual verification competitions suggest that soon this technology will become effective for real-world applications. Our application comes from the emerging field of microflyers that are passively transported by the wind, which may have various uses in weather or pollution monitoring. Specifically, we investigate centimetre-scale bio-inspired gliding drones that resemble Alsomitra macrocarpa diaspores. In this paper, we propose a new case study on verifying Alsomitra-inspired drones with neural network controllers, with the aim of adhering closely to a target trajectory. We show that our system differs substantially from existing VNN and ARCH competition benchmarks, and show that a combination of tools holds promise for verifying such systems in the future, if certain shortcomings can be overcome. We propose a novel method for robust training of regression networks, and investigate formalisations of this case study in Vehicle and CORA. Our verification results suggest that the investigated training methods do improve performance and robustness of neural network controllers in this application, but are limited in scope and usefulness. This is due to systematic limitations of both Vehicle and CORA, and the complexity of our system reducing the scale of reachability, which we investigate in detail. If these limitations can be overcome, it will enable engineers to develop safe and robust technologies that improve people’s lives and reduce our impact on the environment.

arxiv情報

著者 Colin Kessler,Ekaterina Komendantskaya,Marco Casadio,Ignazio Maria Viola,Thomas Flinkow,Albaraa Ammar Othman,Alistair Malhotra,Robbie McPherson
発行日 2025-05-01 16:03:38+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO, cs.SY, eess.SY | Neural Network Verification for Gliding Drone Control: A Case Study はコメントを受け付けていません

FineScope : Precision Pruning for Domain-Specialized Large Language Models Using SAE-Guided Self-Data Cultivation

投稿日: 2025年5月2日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）をゼロからトレーニングするには、重要な計算リソースが必要であり、効率と強力なタスクパフォ​​ーマンスの両方を維持する、より小さなドメイン固有のLLMを開発することに関心を促進します。
Llama、Llama}などの中規模モデルは、ドメイン固有の適応の出発点として機能していますが、特殊なデータセットでテストすると、精度の低下に苦しむことがよくあります。
Finescopeを紹介します。Finescopeは、大規模な前提型モデルからコンパクトでドメイン最適化されたLLMを導き出すためのフレームワークです。
Finescopeは、通信可能な特徴表現を生成する機能に触発され、大きなデータセットからドメイン固有のサブセットを抽出する能力に触発された、スパースオートエンコーダー（SAE）フレームワークを活用します。
ドメイン固有の制約を備えた構造化された剪定を適用し、結果として生じるプルーニックモデルがターゲットドメインの本質的な知識を保持するようにします。
パフォーマンスをさらに向上させるために、これらの剪定されたモデルは自己データ蒸留を受け、SAEキュレーションのデータセットを活用して、剪定中に失われた主要なドメイン固有の情報を復元します。
広範な実験とアブレーション研究は、Finescopeが非常に競争力のあるパフォーマンスを達成し、ドメイン固有のタスクでいくつかの大規模な最先端のLLMを上回ることを示しています。
さらに、我々の結果は、Finescopeにより、SAEによるデータセットで微調整されたときに、剪定されたモデルが元のパフォーマンスのかなりの部分を取り戻すことができることを示しています。
さらに、これらのデータセットを剪定せずに前処理されたLLMSを微調整するために適用すると、ドメイン固有の精度も向上し、アプローチの堅牢性を強調します。
コードがリリースされます。

要約(オリジナル)

Training large language models (LLMs) from scratch requires significant computational resources, driving interest in developing smaller, domain-specific LLMs that maintain both efficiency and strong task performance. Medium-sized models such as LLaMA, llama} have served as starting points for domain-specific adaptation, but they often suffer from accuracy degradation when tested on specialized datasets. We introduce FineScope, a framework for deriving compact, domain-optimized LLMs from larger pretrained models. FineScope leverages the Sparse Autoencoder (SAE) framework, inspired by its ability to produce interpretable feature representations, to extract domain-specific subsets from large datasets. We apply structured pruning with domain-specific constraints, ensuring that the resulting pruned models retain essential knowledge for the target domain. To further enhance performance, these pruned models undergo self-data distillation, leveraging SAE-curated datasets to restore key domain-specific information lost during pruning. Extensive experiments and ablation studies demonstrate that FineScope achieves highly competitive performance, outperforming several large-scale state-of-the-art LLMs in domain-specific tasks. Additionally, our results show that FineScope enables pruned models to regain a substantial portion of their original performance when fine-tuned with SAE-curated datasets. Furthermore, applying these datasets to fine-tune pretrained LLMs without pruning also improves their domain-specific accuracy, highlighting the robustness of our approach. The code will be released.

arxiv情報

著者 Chaitali Bhattacharyya,Yeseong Kim
発行日 2025-05-01 16:05:08+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | FineScope : Precision Pruning for Domain-Specialized Large Language Models Using SAE-Guided Self-Data Cultivation はコメントを受け付けていません

The Illusion of Role Separation: Hidden Shortcuts in LLM Role Learning (and How to Fix Them)

投稿日: 2025年5月2日 作成者: jarxiv

要約

複数の入力ロール（システム命令、ユーザークエリ、外部ツール出力など）を統合する大規模な言語モデル（LLMS）は、実際にますます一般的になっています。
モデルが各ロール（\ emphed {役割分離}と呼ばれる概念）からメッセージを正確に区別することが、一貫したマルチロール動作に不可欠であることを保証することです。
最近の研究では、最先端の迅速な噴射防御をターゲットにしていることがよくありますが、そのような方法は、LLMに役割を区別するか、単に既知のトリガーを記憶するように本当に教えているかどうかは不明のままです。
このホワイトペーパーでは、\ emph {ロール分離学習}を調べます。LLMSを教えるプロセスを、システムとユーザートークンを堅牢に区別するプロセスです。
\ emph {シンプルで制御された実験フレームワーク}を通じて、微調整されたモデルは、しばしば役割識別のために2つのプロキシに依存していることがわかります：（1）タスクタイプの搾取、および（2）テキストの開始への近さ。
データの増強はこれらのショートカットを部分的に軽減できますが、一般に、より深い修正ではなく、反復的なパッチングにつながります。
これに対処するために、モデルの入力エンコードでトークンごとのキューを調整することにより、役割の境界をマークする強化\ emph {invariant信号}を提案します。
特に、ポジションIDを操作することで、モデルがより明確な区別を学習し、表面的なプロキシへの依存を減らすのに役立ちます。
このメカニズム中心の視点に焦点を当てることにより、私たちの仕事は、LLMが単に既知のプロンプトやトリガーを記憶することなく、より確実に一貫したマルチロール動作をより確実に維持できる方法を照らします。

要約(オリジナル)

Large language models (LLMs) that integrate multiple input roles (e.g., system instructions, user queries, external tool outputs) are increasingly prevalent in practice. Ensuring that the model accurately distinguishes messages from each role — a concept we call \emph{role separation} — is crucial for consistent multi-role behavior. Although recent work often targets state-of-the-art prompt injection defenses, it remains unclear whether such methods truly teach LLMs to differentiate roles or merely memorize known triggers. In this paper, we examine \emph{role-separation learning}: the process of teaching LLMs to robustly distinguish system and user tokens. Through a \emph{simple, controlled experimental framework}, we find that fine-tuned models often rely on two proxies for role identification: (1) task type exploitation, and (2) proximity to begin-of-text. Although data augmentation can partially mitigate these shortcuts, it generally leads to iterative patching rather than a deeper fix. To address this, we propose reinforcing \emph{invariant signals} that mark role boundaries by adjusting token-wise cues in the model’s input encoding. In particular, manipulating position IDs helps the model learn clearer distinctions and reduces reliance on superficial proxies. By focusing on this mechanism-centered perspective, our work illuminates how LLMs can more reliably maintain consistent multi-role behavior without merely memorizing known prompts or triggers.

arxiv情報

著者 Zihao Wang,Yibo Jiang,Jiahao Yu,Heqing Huang
発行日 2025-05-01 16:06:16+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: 68T50, cs.AI, cs.CL, I.2 | The Illusion of Role Separation: Hidden Shortcuts in LLM Role Learning (and How to Fix Them) はコメントを受け付けていません

Reward-Augmented Data Enhances Direct Preference Alignment of LLMs

投稿日: 2025年5月2日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）の優先アラインメントは、人間の指示と意図に準拠する能力を大幅に改善しました。
ただし、既存の直接アライメントアルゴリズムは、主に相対的な好みに焦点を当て、AIフィードバック中に裁判官モデルからの報酬スコアを含む優先データにアクセスできるにもかかわらず、応答の定性的な側面を見落としていることがよくあります。
選択されたものとわずかに劣った拒否された応答との間の暗黙の報酬ギャップを最大化するために努力すると、高品質の拒否された応答の過剰適合と不必要な学習が生じる可能性があります。
また、報酬スコアを認識しないことで、LLMは低品質の選択された応答を無差別に支持し、データがまばらな最適な応答に一般化できません。
これらの欠点を克服するために、我々の研究では、データセット内の応答品質の全体的なスペクトルを識別し、学習する報酬条件付きLLMポリシーを導入し、より最適な地域への外挿を導きます。
優先順位を条件に、品質スコアの優先ペアを条件付けして、報酬式のデータセットを構築する効果的で単純なデータリライビング方法を提案します。
さまざまなベンチマークと多様なモデルの実験は、私たちのアプローチが一貫してDPOをかなりのマージンで強化することを示しています。
包括的なアブレーション研究を通じて、我々の方法は優先データの有用性を最大化するだけでなく、学習の問題を軽減し、単なるデータ拡大を超えた幅広い有効性を実証することを実証します。
当社のコードは、https：//github.com/shenao-zhang/reward-augmented-preferenceで入手できます。

要約(オリジナル)

Preference alignment in Large Language Models (LLMs) has significantly improved their ability to adhere to human instructions and intentions. However, existing direct alignment algorithms primarily focus on relative preferences and often overlook the qualitative aspects of responses, despite having access to preference data that includes reward scores from judge models during AI feedback. Striving to maximize the implicit reward gap between the chosen and the slightly inferior rejected responses can cause overfitting and unnecessary unlearning of the high-quality rejected responses. The unawareness of the reward scores also drives the LLM to indiscriminately favor the low-quality chosen responses and fail to generalize to optimal responses that are sparse in data. To overcome these shortcomings, our study introduces reward-conditioned LLM policies that discern and learn from the entire spectrum of response quality within the dataset, helping extrapolate to more optimal regions. We propose an effective yet simple data relabeling method that conditions the preference pairs on quality scores to construct a reward-augmented dataset. The experiments across various benchmarks and diverse models demonstrate that our approach consistently boosts DPO by a considerable margin. Through comprehensive ablation studies, we demonstrate that our method not only maximizes the utility of preference data but also mitigates the issue of unlearning, demonstrating its broad effectiveness beyond mere data expansion. Our code is available at https://github.com/shenao-zhang/reward-augmented-preference.

arxiv情報

著者 Shenao Zhang,Zhihan Liu,Boyi Liu,Yufeng Zhang,Yingxiang Yang,Yongfei Liu,Liyu Chen,Tao Sun,Zhaoran Wang
発行日 2025-05-01 16:20:11+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | Reward-Augmented Data Enhances Direct Preference Alignment of LLMs はコメントを受け付けていません

Automated Review Generation Method Based on Large Language Models

投稿日: 2025年5月2日 作成者: jarxiv

要約

科学的研究に不可欠な文献研究は、研究者の処理能力を超える情報量を急増させるという課題に直面しています。
効率のボトルネックを克服し、認知負荷を削減するために、大規模な言語モデル（LLMS）に基づいた自動レビュー生成方法を提示します。
当社の統計的に検証された評価フレームワークは、生成されたレビューが手動の品質に一致するか、それを超えていることを示しており、ユーザーのドメインの知識を必要とせずに研究分野で幅広い適用可能性を提供します。
プロパン脱水素（PDH）触媒に適用され、この方法は343の記事を迅速に分析し、LLMアカウントごとに平均して記事ごとに秒秒で、35のトピックにまたがる包括的なレビューを作成し、1041の記事の拡張分析で触媒を提供します。
多層的な品質制御により、LLMSの幻覚を効果的に軽減し、専門家の検証により、精度と引用の完全性を確認しながら、95 \％の信頼性で幻覚リスクが0.5 \％未満に減少しました。
リリースされたWindowsアプリケーションにより、ワンクリックレビュー生成が可能になり、より広範な科学的探求の段階を設定しながら、研究の生産性と文献の推奨効率を高めます。

要約(オリジナル)

Literature research, vital for scientific work, faces the challenge of surging information volumes exceeding researchers’ processing capabilities. We present an automated review generation method based on large language models (LLMs) to overcome efficiency bottlenecks and reduce cognitive load. Our statistically validated evaluation framework demonstrates that the generated reviews match or exceed manual quality, offering broad applicability across research fields without requiring users’ domain knowledge. Applied to propane dehydrogenation (PDH) catalysts, our method swiftly analyzed 343 articles, averaging seconds per article per LLM account, producing comprehensive reviews spanning 35 topics, with extended analysis of 1041 articles providing insights into catalysts’ properties. Through multi-layered quality control, we effectively mitigated LLMs’ hallucinations, with expert verification confirming accuracy and citation integrity while demonstrating hallucination risks reduced to below 0.5\% with 95\% confidence. Released Windows application enables one-click review generation, enhancing research productivity and literature recommendation efficiency while setting the stage for broader scientific explorations.

arxiv情報

著者 Shican Wu,Xiao Ma,Dehui Luo,Lulu Li,Xiangcheng Shi,Xin Chang,Xiaoyun Lin,Ran Luo,Chunlei Pei,Changying Du,Zhi-Jian Zhao,Jinlong Gong
発行日 2025-05-01 16:24:05+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, physics.data-an | Automated Review Generation Method Based on Large Language Models はコメントを受け付けていません

OmicsCL: Unsupervised Contrastive Learning for Cancer Subtype Discovery and Survival Stratification

投稿日: 2025年5月2日 作成者: jarxiv

要約

マルチオミクスデータからの病気のサブタイプの監視されていない学習は、個別化医療を進めるための重要な機会を提供します。
OMICSCLを紹介します。これは、遺伝子発現、DNAメチル化、およびmiRNA発現など、不均一なOMICSモダリティなどを共同で組み合わせて統一された潜在空間に共同で埋め込むモジュラーコントラスト学習フレームワークを紹介します。
私たちの方法には、ラベルの付いた結果に依存せずに、生存関連のパターンと整合した表現を学習することをモデルが促進する生存対象の対照的な損失が組み込まれています。
TCGA BRCAデータセットで評価されたOMICSCLは、臨床的に意味のあるクラスターを明らかにし、患者の生存と強い監視されていない一致を達成します。
フレームワークは、ハイパーパラメーター構成全体の堅牢性を示し、サブタイプのコヒーレンスまたは生存層のいずれかを優先順位付けするように調整できます。
アブレーション研究は、生存とアウェアの損失を統合することで、学習埋め込みの予測力が大幅に向上することを確認しています。
これらの結果は、高次元の不均一なOMICSデータにおける生物学的洞察の発見の対照的な目的の約束を強調しています。

要約(オリジナル)

Unsupervised learning of disease subtypes from multi-omics data presents a significant opportunity for advancing personalized medicine. We introduce OmicsCL, a modular contrastive learning framework that jointly embeds heterogeneous omics modalities-such as gene expression, DNA methylation, and miRNA expression-into a unified latent space. Our method incorporates a survival-aware contrastive loss that encourages the model to learn representations aligned with survival-related patterns, without relying on labeled outcomes. Evaluated on the TCGA BRCA dataset, OmicsCL uncovers clinically meaningful clusters and achieves strong unsupervised concordance with patient survival. The framework demonstrates robustness across hyperparameter configurations and can be tuned to prioritize either subtype coherence or survival stratification. Ablation studies confirm that integrating survival-aware loss significantly enhances the predictive power of learned embeddings. These results highlight the promise of contrastive objectives for biological insight discovery in high-dimensional, heterogeneous omics data.

arxiv情報

著者 Atahan Karagoz
発行日 2025-05-01 16:51:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, q-bio.GN, q-bio.QM | OmicsCL: Unsupervised Contrastive Learning for Cancer Subtype Discovery and Survival Stratification はコメントを受け付けていません

Open-Source LLM-Driven Federated Transformer for Predictive IoV Management

投稿日: 2025年5月2日 作成者: jarxiv

要約

インターネットの車両（IOV）エコシステム内の接続された車両の急増は、スケーラブル、リアルタイム、プライバシーを提供するトラフィック管理を確保する上で重要な課題をもたらします。
既存の集中化されたIOVソリューションは、多くの場合、高レイテンシ、限られたスケーラビリティ、および独自の人工知能（AI）モデルへの依存に悩まされ、特にダイナミックおよびプライバシーに敏感な環境において、広範な展開に対する大きな障壁を生み出します。
一方、車両システムに大規模な言語モデル（LLMS）を統合することは、特に迅速な最適化とフェデレートコンテキストでの効果的な利用に関しては、目立たないままです。
これらの課題に対処するために、予測IOV管理のためにオープンソースLLMを活用する新しいフレームワークであるフェデレーションされた迅速な最適化トラフィックトランス（FPOTT）を提案します。
Fpottは、軌道予測を強化するためにテキストプロンプトを繰り返し洗練する動的なプロンプト最適化メカニズムを導入します。
このアーキテクチャは、クラウドベースのLLMSとのリアルタイム推論のために軽量エッジモデルを組み合わせて、グローバルなインテリジェンスを保持するための軽量エッジモデルを組み合わせて、デュアル層のフェデレーション学習パラダイムを採用しています。
変圧器駆動型の合成データジェネレーターは、次世代シミュレーション（NGSIM）形式で多様で忠実なトラフィックシナリオを使用したトレーニングを強化するために組み込まれています。
広範な評価は、Eleutherai Pythia-1Bを利用するFpottが、合成データセットの高性能を維持しながら、実際のデータで99.86％の予測精度を達成することを示しています。
これらの結果は、安全で適応性のあるスケーラブルなIOV管理を可能にするオープンスフォースLLMの可能性を強調し、スマートモビリティエコシステムにおける独自のソリューションの有望な代替品を提供します。

要約(オリジナル)

The proliferation of connected vehicles within the Internet of Vehicles (IoV) ecosystem presents critical challenges in ensuring scalable, real-time, and privacy-preserving traffic management. Existing centralized IoV solutions often suffer from high latency, limited scalability, and reliance on proprietary Artificial Intelligence (AI) models, creating significant barriers to widespread deployment, particularly in dynamic and privacy-sensitive environments. Meanwhile, integrating Large Language Models (LLMs) in vehicular systems remains underexplored, especially concerning prompt optimization and effective utilization in federated contexts. To address these challenges, we propose the Federated Prompt-Optimized Traffic Transformer (FPoTT), a novel framework that leverages open-source LLMs for predictive IoV management. FPoTT introduces a dynamic prompt optimization mechanism that iteratively refines textual prompts to enhance trajectory prediction. The architecture employs a dual-layer federated learning paradigm, combining lightweight edge models for real-time inference with cloud-based LLMs to retain global intelligence. A Transformer-driven synthetic data generator is incorporated to augment training with diverse, high-fidelity traffic scenarios in the Next Generation Simulation (NGSIM) format. Extensive evaluations demonstrate that FPoTT, utilizing EleutherAI Pythia-1B, achieves 99.86% prediction accuracy on real-world data while maintaining high performance on synthetic datasets. These results underscore the potential of open-source LLMs in enabling secure, adaptive, and scalable IoV management, offering a promising alternative to proprietary solutions in smart mobility ecosystems.

arxiv情報

著者 Yazan Otoum,Arghavan Asad,Ishtiaq Ahmad
発行日 2025-05-01 16:54:21+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.ET, cs.LG | Open-Source LLM-Driven Federated Transformer for Predictive IoV Management はコメントを受け付けていません

Large Language Models Understanding: an Inherent Ambiguity Barrier

投稿日: 2025年5月2日 作成者: jarxiv

要約

世界を理解し、関与している対話の意味を捉える能力に関して、大規模な言語モデル（LLMS）の並外れた出現以来、活発な進行中の議論が行われています。
議論と反論は、思考実験、LLMと人間の間の逸話的な会話、統計的言語分析、哲学的考慮事項などに基づいて提案されています。
この短い論文では、思考実験と半形式の考慮事項に基づいた反論を提示します。これは、LLMが驚くほど流fluent的な対話の意味を理解することを妨げる固有の曖昧さの障壁につながります。

要約(オリジナル)

A lively ongoing debate is taking place, since the extraordinary emergence of Large Language Models (LLMs) with regards to their capability to understand the world and capture the meaning of the dialogues in which they are involved. Arguments and counter-arguments have been proposed based upon thought experiments, anecdotal conversations between LLMs and humans, statistical linguistic analysis, philosophical considerations, and more. In this brief paper we present a counter-argument based upon a thought experiment and semi-formal considerations leading to an inherent ambiguity barrier which prevents LLMs from having any understanding of what their amazingly fluent dialogues mean.

arxiv情報

著者 Daniel N. Nissani
発行日 2025-05-01 16:55:44+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Large Language Models Understanding: an Inherent Ambiguity Barrier はコメントを受け付けていません

On the generalization of language models from in-context learning and finetuning: a controlled study

投稿日: 2025年5月2日 作成者: jarxiv

要約

大規模な言語モデルはエキサイティングな能力を示しますが、微妙に微小な一般化を示すことができます。微妙に狭い一般化は、訓練されている関係の単純な逆転から、訓練された情報から作られる可能性のある論理的控除を欠いていることまで、驚くほど狭い一般化を示すことができます。
微調整から一般化するこれらの障害は、これらのモデルの実用的なアプリケーションを妨げる可能性があります。
ただし、言語モデルのコンテキスト内学習は、さまざまな帰納的バイアスを示しており、これらのケースの一部でよりよく一般化できます。
ここでは、コンテキスト内と微調整ベースの学習の間の一般化のこれらの違いを探ります。
そのために、いくつかの新しいデータセットを構築して、モデルの微調ューデータから一般化するモデルの能力を評価および改善しました。
データセットは、データセットの知識を事前化中の知識から分離し、一般化のクリーンなテストを作成するために構築されています。
これらのデータセット内の情報の制御されたサブセットに、コンテキストまたは微調整を通じて、事前に処理された大きなモデルを公開し、さまざまなタイプの一般化を必要とするテストセットでのパフォーマンスを評価します。
全体的に、データが一致する設定では、コンテキスト内の学習が微調整よりも柔軟に一般化できることがわかります（ただし、微調整がより大きな知識構造に組み込まれた逆転に一般化できる場合など、以前の調査結果の資格もあります）。
これらの調査結果に基づいて、微調整による一般化の改善を可能にする方法を提案します。
この方法は、データセットやその他のベンチマークのさまざまな分割にわたって一般化を改善することを示しています。
私たちの結果は、言語モデルのさまざまな学習モードの帰納的バイアスを理解し、そのパフォーマンスを実際に改善することに影響を及ぼします。

要約(オリジナル)

Large language models exhibit exciting capabilities, yet can show surprisingly narrow generalization from finetuning — from failing to generalize to simple reversals of relations they are trained on, to missing logical deductions that can be made from trained information. These failures to generalize from fine-tuning can hinder practical application of these models. However, language models’ in-context learning shows different inductive biases, and can generalize better in some of these cases. Here, we explore these differences in generalization between in-context- and fine-tuning-based learning. To do so, we constructed several novel datasets to evaluate and improve models’ ability to generalize from finetuning data. The datasets are constructed to isolate the knowledge in the dataset from that in pretraining, to create clean tests of generalization. We expose pretrained large models to controlled subsets of the information in these datasets — either in context, or through fine-tuning — and evaluate their performance on test sets that require various types of generalization. We find overall that in data-matched settings, in-context learning can generalize more flexibly than fine-tuning (though we also find some qualifications of prior findings, such as cases when fine-tuning can generalize to reversals embedded in a larger structure of knowledge). We build on these findings to propose a method to enable improved generalization from fine-tuning: adding in-context inferences to finetuning data. We show that this method improves generalization across various splits of our datasets and other benchmarks. Our results have implications for understanding the inductive biases of different modes of learning in language models, and practically improving their performance.

arxiv情報

著者 Andrew K. Lampinen,Arslan Chaudhry,Stephanie C. Y. Chan,Cody Wild,Diane Wan,Alex Ku,Jörg Bornschein,Razvan Pascanu,Murray Shanahan,James L. McClelland
発行日 2025-05-01 17:02:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | On the generalization of language models from in-context learning and finetuning: a controlled study はコメントを受け付けていません

DeepCritic: Deliberate Critique with Large Language Models

投稿日: 2025年5月2日 作成者: jarxiv

要約

大規模な言語モデル（LLM）が急速に進化しているため、正確なフィードバックを提供し、その出力でスケーラブルな監視が緊急かつ重大な問題になります。
自動化された監督を実現するための批評モデルとしてLLMを活用することは、有望なソリューションです。
この作業では、LLMSの数学批評能力の研究と強化に焦点を当てています。
現在のLLM批評家は、各ステップで浅くて表面的な批評を提供し、判断の正確性が低く、LLMジェネレーターが間違いを修正するのに十分なフィードバックを提供するのに苦労しています。
この問題に取り組むために、数学ソリューションの各推論ステップを意図的に批判できるLLM批評家を開発するための斬新で効果的な2段階のフレームワークを提案します。
最初の段階では、QWEN2.5-72B-Instructを使用して、監視付きの微調整の種子データとして4.5Kの長型の批評を生成します。
各種の批評は、多面的な検証と、各推論ステップの最初の批評の詳細な批評を含む、意図的な段階的な批評で構成されています。
次に、PRM800Kからの既存のヒト標識データまたはモンテカルロサンプリングベースの正確性推定を介して取得された自動アノテートデータのいずれかを使用して、微調整されたモデルで強化学習を実行し、批評能力をさらに奨励します。
QWEN2.5-7B-Instructに基づいて構築された開発された批評モデルは、既存のLLM批評家（同じサイズのDeepSeek-R1-DistillモデルとGPT-4Oを含む）をさまざまなエラー識別ベンチマークに著しく上回るだけでなく、LLMジェネレーターがより詳細なフィードバックを通じて誤った手順を補充するのにも役立ちます。

要約(オリジナル)

As Large Language Models (LLMs) are rapidly evolving, providing accurate feedback and scalable oversight on their outputs becomes an urgent and critical problem. Leveraging LLMs as critique models to achieve automated supervision is a promising solution. In this work, we focus on studying and enhancing the math critique ability of LLMs. Current LLM critics provide critiques that are too shallow and superficial on each step, leading to low judgment accuracy and struggling to offer sufficient feedback for the LLM generator to correct mistakes. To tackle this issue, we propose a novel and effective two-stage framework to develop LLM critics that are capable of deliberately critiquing on each reasoning step of math solutions. In the first stage, we utilize Qwen2.5-72B-Instruct to generate 4.5K long-form critiques as seed data for supervised fine-tuning. Each seed critique consists of deliberate step-wise critiques that includes multi-perspective verifications as well as in-depth critiques of initial critiques for each reasoning step. Then, we perform reinforcement learning on the fine-tuned model with either existing human-labeled data from PRM800K or our automatically annotated data obtained via Monte Carlo sampling-based correctness estimation, to further incentivize its critique ability. Our developed critique model built on Qwen2.5-7B-Instruct not only significantly outperforms existing LLM critics (including the same-sized DeepSeek-R1-distill models and GPT-4o) on various error identification benchmarks, but also more effectively helps the LLM generator refine erroneous steps through more detailed feedback.

arxiv情報

著者 Wenkai Yang,Jingwen Chen,Yankai Lin,Ji-Rong Wen
発行日 2025-05-01 17:03:17+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | DeepCritic: Deliberate Critique with Large Language Models はコメントを受け付けていません