Enhancing Performance of Explainable AI Models with Constrained Concept Refinement

投稿日: 2025年2月11日 作成者: jarxiv

要約

精度と解釈可能性のトレードオフは、機械学習（ML）の挑戦でした。
この緊張は、信頼できる解釈可能性のためにMLアルゴリズムを再設計することを目的としているが、プロセスの正確さを犠牲にすることを目的とした、新たに解釈可能な設計方法で特に重要です。
この論文では、概念表現における逸脱の影響を調査することにより、このギャップに対処します。これは、解釈可能なモデルオン予測パフォーマンスの重要なコンポーネントであり、これらの効果を緩和するための新しいフレームワークを提案します。
フレームワークは、解釈可能性を維持する制約の下で概念の埋め込みを最適化するという原則に基づいて構築されます。
生成モデルをテストベッドとして使用して、私たちのアルゴリズムがゼロ損失を達成し、結果のモデルの解釈性を徐々に向上させることを厳密に証明します。
さらに、さまざまなベンチマークにわたる画像分類タスクの説明可能な予測を生成する際に、提案されたフレームワークの実用的なパフォーマンスを評価します。
既存の説明可能な方法と比較して、当社のアプローチは、さまざまな大規模なベンチマークでモデルの解釈可能性を維持しながら、予測の精度を向上させるだけでなく、計算コストが大幅に低いためにこれを達成します。

要約(オリジナル)

The trade-off between accuracy and interpretability has long been a challenge in machine learning (ML). This tension is particularly significant for emerging interpretable-by-design methods, which aim to redesign ML algorithms for trustworthy interpretability but often sacrifice accuracy in the process. In this paper, we address this gap by investigating the impact of deviations in concept representations-an essential component of interpretable models-on prediction performance and propose a novel framework to mitigate these effects. The framework builds on the principle of optimizing concept embeddings under constraints that preserve interpretability. Using a generative model as a test-bed, we rigorously prove that our algorithm achieves zero loss while progressively enhancing the interpretability of the resulting model. Additionally, we evaluate the practical performance of our proposed framework in generating explainable predictions for image classification tasks across various benchmarks. Compared to existing explainable methods, our approach not only improves prediction accuracy while preserving model interpretability across various large-scale benchmarks but also achieves this with significantly lower computational cost.

arxiv情報

著者 Geyu Liang,Senne Michielssen,Salar Fattahi
発行日 2025-02-10 18:53:15+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Enhancing Performance of Explainable AI Models with Constrained Concept Refinement はコメントを受け付けていません

Learning an Optimal Assortment Policy under Observational Data

投稿日: 2025年2月11日 作成者: jarxiv

要約

多項ロジット（MNL）モデルの下でオフラインの品揃え最適化の基本的な問題を研究します。ここでは、販売者は、歴史的な顧客選択データのみに基づいて提供する製品の最適なサブセットを決定する必要があります。
学習ベースの品揃えへのほとんどの既存のアプローチは、顧客との繰り返しのやり取りを通じて最適な品揃えのオンライン学習に焦点を当てていますが、そのような探査は多くの現実世界の設定で費用がかかるか、非実用的です。
この論文では、オフライン学習パラダイムを検討し、効率的なオフラインの品揃えの最適化のための最小限のデータ要件を調査します。
この目的のために、ランクブレークと悲観的な推定を組み合わせたアルゴリズムである悲観的なランクブレイク（PRB）を紹介します。
PRBは、タイトなサブ最適性の上限とほぼ一致する下限を確立することにより、ほぼ最適であることを証明します。
これはさらに、「最適なアイテムカバレッジ」 – 最適な品揃えの各アイテムが履歴データに十分に頻繁に表示されることが十分であり、効率的なオフライン学習に必要であることを示しています。
これは、データ内の完全な最適な品揃えを観察するという以前の要件を大幅に緩和します。
私たちの結果は、MNLモデルの下でのオフラインの品揃え最適化のデータ要件に関する基本的な洞察を提供します。

要約(オリジナル)

We study the fundamental problem of offline assortment optimization under the Multinomial Logit (MNL) model, where sellers must determine the optimal subset of the products to offer based solely on historical customer choice data. While most existing approaches to learning-based assortment optimization focus on the online learning of the optimal assortment through repeated interactions with customers, such exploration can be costly or even impractical in many real-world settings. In this paper, we consider the offline learning paradigm and investigate the minimal data requirements for efficient offline assortment optimization. To this end, we introduce Pessimistic Rank-Breaking (PRB), an algorithm that combines rank-breaking with pessimistic estimation. We prove that PRB is nearly minimax optimal by establishing the tight suboptimality upper bound and a nearly matching lower bound. This further shows that ‘optimal item coverage’ – where each item in the optimal assortment appears sufficiently often in the historical data – is both sufficient and necessary for efficient offline learning. This significantly relaxes the previous requirement of observing the complete optimal assortment in the data. Our results provide fundamental insights into the data requirements for offline assortment optimization under the MNL model.

arxiv情報

著者 Yuxuan Han,Han Zhong,Miao Lu,Jose Blanchet,Zhengyuan Zhou
発行日 2025-02-10 18:54:41+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.OC, math.ST, stat.ML, stat.TH | Learning an Optimal Assortment Policy under Observational Data はコメントを受け付けていません

DeepCrossAttention: Supercharging Transformer Residual Connections

投稿日: 2025年2月11日 作成者: jarxiv

要約

トランスネットワークは、多様なドメイン全体で顕著な成功を収めており、残留接続を含むさまざまな建築革新を活用しています。
ただし、以前のレイヤーの出力を単に合計する従来の残留接続は、重要な情報を希釈する可能性があります。
この作業では、トランスの残留学習を強化するアプローチであるDeepCrossattention（DCA）が導入されています。
DCAは、学習可能な入力依存の重みを使用して、レイヤー出力を動的に組み合わせて、モデルが以前のレイヤーのいずれかで最も関連性の高い情報に選択的に集中できるようにします。
さらに、DCAには深さごとの横断的な反対が組み込まれており、さまざまな深さの層間のより豊かな相互作用が可能になります。
私たちの言語モデリング実験は、DCAが特定のトレーニング時間の困惑を改善することを示しています。
さらに、DCAは、無視できる数のパラメーターを追加しながら、最大3倍高速な同じモデル品質を取得します。
理論分析により、DCAは、集団層の比率が周囲の次元の比率が重要なしきい値を下回ると、精度とモデルサイズの間の改善されたトレードオフを提供することを確認します。

要約(オリジナル)

Transformer networks have achieved remarkable success across diverse domains, leveraging a variety of architectural innovations, including residual connections. However, traditional residual connections, which simply sum the outputs of previous layers, can dilute crucial information. This work introduces DeepCrossAttention (DCA), an approach that enhances residual learning in transformers. DCA employs learnable, input-dependent weights to dynamically combine layer outputs, enabling the model to selectively focus on the most relevant information in any of the previous layers. Furthermore, DCA incorporates depth-wise cross-attention, allowing for richer interactions between layers at different depths. Our language modeling experiments show that DCA achieves improved perplexity for a given training time. Moreover, DCA obtains the same model quality up to 3x faster while adding a negligible number of parameters. Theoretical analysis confirms that DCA provides an improved trade-off between accuracy and model size when the ratio of collective layer ranks to the ambient dimension falls below a critical threshold.

arxiv情報

著者 Mike Heddes,Adel Javanmard,Kyriakos Axiotis,Gang Fu,MohammadHossein Bateni,Vahab Mirrokni
発行日 2025-02-10 18:58:52+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | DeepCrossAttention: Supercharging Transformer Residual Connections はコメントを受け付けていません

KARMA: Leveraging Multi-Agent LLMs for Automated Knowledge Graph Enrichment

投稿日: 2025年2月11日 作成者: jarxiv

要約

包括的かつ最新の知識グラフ（KG）を維持することは、最新のAIシステムにとって重要ですが、科学文献の急速な成長に合わせて手動のキュレーションは拡大するのに苦労しています。
このペーパーでは、非構造化されたテキストの構造化分析を通じてKG濃縮を自動化するために、マルチエージェント大手言語モデル（LLMS）を採用した新しいフレームワークであるKarmaを紹介します。
私たちのアプローチでは、エンティティの発見、関係抽出、スキーマアライメント、および競合解決を繰り返し、ドメイン固有のスキーマを順守しながら既存のグラフ構造に統合する競合の解決にまたがる9つの共同エージェントを採用しています。
3つの異なるドメインからの1,200のPubMedの記事での実験は、知識グラフ濃縮におけるKarmaの有効性を示しています。最大38,230の新しいエンティティを特定しながら、83.1 \％LLM検証の正確性を達成し、多層評価を通じて18.6 \％増加する紛争を削減します。
。

要約(オリジナル)

Maintaining comprehensive and up-to-date knowledge graphs (KGs) is critical for modern AI systems, but manual curation struggles to scale with the rapid growth of scientific literature. This paper presents KARMA, a novel framework employing multi-agent large language models (LLMs) to automate KG enrichment through structured analysis of unstructured text. Our approach employs nine collaborative agents, spanning entity discovery, relation extraction, schema alignment, and conflict resolution that iteratively parse documents, verify extracted knowledge, and integrate it into existing graph structures while adhering to domain-specific schema. Experiments on 1,200 PubMed articles from three different domains demonstrate the effectiveness of KARMA in knowledge graph enrichment, with the identification of up to 38,230 new entities while achieving 83.1\% LLM-verified correctness and reducing conflict edges by 18.6\% through multi-layer assessments.

arxiv情報

著者 Yuxing Lu,Jinzhuo Wang
発行日 2025-02-10 13:51:36+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CE, cs.CL, cs.DL | KARMA: Leveraging Multi-Agent LLMs for Automated Knowledge Graph Enrichment はコメントを受け付けていません

Adaptive Prompting: Ad-hoc Prompt Composition for Social Bias Detection

投稿日: 2025年2月11日 作成者: jarxiv

要約

指導の微調整に関する最近の進歩により、明示的な推論ステップなどの大規模な言語モデルのさまざまなプロンプトテクニックの開発が生まれました。
ただし、手法の成功は、提供されたタスク、言語モデル、コンテキストなど、さまざまなパラメーターに依存します。
したがって、効果的なプロンプトを見つけることは、多くの場合、試行錯誤のプロセスです。
自動プロンプトへの既存のアプローチのほとんどは、テクニックの構成と入力への依存の代わりに個々のテクニックを最適化することを目的としています。
このギャップを埋めるために、特定の入力の最適なプロンプト構成アドホックを予測する適応プロンプトアプローチを提案します。
私たちは、意味の理解を必要とする非常にコンテキスト依存的なタスクである社会的バイアス検出にアプローチを適用します。
3つのデータセットで3つの大きな言語モデルで評価し、構成を個々のテクニックやその他のベースラインと比較します。
結果は、効果的な迅速な構成を見つけることの重要性を強調しています。
当社のアプローチは、高い検出パフォーマンスを堅牢に保証し、いくつかの設定で最適です。
さらに、他のタスクに関する最初の実験は、その一般化可能性をサポートしています。

要約(オリジナル)

Recent advances on instruction fine-tuning have led to the development of various prompting techniques for large language models, such as explicit reasoning steps. However, the success of techniques depends on various parameters, such as the task, language model, and context provided. Finding an effective prompt is, therefore, often a trial-and-error process. Most existing approaches to automatic prompting aim to optimize individual techniques instead of compositions of techniques and their dependence on the input. To fill this gap, we propose an adaptive prompting approach that predicts the optimal prompt composition ad-hoc for a given input. We apply our approach to social bias detection, a highly context-dependent task that requires semantic understanding. We evaluate it with three large language models on three datasets, comparing compositions to individual techniques and other baselines. The results underline the importance of finding an effective prompt composition. Our approach robustly ensures high detection performance, and is best in several settings. Moreover, first experiments on other tasks support its generalizability.

arxiv情報

著者 Maximilian Spliethöver,Tim Knebler,Fabian Fumagalli,Maximilian Muschalik,Barbara Hammer,Eyke Hüllermeier,Henning Wachsmuth
発行日 2025-02-10 14:06:19+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Adaptive Prompting: Ad-hoc Prompt Composition for Social Bias Detection はコメントを受け付けていません

It’s All in The [MASK]: Simple Instruction-Tuning Enables BERT-like Masked Language Models As Generative Classifiers

投稿日: 2025年2月11日 作成者: jarxiv

要約

BertやModernbertなどのエンコーダーのみのモデルは、実際のNLPアプリケーションで遍在していますが、タスク固有の分類ヘッドへの従来の依存は、デコーダーベースの大手言語モデル（LLMS）と比較して適用性を制限できます。
この作業では、生成分類のためにマスクされた言語モデリング（MLM）ヘッドを活用する0.4BパラメーターエンコーダーモデルであるModernBert-Large-Instructを紹介します。
私たちのアプローチでは、意図的にシンプルなトレーニングループと推論メカニズムを採用しています。これらのメカニズムは、重度の前処理、重度の設計プロンプト、またはアーキテクチャの変更を必要としません。
ModernBert-Large-Instructは、分類と知識ベースのタスクの両方で強力なゼロショットパフォーマンスを示し、MMLUで同様にサイズのLLMを上回り、Llama3-1BのMMLUパフォーマンスの93％を達成し、パラメーターを60％少なくします。
また、微調整された場合、MLMヘッドを使用した生成アプローチは、多様なNLUタスクにわたって従来の分類ヘッドメソッドを上回っていることを実証します。
ボリューム、より少ないダイバーデータは、パフォーマンスがかなり弱くなります。
予備的ではありますが、これらの結果は、下流タスクのために、従来のタスク固有のヘッドの上に元の生成マスク言語モデリングヘッドを使用する可能性を示しています。
私たちの仕事は、この分野へのさらなる調査が保証されており、将来の改善のために多くの道を強調していることを示唆しています。

要約(オリジナル)

While encoder-only models such as BERT and ModernBERT are ubiquitous in real-world NLP applications, their conventional reliance on task-specific classification heads can limit their applicability compared to decoder-based large language models (LLMs). In this work, we introduce ModernBERT-Large-Instruct, a 0.4B-parameter encoder model that leverages its masked language modelling (MLM) head for generative classification. Our approach employs an intentionally simple training loop and inference mechanism that requires no heavy pre-processing, heavily engineered prompting, or architectural modifications. ModernBERT-Large-Instruct exhibits strong zero-shot performance on both classification and knowledge-based tasks, outperforming similarly sized LLMs on MMLU and achieving 93% of Llama3-1B’s MMLU performance with 60% less parameters. We also demonstrate that, when fine-tuned, the generative approach using the MLM head matches or even surpasses traditional classification-head methods across diverse NLU tasks.This capability emerges specifically in models trained on contemporary, diverse data mixes, with models trained on lower volume, less-diverse data yielding considerably weaker performance. Although preliminary, these results demonstrate the potential of using the original generative masked language modelling head over traditional task-specific heads for downstream tasks. Our work suggests that further exploration into this area is warranted, highlighting many avenues for future improvements.

arxiv情報

著者 Benjamin Clavié,Nathan Cooper,Benjamin Warner
発行日 2025-02-10 14:08:19+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | It’s All in The [MASK]: Simple Instruction-Tuning Enables BERT-like Masked Language Models As Generative Classifiers はコメントを受け付けていません

Teaching Models to Balance Resisting and Accepting Persuasion

投稿日: 2025年2月11日 作成者: jarxiv

要約

大規模な言語モデル（LLM）は説得の影響を受けやすく、モデルが敵対的な対談者に直面している場合にリスクをもたらす可能性があります。
私たちは、説得に対するモデルを擁護するための第一歩を踏み出し、敵対的な（つまり否定的な）説得に対する防御は方程式の半分にすぎないと主張します。モデルは、答えを改善するために有益な（すなわち肯定的な）説得を受け入れることができるはずです。
一方の側のみのモデルを最適化すると、他方のパフォーマンスが低下することが示されます。
肯定的な説得と否定的な説得のバランスをとるために、マルチエージェントの再帰的ダイアログツリーを活用して、必要に応じて説得を受け入れるように設定最適化を介してデータとトレーニングモデルを作成する説得訓練（またはPBT）を導入します。
PBTを使用すると、はるかに大きな70Bモデルをトレーニングするために、より小さな7-8Bモデル間でダイアログから生成されたデータを使用できます。
さらに、PBTは、誤った情報に対する抵抗と挑戦への回復力に対する抵抗を一貫して改善し、その結果、肯定的および否定的な説得の両方を含む全体的なデータの全体的なパフォーマンスが最も得られます。
重要なことに、PBTモデルは、2つのドメイン（TriviaとCommonsense QA）にわたるマルチエージェントの議論の中でより優れたチームメイトであることを示しています。
PBTがなければ、より強力なモデルと弱いモデルのペアが不安定なパフォーマンスを持っていることがわかり、モデルが回答を提示して、チームがより強いモデルのパフォーマンスを取得するか弱いモデルのパフォーマンスを取得するかを決定します。
PBTは、より良いモデルを一貫してより弱いモデルを引き上げることで、より良く、より安定した結果と秩序の依存度が低くなります。

要約(オリジナル)

Large language models (LLMs) are susceptible to persuasion, which can pose risks when models are faced with an adversarial interlocutor. We take a first step towards defending models against persuasion while also arguing that defense against adversarial (i.e. negative) persuasion is only half of the equation: models should also be able to accept beneficial (i.e. positive) persuasion to improve their answers. We show that optimizing models for only one side results in poor performance on the other. In order to balance positive and negative persuasion, we introduce Persuasion-Training (or PBT), which leverages multi-agent recursive dialogue trees to create data and trains models via preference optimization to accept persuasion when appropriate. PBT allows us to use data generated from dialogues between smaller 7-8B models for training much larger 70B models. Moreover, PBT consistently improves resistance to misinformation and resilience to being challenged while also resulting in the best overall performance on holistic data containing both positive and negative persuasion. Crucially, we show that PBT models are better teammates in multi-agent debates across two domains (trivia and commonsense QA). We find that without PBT, pairs of stronger and weaker models have unstable performance, with the order in which the models present their answers determining whether the team obtains the stronger or weaker model’s performance. PBT leads to better and more stable results and less order dependence, with the stronger model consistently pulling the weaker one up.

arxiv情報

著者 Elias Stengel-Eskin,Peter Hase,Mohit Bansal
発行日 2025-02-10 14:09:46+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Teaching Models to Balance Resisting and Accepting Persuasion はコメントを受け付けていません

GuideLLM: Exploring LLM-Guided Conversation with Applications in Autobiography Interviewing

投稿日: 2025年2月11日 作成者: jarxiv

要約

大規模な言語モデル（LLM）は、指示のフォローや質問への回答などの人間のガイド付き会話で成功していますが、LLMガイド付き会話の可能性 – LLMが談話を指示し、会話の目標を操作します。
この研究では、最初にLLMガイド付き会話を3つの基本的なコンポーネントに特徴付けます。（i）目標ナビゲーション。
（ii）コンテキスト管理。
（iii）共感的な関与、およびguidellmをインストールとして提案します。
次に、LLM誘導会話の評価のためにインタビュー環境を実装します。
具体的には、包括的なインタビュー評価のためにこの環境にさまざまなトピックが関与しており、各チャットボット評価のインタビュー中に発言、184kトークン、および200を超えるイベントが約1.4kターン、184Kトークン、および200を超えるイベントが発生します。
Guidellmを、GPT-4OやLlama-3-70B-Instructなどの最先端のLLMと比較して、インタビューの品質と自伝生成品質の観点から比較します。
自動評価のために、複数の自伝からユーザープロキシを導き出し、LLM-A-A-A-Judgeを使用してLLMの動作を獲得します。
さらに、45人の人間の参加者を採用してGuidellmやベースラインとチャットすることにより、人間が関与した実験を実施します。
次に、会話と自伝の質に関する人間のフィードバック、好み、評価を収集します。
実験結果は、Guidellmが自動評価でベースラインLLMを大幅に上回り、人間の評価で一貫した主要なパフォーマンスを達成することを示しています。

要約(オリジナル)

Although Large Language Models (LLMs) succeed in human-guided conversations such as instruction following and question answering, the potential of LLM-guided conversations-where LLMs direct the discourse and steer the conversation’s objectives-remains under-explored. In this study, we first characterize LLM-guided conversation into three fundamental components: (i) Goal Navigation; (ii) Context Management; (iii) Empathetic Engagement, and propose GuideLLM as an installation. We then implement an interviewing environment for the evaluation of LLM-guided conversation. Specifically, various topics are involved in this environment for comprehensive interviewing evaluation, resulting in around 1.4k turns of utterances, 184k tokens, and over 200 events mentioned during the interviewing for each chatbot evaluation. We compare GuideLLM with 6 state-of-the-art LLMs such as GPT-4o and Llama-3-70b-Instruct, from the perspective of interviewing quality, and autobiography generation quality. For automatic evaluation, we derive user proxies from multiple autobiographies and employ LLM-as-a-judge to score LLM behaviors. We further conduct a human-involved experiment by employing 45 human participants to chat with GuideLLM and baselines. We then collect human feedback, preferences, and ratings regarding the qualities of conversation and autobiography. Experimental results indicate that GuideLLM significantly outperforms baseline LLMs in automatic evaluation and achieves consistent leading performances in human ratings.

arxiv情報

著者 Jinhao Duan,Xinyu Zhao,Zhuoxuan Zhang,Eunhye Ko,Lily Boddy,Chenan Wang,Tianhao Li,Alexander Rasgon,Junyuan Hong,Min Kyung Lee,Chenxi Yuan,Qi Long,Ying Ding,Tianlong Chen,Kaidi Xu
発行日 2025-02-10 14:11:32+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | GuideLLM: Exploring LLM-Guided Conversation with Applications in Autobiography Interviewing はコメントを受け付けていません

SylloBio-NLI: Evaluating Large Language Models on Biomedical Syllogistic Reasoning

投稿日: 2025年2月11日 作成者: jarxiv

要約

三段論法の推論は、自然言語推論（NLI）にとって重要です。
この能力は、自動証拠の解釈や科学的発見をサポートできるバイオメディシンなどの特殊なドメインで特に重要です。
このペーパーでは、シロビオンリを紹介します。これは、外部オントロジーを活用して生物医学NLIの多様な三段論法の議論を体系的にインスタンス化する新しいフレームワークです。
Syllobio-nliを採用して、有効な結論を特定し、ヒトゲノム経路に具体化された28の三段論法スキームにわたってサポートエビデンスを抽出することについて、大規模な言語モデル（LLMS）を評価します。
広範な実験により、生物医学的な三段論法の推論は、一般化されたモダムのポネンで70％、分離派の三段論法で23％の間の平均精度を達成するゼロショットLLMにとって特に困難であることが明らかになりました。
同時に、少数のショットプロンプトがGemma（+14％）やLlama-3（+43％）を含むさまざまなLLMのパフォーマンスを高めることができることがわかりました。
ただし、より深い分析では、両方の技術が表面的な語彙の変動に対して高い感度を示すことを示しており、信頼性、モデルのアーキテクチャ、およびトレーニング前の体制との依存関係を強調しています。
全体として、我々の結果は、コンテキスト内の例がLLMSで三段論法の推論を引き出す可能性があるが、既存のモデルは、安全な生物医学的NLIアプリケーションに必要な堅牢性と一貫性を達成することから依然としてほど遠いことを示しています。

要約(オリジナル)

Syllogistic reasoning is crucial for Natural Language Inference (NLI). This capability is particularly significant in specialized domains such as biomedicine, where it can support automatic evidence interpretation and scientific discovery. This paper presents SylloBio-NLI, a novel framework that leverages external ontologies to systematically instantiate diverse syllogistic arguments for biomedical NLI. We employ SylloBio-NLI to evaluate Large Language Models (LLMs) on identifying valid conclusions and extracting supporting evidence across 28 syllogistic schemes instantiated with human genome pathways. Extensive experiments reveal that biomedical syllogistic reasoning is particularly challenging for zero-shot LLMs, which achieve an average accuracy between 70% on generalized modus ponens and 23% on disjunctive syllogism. At the same time, we found that few-shot prompting can boost the performance of different LLMs, including Gemma (+14%) and LLama-3 (+43%). However, a deeper analysis shows that both techniques exhibit high sensitivity to superficial lexical variations, highlighting a dependency between reliability, models’ architecture, and pre-training regime. Overall, our results indicate that, while in-context examples have the potential to elicit syllogistic reasoning in LLMs, existing models are still far from achieving the robustness and consistency required for safe biomedical NLI applications.

arxiv情報

著者 Magdalena Wysocka,Danilo Carvalho,Oskar Wysocki,Marco Valentino,Andre Freitas
発行日 2025-02-10 14:11:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | SylloBio-NLI: Evaluating Large Language Models on Biomedical Syllogistic Reasoning はコメントを受け付けていません

Ignore the KL Penalty! Boosting Exploration on Critical Tokens to Enhance RL Fine-Tuning

投稿日: 2025年2月11日 作成者: jarxiv

要約

長期的な目標を達成する能力は、大規模な言語モデル（LLMS）の現在の開発における重要な課題です。
これに対処するために、事前に訓練されたLLMを強化学習（RL）で微調整して、特定の目標を最適化するソリューションを探索できます。
ただし、基本的な能力を分解しないように、新しいソリューションを発見することと事前に訓練されたモデルに十分近くにとどまることとの間でバランスをとる必要があるため、LLMSによる探索は困難です。
これは通常、Kullback-Leibler（KL）ペナルティで制御されます。
この論文では、単純な算術タスクに関する小さな言語モデルの探索ダイナミクスを調査します。
トレーニング前の程度の影響がどのようにさまざまな影響を与えるかを示し、最終結果に劇的な影響を与える「重要なトークン」の重要性を示しています。
その結果、重要なトークンでの探査を支持するKLペナルティの簡単な変更を導入し、RL微調整段階の効率を高めます。

要約(オリジナル)

The ability to achieve long-term goals is a key challenge in the current development of large language models (LLMs). To address this, pre-trained LLMs can be fine-tuned with reinforcement learning (RL) to explore solutions that optimize a given goal. However, exploration with LLMs is difficult, as a balance has to be struck between discovering new solutions and staying close enough to the pre-trained model, so as not to degrade basic capabilities. This is typically controlled with a Kullback-Leibler (KL) penalty. In this paper, we investigate the exploration dynamics of a small language model on a simple arithmetic task. We show how varying degrees of pre-training influence exploration and demonstrate the importance of ‘critical tokens’ which have a dramatic impact on the final outcome. Consequently, we introduce a simple modification to the KL penalty that favors exploration on critical tokens, increasing the efficiency of the RL fine-tuning stage.

arxiv情報

著者 Jean Vassoyan,Nathanaël Beau,Roman Plaud
発行日 2025-02-10 14:56:25+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | Ignore the KL Penalty! Boosting Exploration on Critical Tokens to Enhance RL Fine-Tuning はコメントを受け付けていません