Enhancing multimodal analogical reasoning with Logic Augmented Generation

投稿日: 2025年4月16日 作成者: jarxiv

要約

大規模な言語モデルの最近の進歩により、さまざまなタスクにわたって能力が実証されています。
ただし、自然言語から暗黙の知識を自動的に抽出することは、マシンが物理的な世界で積極的な経験を欠いているため、重要な課題のままです。
このシナリオを考えると、セマンティックナレッジグラフは、より効率的で説明可能な結果を​​達成するために、自動化されたテキスト生成推論プロセスを導く概念的なスペースとして機能します。
このホワイトペーパーでは、セマンティックナレッジグラフを介してテキストの明示的な表現を活用し、迅速なヒューリスティックと組み合わせて暗黙的な類推接続を引き出すために、それを迅速に適用するロジックの高等生成（LAG）フレームワークを適用します。
この方法では、暗黙の意味を表す拡張された知識グラフトリプルを生成し、ドメインに関係なく、システムが非標識マルチモーダルデータの推論を可能にします。
深い類似の推論能力が必要なため、4つのデータセットで3つのメタファーの検出と理解を介して作業を検証します。
結果は、この統合されたアプローチが現在のベースラインを上回り、視覚的なメタファーを理解する際に人間よりも優れていることを示しており、より説明しやすい推論プロセスを可能にしますが、特にドメイン固有のメタファーのメタファー理解には固有の制限があります。
さらに、比phor的な注釈と現在の評価方法に関する問題について議論し、徹底的なエラー分析を提案します。

要約(オリジナル)

Recent advances in Large Language Models have demonstrated their capabilities across a variety of tasks. However, automatically extracting implicit knowledge from natural language remains a significant challenge, as machines lack active experience with the physical world. Given this scenario, semantic knowledge graphs can serve as conceptual spaces that guide the automated text generation reasoning process to achieve more efficient and explainable results. In this paper, we apply a logic-augmented generation (LAG) framework that leverages the explicit representation of a text through a semantic knowledge graph and applies it in combination with prompt heuristics to elicit implicit analogical connections. This method generates extended knowledge graph triples representing implicit meaning, enabling systems to reason on unlabeled multimodal data regardless of the domain. We validate our work through three metaphor detection and understanding tasks across four datasets, as they require deep analogical reasoning capabilities. The results show that this integrated approach surpasses current baselines, performs better than humans in understanding visual metaphors, and enables more explainable reasoning processes, though still has inherent limitations in metaphor understanding, especially for domain-specific metaphors. Furthermore, we propose a thorough error analysis, discussing issues with metaphorical annotations and current evaluation methods.

arxiv情報

著者 Anna Sofia Lippolis,Andrea Giovanni Nuzzolese,Aldo Gangemi
発行日 2025-04-15 13:47:55+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Enhancing multimodal analogical reasoning with Logic Augmented Generation はコメントを受け付けていません

Retro-Search: Exploring Untaken Paths for Deeper and Efficient Reasoning

投稿日: 2025年4月16日 作成者: jarxiv

要約

大規模な推論モデルは、長く、精巧な推論軌跡を介して顕著な推論能力を示します。
蒸留としても知られるこのような推論の痕跡についての監視された微調整は、学生モデルの推論能力を高めるための費用対効果の高い方法です。
しかし、経験的な観察により、これらの推論の軌跡はしばしば最適ではないことが明らかになり、異なる思考線の間に過度に切り替えられ、考えが少ない、考えすぎ、さらには退化します。
大規模な推論モデルから高品質の推論パスを蒸留するために、MCTSにインスパイアされた検索アルゴリズムであるRetro-Searchを紹介します。
Retro-Searchは、遡及的に推論パスを修正して、より短い、しかしより短いトレースを発見し、より短い推論機能を強化し、したがって推論を速くする学生モデルにつながる可能性があります。
私たちのアプローチは、モデルが独自のレトロ検索された思考の痕跡で微調整されている自己改善と、レトロサーチを介してより強いモデルの思考痕跡を改訂する2つのユースケースと弱い改善の2つのユースケースを可能にすることができます。
自己改善のために、R1-Distill-7Bは、独自のレトロサーチEDトレースで微調整されており、平均推論長を31.2％削減しながら、7つの数学ベンチマークで7.7％パフォーマンスを改善します。
弱い改善のために、R1-671Bのトレースを、R1-Distill-32BをRetro-Search-ERとして使用して、モデル20X Smallを使用してOpenThoughtsデータセットから遡及的に修正します。
この洗練されたデータで微調整されたQWEN2.5-32Bは、R1-Distill-32Bに匹敵するパフォーマンスを達成し、推論長が11.3％減少し、元のOpenthoughtsデータの微調整と比較して2.4％のパフォーマンス改善が得られます。
私たちの作品は最近、フロンティアモデルであってもアルゴリズムの進歩の機会がまだあることを実証することにより、大規模な推論モデルの時代における検索アルゴリズムの関連性に疑問を投げかける緊急の視点を最近カウンターします。

要約(オリジナル)

Large reasoning models exhibit remarkable reasoning capabilities via long, elaborate reasoning trajectories. Supervised fine-tuning on such reasoning traces, also known as distillation, can be a cost-effective way to boost reasoning capabilities of student models. However, empirical observations reveal that these reasoning trajectories are often suboptimal, switching excessively between different lines of thought, resulting in under-thinking, over-thinking, and even degenerate responses. We introduce Retro-Search, an MCTS-inspired search algorithm, for distilling higher quality reasoning paths from large reasoning models. Retro-Search retrospectively revises reasoning paths to discover better, yet shorter traces, which can then lead to student models with enhanced reasoning capabilities with shorter, thus faster inference. Our approach can enable two use cases: self-improvement, where models are fine-tuned on their own Retro-Search-ed thought traces, and weak-to-strong improvement, where a weaker model revises stronger model’s thought traces via Retro-Search. For self-improving, R1-distill-7B, fine-tuned on its own Retro-Search-ed traces, reduces the average reasoning length by 31.2% while improving performance by 7.7% across seven math benchmarks. For weak-to-strong improvement, we retrospectively revise R1-671B’s traces from the OpenThoughts dataset using R1-distill-32B as the Retro-Search-er, a model 20x smaller. Qwen2.5-32B, fine-tuned on this refined data, achieves performance comparable to R1-distill-32B, yielding an 11.3% reduction in reasoning length and a 2.4% performance improvement compared to fine-tuning on the original OpenThoughts data. Our work counters recently emergent viewpoints that question the relevance of search algorithms in the era of large reasoning models, by demonstrating that there are still opportunities for algorithmic advancements, even for frontier models.

arxiv情報

著者 Ximing Lu,Seungju Han,David Acuna,Hyunwoo Kim,Jaehun Jung,Shrimai Prabhumoye,Niklas Muennighoff,Mostofa Patwary,Mohammad Shoeybi,Bryan Catanzaro,Yejin Choi
発行日 2025-04-15 14:07:31+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | Retro-Search: Exploring Untaken Paths for Deeper and Efficient Reasoning はコメントを受け付けていません

Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models

投稿日: 2025年4月16日 作成者: jarxiv

要約

推論時間スケーリングが強化された推論機能に重要になるため、推測するのが効率的なモデルを構築することがますます重要になっています。
特定の精度レベルの推論コストを削減するために設計された8Bおよび56B/47BハイブリッドマンバトランスフォーマーモデルのファミリーであるNemotron-Hを紹介します。
この目標を達成するために、一般的な変圧器モデルアーキテクチャの自己関節層の大部分を、一定の計算を実行し、生成されたトークンごとに一定のメモリを必要とするMAMBA層に置き換えます。
Nemotron-Hモデルは、他の同様のサイズの最先端のオープンソーストランスモデル（例：Qwen-2.5-7b/72bおよびllama-3.1-8b/70b）と比較して、より優れた精度または標準の精度を提供し、最大3 $ \ times $ $ faster at in at at at at at at at at a a a a a a a a a a a a a a a a a a a a a a a a spect at
推論の速度をさらに高め、推論時間に必要なメモリを減らすために、MiniPuzzleと呼ばれる剪定および蒸留技術を介した新しい圧縮を使用して、56BモデルからNemotron-H-47Bベースを作成しました。
Nemotron-H-47b-baseは、56Bモデルと同様の精度を達成しますが、推測するのが20％高速です。
さらに、FP8ベースのトレーニングレシピを導入し、BF16ベースのトレーニングでPAR結果で達成できることを示します。
このレシピは、56Bモデルのトレーニングに使用されます。
FaceとNemoを抱き締めるのをサポートして、Nemotron-Hベースモデルのチェックポイントをリリースしています。

要約(オリジナル)

As inference-time scaling becomes critical for enhanced reasoning capabilities, it is increasingly becoming important to build models that are efficient to infer. We introduce Nemotron-H, a family of 8B and 56B/47B hybrid Mamba-Transformer models designed to reduce inference cost for a given accuracy level. To achieve this goal, we replace the majority of self-attention layers in the common Transformer model architecture with Mamba layers that perform constant computation and require constant memory per generated token. We show that Nemotron-H models offer either better or on-par accuracy compared to other similarly-sized state-of-the-art open-sourced Transformer models (e.g., Qwen-2.5-7B/72B and Llama-3.1-8B/70B), while being up to 3$\times$ faster at inference. To further increase inference speed and reduce the memory required at inference time, we created Nemotron-H-47B-Base from the 56B model using a new compression via pruning and distillation technique called MiniPuzzle. Nemotron-H-47B-Base achieves similar accuracy to the 56B model, but is 20% faster to infer. In addition, we introduce an FP8-based training recipe and show that it can achieve on par results with BF16-based training. This recipe is used to train the 56B model. We are releasing Nemotron-H base model checkpoints with support in Hugging Face and NeMo.

arxiv情報

著者 NVIDIA,:,Aaron Blakeman,Aarti Basant,Abhinav Khattar,Adithya Renduchintala,Akhiad Bercovich,Aleksander Ficek,Alexis Bjorlin,Ali Taghibakhshi,Amala Sanjay Deshmukh,Ameya Sunil Mahabaleshwarkar,Andrew Tao,Anna Shors,Ashwath Aithal,Ashwin Poojary,Ayush Dattagupta,Balaram Buddharaju,Bobby Chen,Boris Ginsburg,Boxin Wang,Brandon Norick,Brian Butterfield,Bryan Catanzaro,Carlo del Mundo,Chengyu Dong,Christine Harvey,Christopher Parisien,Dan Su,Daniel Korzekwa,Danny Yin,Daria Gitman,David Mosallanezhad,Deepak Narayanan,Denys Fridman,Dima Rekesh,Ding Ma,Dmytro Pykhtar,Dong Ahn,Duncan Riach,Dusan Stosic,Eileen Long,Elad Segal,Ellie Evans,Eric Chung,Erick Galinkin,Evelina Bakhturina,Ewa Dobrowolska,Fei Jia,Fuxiao Liu,Gargi Prasad,Gerald Shen,Guilin Liu,Guo Chen,Haifeng Qian,Helen Ngo,Hongbin Liu,Hui Li,Igor Gitman,Ilia Karmanov,Ivan Moshkov,Izik Golan,Jan Kautz,Jane Polak Scowcroft,Jared Casper,Jarno Seppanen,Jason Lu,Jason Sewall,Jiaqi Zeng,Jiaxuan You,Jimmy Zhang,Jing Zhang,Jining Huang,Jinze Xue,Jocelyn Huang,Joey Conway,John Kamalu,Jon Barker,Jonathan Cohen,Joseph Jennings,Jupinder Parmar,Karan Sapra,Kari Briski,Kateryna Chumachenko,Katherine Luna,Keshav Santhanam,Kezhi Kong,Kirthi Sivamani,Krzysztof Pawelec,Kumar Anik,Kunlun Li,Lawrence McAfee,Leon Derczynski,Lindsey Pavao,Luis Vega,Lukas Voegtle,Maciej Bala,Maer Rodrigues de Melo,Makesh Narsimhan Sreedhar,Marcin Chochowski,Markus Kliegl,Marta Stepniewska-Dziubinska,Matthieu Le,Matvei Novikov,Mehrzad Samadi,Michael Andersch,Michael Evans,Miguel Martinez,Mike Chrzanowski,Mike Ranzinger,Mikolaj Blaz,Misha Smelyanskiy,Mohamed Fawzy,Mohammad Shoeybi,Mostofa Patwary,Nayeon Lee,Nima Tajbakhsh,Ning Xu,Oleg Rybakov,Oleksii Kuchaiev,Olivier Delalleau,Osvald Nitski,Parth Chadha,Pasha Shamis,Paulius Micikevicius,Pavlo Molchanov,Peter Dykas,Philipp Fischer,Pierre-Yves Aquilanti,Piotr Bialecki,Prasoon Varshney,Pritam Gundecha,Przemek Tredak,Rabeeh Karimi,Rahul Kandu,Ran El-Yaniv,Raviraj Joshi,Roger Waleffe,Ruoxi Zhang,Sabrina Kavanaugh,Sahil Jain,Samuel Kriman,Sangkug Lym,Sanjeev Satheesh,Saurav Muralidharan,Sean Narenthiran,Selvaraj Anandaraj,Seonmyeong Bak,Sergey Kashirsky,Seungju Han,Shantanu Acharya,Shaona Ghosh,Sharath Turuvekere Sreenivas,Sharon Clay,Shelby Thomas,Shrimai Prabhumoye,Shubham Pachori,Shubham Toshniwal,Shyamala Prayaga,Siddhartha Jain,Sirshak Das,Slawek Kierat,Somshubra Majumdar,Song Han,Soumye Singhal,Sriharsha Niverty,Stefania Alborghetti,Suseella Panguluri,Swetha Bhendigeri,Syeda Nahida Akter,Szymon Migacz,Tal Shiri,Terry Kong,Timo Roman,Tomer Ronen,Trisha Saar,Tugrul Konuk,Tuomas Rintamaki,Tyler Poon,Ushnish De,Vahid Noroozi,Varun Singh,Vijay Korthikanti,Vitaly Kurin,Wasi Uddin Ahmad,Wei Du,Wei Ping,Wenliang Dai,Wonmin Byeon,Xiaowei Ren,Yao Xu,Yejin Choi,Yian Zhang,Ying Lin,Yoshi Suhara,Zhiding Yu,Zhiqi Li,Zhiyu Li,Zhongbo Zhu,Zhuolin Yang,Zijia Chen
発行日 2025-04-15 14:36:01+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models はコメントを受け付けていません

Towards Predictive Communication with Brain-Computer Interfaces integrating Large Language Models

投稿日: 2025年4月16日 作成者: jarxiv

要約

この視点記事は、最先端の予測言語モデルとBCIの統合に向けて、最先端と将来の発展の概要を提供することを目的としています。
自然言語処理（NLP）モデルから最近のLLMまで、初期および最近の言語モデルの合成概要は、予測ライティングシステムのさまざまな程度まで、最初に提供されます。
第二に、言語モデルを統合する以前のBCI実装の要約が提示されます。
LLMとBCIスペルの可能性のある組み合わせを調査して、高速通信と制御を効率的にサポートするいくつかの予備研究について説明します。
最後に、LLMとBCIシステムの完全な統合に対する現在の課題と制限について説明します。
最近の調査では、LLMとBCIの組み合わせにより、運動障害や言語障害のある患者や健康な個人の人間コンピューターの相互作用が大幅に改善される可能性があることが示唆されています。
特に、GPTなどの前提条件化された自己回帰トランスモデルは、並列化、トレーニング前、微調整を通じて学習から活用されるため、より単純な言語モデルを組み込む以前のシステムに関する通信のためのBCIの大幅な改善を約束します。
実際、さまざまなモデルの中で、GPT-2はBCIへの統合の優れた候補であることが示されましたが、テストはシミュレートされた会話でのみパフォーマンスされ、実際のBCIシナリオではありません。
前向きに、LLMと高度なBCIシステムを完全に統合すると、高速で効率的でユーザーに適した神経技術に向けて大きな飛躍につながる可能性があります。

要約(オリジナル)

This perspective article aims at providing an outline of the state of the art and future developments towards the integration of cutting-edge predictive language models with BCI. A synthetic overview of early and more recent linguistic models, from natural language processing (NLP) models to recent LLM, that to a varying extent improved predictive writing systems, is first provided. Second, a summary of previous BCI implementations integrating language models is presented. The few preliminary studies investigating the possible combination of LLM with BCI spellers to efficiently support fast communication and control are then described. Finally, current challenges and limitations towards the full integration of LLM with BCI systems are discussed. Recent investigations suggest that the combination of LLM with BCI might drastically improve human-computer interaction in patients with motor or language disorders as well as in healthy individuals. In particular, the pretrained autoregressive transformer models, such as GPT, that capitalize from parallelization, learning through pre-training and fine-tuning, promise a substantial improvement of BCI for communication with respect to previous systems incorporating simpler language models. Indeed, among various models, the GPT-2 was shown to represent an excellent candidate for its integration into BCI although testing was only perfomed on simulated conversations and not on real BCI scenarios. Prospectively, the full integration of LLM with advanced BCI systems might lead to a big leap forward towards fast, efficient and user-adaptive neurotechnology.

arxiv情報

著者 Andrea Caria
発行日 2025-04-15 14:38:13+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.HC | Towards Predictive Communication with Brain-Computer Interfaces integrating Large Language Models はコメントを受け付けていません

Nondeterministic Polynomial-time Problem Challenge: An Ever-Scaling Reasoning Benchmark for LLMs

投稿日: 2025年4月16日 作成者: jarxiv

要約

推論は、大規模な言語モデル（LLMS）の基本的な能力です。
LLMSの急速な進行により、現在のベンチマークには2つの主要な問題があります。i）これらのベンチマークは短時間（1年未満）、ii）これらのベンチマークは簡単にハッキングされる場合があります。
これらの問題を処理するために、私たちは、巧妙で、解読できず、自動検証可能で一般的なベンチマークを構築するための絶え間ない賢明さを提案します。
このペーパーでは、LLMSの絶え間ない推論ベンチマークである非決定的多項式時間問題課題（NPPC）を紹介します。
具体的には、NPPCには3つの主要なモジュールがあります：i）NPGYMは、25のよく知られているNPコンプリート問題の統一インターフェイスを提供し、あらゆるレベルの複雑さで任意の数のインスタンスを生成できますii）NPSOLVER：apis and iiiを介してオンラインモデルを介してオンラインモデルとオフラインモデルの両方で問題インスタンスを評価するための統一インターフェイスを提供します。
さまざまな問題、トークンの数、AHAの瞬間、推論エラー、ソリューションエラーにわたるLLMSのパフォーマンスを分析します。
広く使用されているLLMSを超える広範な実験は次のことを示しています。i）NPPCは、高度なLLMSのパフォーマンスのパフォーマンスを10％未満に縮小することができ、NPPCが粗末であることを示しています。
考慮されたほとんどのNP完全な問題、およびiii）トークンの数、高度なLLMのahaの瞬間、たとえば、claude-3.7-sonnetおよびdeepseek-r1などが観察され、問題のインスタンスがより困難になると減少します。
NPPCは、人工的な一般情報（AGI）に向けてLLMSの不可解でハッキング不可能なテストベッドとして機能している最初のスケーリングの推論ベンチマークであると考えています。

要約(オリジナル)

Reasoning is the fundamental capability of large language models (LLMs). Due to the rapid progress of LLMs, there are two main issues of current benchmarks: i) these benchmarks can be crushed in a short time (less than 1 year), and ii) these benchmarks may be easily hacked. To handle these issues, we propose the ever-scalingness for building the benchmarks which are uncrushable, unhackable, auto-verifiable and general. This paper presents Nondeterministic Polynomial-time Problem Challenge (NPPC), an ever-scaling reasoning benchmark for LLMs. Specifically, the NPPC has three main modules: i) npgym, which provides a unified interface of 25 well-known NP-complete problems and can generate any number of instances with any levels of complexities, ii) npsolver: which provides a unified interface to evaluate the problem instances with both online and offline models via APIs and local deployments, respectively, and iii) npeval: which provides the comprehensive and ready-to-use tools to analyze the performances of LLMs over different problems, the number of tokens, the aha moments, the reasoning errors and the solution errors. Extensive experiments over widely-used LLMs demonstrate: i) NPPC can successfully decrease the performances of advanced LLMs’ performances to below 10%, demonstrating that NPPC is uncrushable, ii) DeepSeek-R1, Claude-3.7-Sonnet, and o1/o3-mini are the most powerful LLMs, where DeepSeek-R1 outperforms Claude-3.7-Sonnet and o1/o3-mini in most NP-complete problems considered, and iii) the numbers of tokens, aha moments in the advanced LLMs, e.g., Claude-3.7-Sonnet and DeepSeek-R1, are observed first to increase and then decrease when the problem instances become more and more difficult. We believe that NPPC is the first ever-scaling reasoning benchmark, serving as the uncrushable and unhackable testbed for LLMs toward artificial general intelligence (AGI).

arxiv情報

著者 Chang Yang,Ruiyu Wang,Junzhe Jiang,Qi Jiang,Qinggang Zhang,Yanchen Deng,Shuxin Li,Shuyue Hu,Bo Li,Florian T. Pokorny,Xiao Huang,Xinrun Wang
発行日 2025-04-15 14:40:29+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Nondeterministic Polynomial-time Problem Challenge: An Ever-Scaling Reasoning Benchmark for LLMs はコメントを受け付けていません

SafeChat: A Framework for Building Trustworthy Collaborative Assistants and a Case Study of its Usefulness

投稿日: 2025年4月16日 作成者: jarxiv

要約

共同アシスタント、またはチャットボットは、タスクの完了のために自然な相互作用を可能にするデータ駆動型の意思決定支援システムです。
彼らは現代社会で重要なニーズを満たすことができますが、彼らの信頼性と信頼性に関する懸念は持続します。
特に、ChatGpt、Gemini、DeepSeekなどの大規模な言語モデル（LLM）ベースのチャットボットがよりアクセスしやすくなっています。
ただし、このようなチャットボットには、応答生成を説明できないこと、問題のあるコンテンツを生成するリスク、信頼性の標準化されたテストの欠如、深いAIの専門知識と開発時間の延長の必要性など、制限があります。
これらの問題により、チャットボットは、選挙やヘルスケアなどの信頼に敏感なアプリケーションに適していません。
これらの懸念に対処するために、情報検索のユースケースに焦点を当てて、安全で信頼できるチャットボットを構築するための一般的なアーキテクチャであるSafeChatを紹介します。
SafeChatの主要な機能には、（a）承認されたソース（出所）に対して応答が根拠があり、追跡可能なドメインに依存しない設計を備えた安全性、および有害な回答を防ぐための「do-not-respond」戦略を含みます。
（b）長い応答の自動抽出的な要約、ソースに追跡可能、およびセンチメントなどの予想されるチャットボットの動作を伝えるための自動化された信頼評価を伴う使いやすさ。
（c）CSV駆動型ワークフロー、自動テスト、さまざまなデバイスとの統合など、高速でスケーラブルな開発。
オープンソースのチャットボットプラットフォームRASAを使用して、実行可能ファームワークにSafeChatを実装しました。
ケーススタディでは、公式の選挙情報を安全に普及させるように設計されたチャットボットである選挙ボットSCの構築における適用を実証しています。
SafeChatは多くのドメインで使用され、その可能性を検証し、https：//github.com/ai4society/trustworthy-chatbotで入手できます。

要約(オリジナル)

Collaborative assistants, or chatbots, are data-driven decision support systems that enable natural interaction for task completion. While they can meet critical needs in modern society, concerns about their reliability and trustworthiness persist. In particular, Large Language Model (LLM)-based chatbots like ChatGPT, Gemini, and DeepSeek are becoming more accessible. However, such chatbots have limitations, including their inability to explain response generation, the risk of generating problematic content, the lack of standardized testing for reliability, and the need for deep AI expertise and extended development times. These issues make chatbots unsuitable for trust-sensitive applications like elections or healthcare. To address these concerns, we introduce SafeChat, a general architecture for building safe and trustworthy chatbots, with a focus on information retrieval use cases. Key features of SafeChat include: (a) safety, with a domain-agnostic design where responses are grounded and traceable to approved sources (provenance), and ‘do-not-respond’ strategies to prevent harmful answers; (b) usability, with automatic extractive summarization of long responses, traceable to their sources, and automated trust assessments to communicate expected chatbot behavior, such as sentiment; and (c) fast, scalable development, including a CSV-driven workflow, automated testing, and integration with various devices. We implemented SafeChat in an executable framework using the open-source chatbot platform Rasa. A case study demonstrates its application in building ElectionBot-SC, a chatbot designed to safely disseminate official election information. SafeChat is being used in many domains, validating its potential, and is available at: https://github.com/ai4society/trustworthy-chatbot.

arxiv情報

著者 Biplav Srivastava,Kausik Lakkaraju,Nitin Gupta,Vansh Nagpal,Bharath C. Muppasani,Sara E. Jones
発行日 2025-04-15 14:41:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | SafeChat: A Framework for Building Trustworthy Collaborative Assistants and a Case Study of its Usefulness はコメントを受け付けていません

Towards Automated Safety Requirements Derivation Using Agent-based RAG

投稿日: 2025年4月16日 作成者: jarxiv

要約

自動運転車のユースケースでの安全要件の自動導出を研究し、エージェントベースの検索された生成と組み合わせてLLMを活用します。
事前に訓練されたLLMSを利用して安全分析を支援する従来のアプローチには、通常、ドメイン固有の知識がありません。
既存のRAGアプローチはこの問題に対処しますが、複雑なクエリを処理するときにパフォーマンスが悪化し、最も関連性の高い情報を取得することがますます難しくなります。
これは、安全性に関連するアプリケーションに特に関連しています。
この論文では、エージェントベースのRAGの使用を提案して安全要件を導き出し、取得した情報がクエリにより関連していることを示します。
自動化された運転知覚システムの代表的な例として、自動車標準のドキュメントプールとアポロの事例研究にエージェントベースのアプローチを実装します。
私たちのソリューションは、Apolloデータから抽出された安全要件の質問と回答のデータセットでテストされています。
選択したRAGメトリックのセットを評価すると、デフォルトのRAGメソッドと比較して、エージェントベースのアプローチの利点を提示および議論します。

要約(オリジナル)

We study the automated derivation of safety requirements in a self-driving vehicle use case, leveraging LLMs in combination with agent-based retrieval-augmented generation. Conventional approaches that utilise pre-trained LLMs to assist in safety analyses typically lack domain-specific knowledge. Existing RAG approaches address this issue, yet their performance deteriorates when handling complex queries and it becomes increasingly harder to retrieve the most relevant information. This is particularly relevant for safety-relevant applications. In this paper, we propose the use of agent-based RAG to derive safety requirements and show that the retrieved information is more relevant to the queries. We implement an agent-based approach on a document pool of automotive standards and the Apollo case study, as a representative example of an automated driving perception system. Our solution is tested on a data set of safety requirement questions and answers, extracted from the Apollo data. Evaluating a set of selected RAG metrics, we present and discuss advantages of a agent-based approach compared to default RAG methods.

arxiv情報

著者 Balahari Vignesh Balu,Florian Geissler,Francesco Carella,Joao-Vitor Zacchi,Josef Jiru,Nuria Mata,Reinhard Stolle
発行日 2025-04-15 14:43:19+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | Towards Automated Safety Requirements Derivation Using Agent-based RAG はコメントを受け付けていません

From Misleading Queries to Accurate Answers: A Three-Stage Fine-Tuning Method for LLMs

投稿日: 2025年4月16日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）は、自然言語処理（NLP）で優れたパフォーマンスを示しますが、特にこれらのクエリに誤解を招くまたは不正確な情報が含まれている場合、入力クエリの品質に非常に敏感なままです。
既存の方法は、出力の修正に焦点を当てていますが、多くの場合、LLMSが入力自体の誤解を招くコンテンツを検出および修正する能力を改善する可能性を見落としています。
この論文では、LLMが入力の誤解を招く情報を検出および修正する能力を強化し、応答の精度をさらに向上させ、幻覚を減らす新しい3段階の微調整方法を提案します。
具体的には、3つの段階には、（1）誤解を招く情報を特定するためのLLMSのトレーニング、（2）組み込みまたは外部の知識を使用した誤解を招く情報を修正するLLMSのトレーニング、および（3）修正されたクエリに基づいて正確な回答を生成するためのLLMSをトレーニングすることが含まれます。
この方法を評価するために、幻覚検出タスクと質問回答（QA）タスクの3つのデータセットで実験を実施し、作成した誤解を招く情報を含む2つのデータセットを実施しました。
実験結果は、この方法がLLM応答の精度と事実を大幅に改善し、特にクエリに誤解を招く情報が含まれている場合、幻覚を検出し、出力の幻覚の生成を減らす能力を高めることを示しています。
受け入れたときにコードを公開します。

要約(オリジナル)

Large language models (LLMs) exhibit excellent performance in natural language processing (NLP), but remain highly sensitive to the quality of input queries, especially when these queries contain misleading or inaccurate information. Existing methods focus on correcting the output, but they often overlook the potential of improving the ability of LLMs to detect and correct misleading content in the input itself. In this paper, we propose a novel three-stage fine-tuning method that enhances the ability of LLMs to detect and correct misleading information in the input, further improving response accuracy and reducing hallucinations. Specifically, the three stages include (1) training LLMs to identify misleading information, (2) training LLMs to correct the misleading information using built-in or external knowledge, and (3) training LLMs to generate accurate answers based on the corrected queries. To evaluate our method, we conducted experiments on three datasets for the hallucination detection task and the question answering (QA) task, as well as two datasets containing misleading information that we constructed. The experimental results demonstrate that our method significantly improves the accuracy and factuality of LLM responses, while also enhancing the ability to detect hallucinations and reducing the generation of hallucinations in the output, particularly when the query contains misleading information. We will publicly release our code upon acceptance.

arxiv情報

著者 Guocong Li,Weize Liu,Yihang Wu,Ping Wang,Shuaihan Huang,Hongxia Xu,Jian Wu
発行日 2025-04-15 15:16:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | From Misleading Queries to Accurate Answers: A Three-Stage Fine-Tuning Method for LLMs はコメントを受け付けていません

The Obvious Invisible Threat: LLM-Powered GUI Agents’ Vulnerability to Fine-Print Injections

投稿日: 2025年4月16日 作成者: jarxiv

要約

大規模な言語モデル（LLM）駆動GUIエージェントは、高レベルの指示に従ってユーザーに代わってタスクを実行する専門の自律システムです。
これは、関連するアプリのグラフィカルユーザーインターフェイス（GUI）を知覚および解釈することにより、多くの場合視覚的に、必要なアクションのシーケンスを推測し、クリック、タイピング、タッピングなどのアクションを実行することによりGUIと対話することで行います。
フォームの充填や予約サービスなどの現実世界のタスクを完了するには、GUIエージェントは多くの場合、機密のユーザーデータを処理して行動する必要があります。
ただし、この自律性は、新しいプライバシーとセキュリティのリスクをもたらします。
敵は、エージェントの動作を変化させるか、個人情報の意図しない開示を誘導する悪意のあるコンテンツをGUIに注入できます。
これらの攻撃は、多くの場合、エージェントと人間のユーザーの視覚的顕著性、またはタスクオートメーションにおけるコンテキスト完全性の違反を検出するエージェントの限られた能力との間の矛盾を活用します。
この論文では、6種類のこのような攻撃を特徴づけ、6人の最先端のGUIエージェント、234人の敵対的なウェブページ、39人の人間の参加者を使用してこれらの攻撃をテストするための実験的研究を実施しました。
私たちの調査結果は、GUIエージェントが、特に文脈に組み込まれた脅威に対して非常に脆弱であることを示唆しています。
さらに、人間のユーザーはこれらの攻撃の多くを受けやすく、単純な人間の監視が故障を確実に防ぐことができない可能性があることを示しています。
この不整合は、プライバシーアウェアエージェント設計の必要性を強調しています。
より安全で信頼性の高いGUIエージェントの開発を知らせるための実用的な防衛戦略を提案します。

要約(オリジナル)

A Large Language Model (LLM) powered GUI agent is a specialized autonomous system that performs tasks on the user’s behalf according to high-level instructions. It does so by perceiving and interpreting the graphical user interfaces (GUIs) of relevant apps, often visually, inferring necessary sequences of actions, and then interacting with GUIs by executing the actions such as clicking, typing, and tapping. To complete real-world tasks, such as filling forms or booking services, GUI agents often need to process and act on sensitive user data. However, this autonomy introduces new privacy and security risks. Adversaries can inject malicious content into the GUIs that alters agent behaviors or induces unintended disclosures of private information. These attacks often exploit the discrepancy between visual saliency for agents and human users, or the agent’s limited ability to detect violations of contextual integrity in task automation. In this paper, we characterized six types of such attacks, and conducted an experimental study to test these attacks with six state-of-the-art GUI agents, 234 adversarial webpages, and 39 human participants. Our findings suggest that GUI agents are highly vulnerable, particularly to contextually embedded threats. Moreover, human users are also susceptible to many of these attacks, indicating that simple human oversight may not reliably prevent failures. This misalignment highlights the need for privacy-aware agent design. We propose practical defense strategies to inform the development of safer and more reliable GUI agents.

arxiv情報

著者 Chaoran Chen,Zhiping Zhang,Bingcan Guo,Shang Ma,Ibrahim Khalilov,Simret A Gebreegziabher,Yanfang Ye,Ziang Xiao,Yaxing Yao,Tianshi Li,Toby Jia-Jun Li
発行日 2025-04-15 15:21:09+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.CR, cs.HC | The Obvious Invisible Threat: LLM-Powered GUI Agents’ Vulnerability to Fine-Print Injections はコメントを受け付けていません

Automated Python Translation

投稿日: 2025年4月16日 作成者: jarxiv

要約

Pythonは、業界と教育で最も一般的に使用されるプログラミング言語の1つです。
その英語のキーワードと組み込みの機能/モジュールにより、読みやすさと執筆の容易さの点で擬似コードに近づくことができます。
しかし、英語を話さない人はこれらの利点を経験しないかもしれません。
実際、その用語の英語の性質がオーバーヘッドの追加層を作成するため、Pythonコードを理解する能力が妨げられることさえあります。
そのため、Pythonの自然なモダリティ（キーワード、エラータイプ、識別子など）を他の人間の言語に自動的に変換するタスクを紹介します。
これは、これらの形式の省略された性質と、言語間の高度な数学/プログラミングの概念の潜在的な翻訳性を考慮して、ユニークな課題を提示します。
したがって、自動化されたパイプラインを作成して、Pythonを他の人間の言語に変換し、機械翻訳と大規模な言語モデルを使用して戦略を比較します。
次に、このパイプラインを使用して、7つの言語で5つの一般的なPythonライブラリ（Pytorch、Pandas、Tensorflow、Numpy、およびランダム）から翻訳を取得し、フランス語、ギリシャ語、ベンガル語でこれらの用語のサブセットで品質テストを行います。
これが、国籍や言語の背景に関係なく、誰でもアクセスできるユニバーサルパイソンの作成に向けてより明確な道を提供することを願っています。

要約(オリジナル)

Python is one of the most commonly used programming languages in industry and education. Its English keywords and built-in functions/modules allow it to come close to pseudo-code in terms of its readability and ease of writing. However, those who do not speak English may not experience these advantages. In fact, they may even be hindered in their ability to understand Python code, as the English nature of its terms creates an additional layer of overhead. To that end, we introduce the task of automatically translating Python’s natural modality (keywords, error types, identifiers, etc.) into other human languages. This presents a unique challenge, considering the abbreviated nature of these forms, as well as potential untranslatability of advanced mathematical/programming concepts across languages. We therefore create an automated pipeline to translate Python into other human languages, comparing strategies using machine translation and large language models. We then use this pipeline to acquire translations from five common Python libraries (pytorch, pandas, tensorflow, numpy, and random) in seven languages, and do a quality test on a subset of these terms in French, Greek, and Bengali. We hope this will provide a clearer path forward towards creating a universal Python, accessible to anyone regardless of nationality or language background.

arxiv情報

著者 Joshua Otten,Antonios Anastasopoulos,Kevin Moran
発行日 2025-04-15 15:30:22+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Automated Python Translation はコメントを受け付けていません