A moving target in AI-assisted decision-making: Dataset shift, model updating, and the problem of update opacity

投稿日: 2025年4月8日 作成者: jarxiv

要約

機械学習（ML）システムは、データセットのシフトにより、時間の経過とともにパフォーマンスの低下に対して脆弱です。
この問題に対処するために、専門家はしばしば、MLシステムを定期的に更新して、継続的なパフォーマンスの安定性を確保する必要があることを示唆しています。
いくつかの学術文献は、さまざまな更新方法に関連する認識論的および倫理的課題に対処し始めました。
ただし、これまでのところ、MLアシストの意思決定プロセス自体、特にAI倫理およびAI認識論文献におけるモデル更新の影響にはほとんど注意が払われていません。
この記事は、文献のこのギャップに対処することを目的としています。
モデルの更新により、MLアシストの意思決定に不透明度の新しいサブタイプのサブタイプが導入されていると主張しています。これは、ユーザーが更新がMLシステムの推論または動作をどのように、または変更したかを理解できないときに発生します。
このタイプの不透明度は、MLのブラックボックスの問題に利用可能なソリューションが対処するのがほとんど装備されていないという、さまざまな独特の認識論的および安全性の懸念を示しています。
双幕の説明、動的モデルの報告、互換性の更新など、不透明度をより直接的に更新する問題に対処するために、さまざまな代替戦略を開発または追求することができます。
ただし、これらの戦略のそれぞれは、独自のリスクを提示するか、重大な制限をもたらします。
モデルの更新に関連する認識と安全性の懸念に対処し、今後の不透明度の更新に対処するには、さらなる研究が必要になります。

要約(オリジナル)

Machine learning (ML) systems are vulnerable to performance decline over time due to dataset shift. To address this problem, experts often suggest that ML systems should be regularly updated to ensure ongoing performance stability. Some scholarly literature has begun to address the epistemic and ethical challenges associated with different updating methodologies. Thus far, however, little attention has been paid to the impact of model updating on the ML-assisted decision-making process itself, particularly in the AI ethics and AI epistemology literatures. This article aims to address this gap in the literature. It argues that model updating introduces a new sub-type of opacity into ML-assisted decision-making — update opacity — that occurs when users cannot understand how or why an update has changed the reasoning or behaviour of an ML system. This type of opacity presents a variety of distinctive epistemic and safety concerns that available solutions to the black box problem in ML are largely ill-equipped to address. A variety of alternative strategies may be developed or pursued to address the problem of update opacity more directly, including bi-factual explanations, dynamic model reporting, and update compatibility. However, each of these strategies presents its own risks or carries significant limitations. Further research will be needed to address the epistemic and safety concerns associated with model updating and update opacity going forward.

arxiv情報

著者 Joshua Hatherley
発行日 2025-04-07 15:58:23+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CY, cs.HC, cs.LG | A moving target in AI-assisted decision-making: Dataset shift, model updating, and the problem of update opacity はコメントを受け付けていません

Scalable and Ethical Insider Threat Detection through Data Synthesis and Analysis by LLMs

投稿日: 2025年4月8日 作成者: jarxiv

要約

インサイダーの脅威は、組織に大きな影響を与え、少数に不均衡になります。
これは、内部アクセスインサイダーがシステム、情報、インフラストラクチャに必要なためです。
％この影響の1つの例は、匿名の回答者が組織にインサイダーの脅威リスクであるWebベースの求人サイトのレビューを提出する場所です。
このようなリスクのシグナルは、パブリックWebベースのジョブ検索サイトのレビューへの匿名の提出に見られる場合があります。
この調査では、大規模な言語モデル（LLMS）がインサイダーの脅威感情を分析および検出する可能性を研究しています。
倫理的データ収集の懸念に対処するこの研究では、既存の雇用レビューデータセットとともにLLMを使用して合成データ生成を利用しています。
LLMSによって生成された感情スコアの比較分析は、専門家の人間のスコアリングに対してベンチマークされています。
調査結果は、LLMがほとんどの場合、人間の評価との整合性を示しているため、脅威感情の微妙な指標を効果的に特定することが明らかになりました。
このパフォーマンスは、合成データよりも人間で生成されたデータの方が低く、実際のデータの評価において改善の領域を示唆しています。
テキストの多様性分析では、人間で生成されたデータセットとLLM生成データセットの違いが見つかり、合成データは多少多様性を示しています。
全体として、結果は、インサイダーの脅威検出に対するLLMの適用性と、データ収集に関連する倫理的および物流的障壁を克服することにより、インサイダーセンチメントテストのためのスケーラブルなソリューションを示しています。

要約(オリジナル)

Insider threats wield an outsized influence on organizations, disproportionate to their small numbers. This is due to the internal access insiders have to systems, information, and infrastructure. %One example of this influence is where anonymous respondents submit web-based job search site reviews, an insider threat risk to organizations. Signals for such risks may be found in anonymous submissions to public web-based job search site reviews. This research studies the potential for large language models (LLMs) to analyze and detect insider threat sentiment within job site reviews. Addressing ethical data collection concerns, this research utilizes synthetic data generation using LLMs alongside existing job review datasets. A comparative analysis of sentiment scores generated by LLMs is benchmarked against expert human scoring. Findings reveal that LLMs demonstrate alignment with human evaluations in most cases, thus effectively identifying nuanced indicators of threat sentiment. The performance is lower on human-generated data than synthetic data, suggesting areas for improvement in evaluating real-world data. Text diversity analysis found differences between human-generated and LLM-generated datasets, with synthetic data exhibiting somewhat lower diversity. Overall, the results demonstrate the applicability of LLMs to insider threat detection, and a scalable solution for insider sentiment testing by overcoming ethical and logistical barriers tied to data acquisition.

arxiv情報

著者 Haywood Gelman,John D. Hastings
発行日 2025-04-07 16:01:47+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.CR, cs.CY, H.3.3 | Scalable and Ethical Insider Threat Detection through Data Synthesis and Analysis by LLMs はコメントを受け付けていません

Unleashing the Power of LLMs in Dense Retrieval with Query Likelihood Modeling

投稿日: 2025年4月8日 作成者: jarxiv

要約

密な検索は、情報検索（IR）の重要なタスクであり、再ランクなどのダウンストリームタスクの基盤です。
最近、大規模な言語モデル（LLM）は、説得力のある意味的理解能力を示しており、密な検索を研究している研究者に魅力的です。
Decoderスタイルの生成モデルとしてのLLMは、言語生成で有能であり、その後トークンに注意を払っていないため、グローバル情報のモデリングに不足しています。
IRの古典的な単語ベースの言語モデリングアプローチ、つまりクエリの可能性（QL）モデルに触発され、QLの最大化によりLLMSの生成能力を十分に利用しようとします。
ただし、QL推定でドキュメントをランキングする代わりに、QLの最大化の補助タスクを導入して、差別的レトリバーを対比学習するためのより良いバックボーンを生成します。
モデルをLLM-QLと名付けます。
QLモデリング中にグローバルドキュメントセマンティクスを単一のベクトルに凝縮するために、LLM-QLには注意停止（AS）と入力汚職（IC）の2つの主要なコンポーネントがあります。
ドキュメントの終了トークンまで、前のトークンへの予測トークンの注意を止めます。
ICは、予測中に入力ドキュメントにトークンの一部をマスクします。
MSMARCOの実験は、LLM-QLが他のLLMベースのレトリバーよりも大幅に優れたパフォーマンスを達成できることを示しており、ランキングのためにLLM-QLが推定したQLを使用して、ワードベースのQLを大きなマージンでアウトフォームします。

要約(オリジナル)

Dense retrieval is a crucial task in Information Retrieval (IR) and is the foundation for downstream tasks such as re-ranking. Recently, large language models (LLMs) have shown compelling semantic understanding capabilities and are appealing to researchers studying dense retrieval. LLMs, as decoder-style generative models, are competent at language generation while falling short on modeling global information due to the lack of attention to tokens afterward. Inspired by the classical word-based language modeling approach for IR, i.e., the query likelihood (QL) model, we seek to sufficiently utilize LLMs’ generative ability by QL maximization. However, instead of ranking documents with QL estimation, we introduce an auxiliary task of QL maximization to yield a better backbone for contrastively learning a discriminative retriever. We name our model as LLM-QL. To condense global document semantics to a single vector during QL modeling, LLM-QL has two major components, Attention Stop (AS) and Input Corruption (IC). AS stops the attention of predictive tokens to previous tokens until the ending token of the document. IC masks a portion of tokens in the input documents during prediction. Experiments on MSMARCO show that LLM-QL can achieve significantly better performance than other LLM-based retrievers and using QL estimated by LLM-QL for ranking outperforms word-based QL by a large margin.

arxiv情報

著者 Hengran Zhang,Keping Bi,Jiafeng Guo,Xiaojie Sun,Shihao Liu,Daiting Shi,Dawei Yin,Xueqi Cheng
発行日 2025-04-07 16:03:59+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.IR | Unleashing the Power of LLMs in Dense Retrieval with Query Likelihood Modeling はコメントを受け付けていません

Leveraging LLMs for Utility-Focused Annotation: Reducing Manual Effort for Retrieval and RAG

投稿日: 2025年4月8日 作成者: jarxiv

要約

検索モデルは通常、トレーニングと評価のための費用のかかる人間標識クエリドキュメント関連の注釈に依存しています。
このコストを削減し、関連性の判断における大規模な言語モデル（LLM）の可能性を活用するために、LLMで生成された注釈がトレーニング検索モデルで人間の注釈を効果的に置き換えることができるかどうかを調査することを目指しています。
検索は通常、関連性を強調します。これは、ドキュメントの「トピック関連性」をクエリに示すものですが、ragでは、ドキュメント（またはユーティリティ）の値は、それが回答生成にどのように貢献するかに依存します。
このミスマッチを認識すると、一部の研究者は、ドキュメントをラベルとしてドキュメントで下流タスクでLLMパフォーマンスを使用しますが、このアプローチには特定のタスクの手動回答が必要であり、高コストと一般化が限られています。
別の作業では、LLMSにRAG参照として有用なドキュメントを選択するように促し、人間の注釈の必要性を排除し、タスク固有ではありません。
LLMSのユーティリティ判断を活用して検索データに注釈を付けると、大規模なコーパスで人間の注釈なしでクロスタスク一般化を保持する場合があります。
したがって、検索およびRAGタスクのドメイン内およびドメイン外の設定の両方で大規模なレトリーバートレーニングデータについて、LLMSを介したユーティリティ中心の注釈を調査します。
LLMSによってラベル付けされた低品質の陽性の影響を減らすために、新しい損失関数、つまりdisj-infonceを設計します。
私たちの実験は、次のことが明らかになりました。（1）ユーティリティ中心の注釈で訓練されたレトリーバーは、両方のタスクでドメイン外の設定で人間の注釈で訓練されたものを大幅に上回り、優れた一般化能力を実証します。
（2）LLM注釈は、領域内の設定で人間の注釈を置き換えません。
ただし、わずか20％のヒトが解決したデータを組み込むことで、ユーティリティ中心の注釈でトレーニングされたレトリーバーを使用すると、人間の注釈で完全にトレーニングされたモデルのパフォーマンスに合わせます。

要約(オリジナル)

Retrieval models typically rely on costly human-labeled query-document relevance annotations for training and evaluation. To reduce this cost and leverage the potential of Large Language Models (LLMs) in relevance judgments, we aim to explore whether LLM-generated annotations can effectively replace human annotations in training retrieval models. Retrieval usually emphasizes relevance, which indicates ‘topic-relatedness’ of a document to a query, while in RAG, the value of a document (or utility) depends on how it contributes to answer generation. Recognizing this mismatch, some researchers use LLM performance on downstream tasks with documents as labels, but this approach requires manual answers for specific tasks, leading to high costs and limited generalization. In another line of work, prompting LLMs to select useful documents as RAG references eliminates the need for human annotation and is not task-specific. If we leverage LLMs’ utility judgments to annotate retrieval data, we may retain cross-task generalization without human annotation in large-scale corpora. Therefore, we investigate utility-focused annotation via LLMs for large-scale retriever training data across both in-domain and out-of-domain settings on the retrieval and RAG tasks. To reduce the impact of low-quality positives labeled by LLMs, we design a novel loss function, i.e., Disj-InfoNCE. Our experiments reveal that: (1) Retrievers trained on utility-focused annotations significantly outperform those trained on human annotations in the out-of-domain setting on both tasks, demonstrating superior generalization capabilities. (2) LLM annotation does not replace human annotation in the in-domain setting. However, incorporating just 20% human-annotated data enables retrievers trained with utility-focused annotations to match the performance of models trained entirely with human annotations.

arxiv情報

著者 Hengran Zhang,Minghao Tang,Keping Bi,Jiafeng Guo,Shihao Liu,Daiting Shi,Dawei Yin,Xueqi Cheng
発行日 2025-04-07 16:05:52+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.IR | Leveraging LLMs for Utility-Focused Annotation: Reducing Manual Effort for Retrieval and RAG はコメントを受け付けていません

FinGrAct: A Framework for FINe-GRrained Evaluation of ACTionability in Explainable Automatic Fact-Checking

投稿日: 2025年4月8日 作成者: jarxiv

要約

説明可能な自動ファクトチェック（AFC）の分野は、明確で理解できる説明を提供することにより、自動化された事実検証システムの透明性と信頼性を高めることを目的としています。
ただし、これらの説明の有効性は、それらの行動性、つまりユーザーが情報に基づいた意思決定を行い、誤った情報を緩和できるようにする能力に依存します。
アクション性は高品質の説明の重要な特性であるにもかかわらず、それを評価するための専用の方法を提案した事前の研究はありません。
このホワイトペーパーでは、Webにアクセスできる細かい評価フレームワークであるFingractを紹介し、明確に定義された基準と評価データセットを介してAFCの説明の実用性を評価するように設計されています。
フィングルクルクトは、最先端の（SOTA）評価者を上回り、人間の判断と最高のピアソンとケンドールの相関を達成しながら、最低の自我中心のバイアスを実証し、AFCでのアクティビティ評価のためのより堅牢な評価アプローチになります。

要約(オリジナル)

The field of explainable Automatic Fact-Checking (AFC) aims to enhance the transparency and trustworthiness of automated fact-verification systems by providing clear and comprehensible explanations. However, the effectiveness of these explanations depends on their actionability –their ability to empower users to make informed decisions and mitigate misinformation. Despite actionability being a critical property of high-quality explanations, no prior research has proposed a dedicated method to evaluate it. This paper introduces FinGrAct, a fine-grained evaluation framework that can access the web, and it is designed to assess actionability in AFC explanations through well-defined criteria and an evaluation dataset. FinGrAct surpasses state-of-the-art (SOTA) evaluators, achieving the highest Pearson and Kendall correlation with human judgments while demonstrating the lowest ego-centric bias, making it a more robust evaluation approach for actionability evaluation in AFC.

arxiv情報

著者 Islam Eldifrawi,Shengrui Wang,Amine Trabelsi
発行日 2025-04-07 16:14:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI | FinGrAct: A Framework for FINe-GRrained Evaluation of ACTionability in Explainable Automatic Fact-Checking はコメントを受け付けていません

PINNverse: Accurate parameter estimation in differential equations from noisy data with constrained physics-informed neural networks

投稿日: 2025年4月8日 作成者: jarxiv

要約

測定データからの微分方程式のパラメーター推定は、定量科学全体で一般的な逆問題です。
物理学に基づいたニューラルネットワーク（PINN）は、特にまばらな測定と不完全なシステム情報を使用して、このような問題を解決するための効果的なツールとして浮上しています。
ただし、PINNは収束の問題、安定性の問題、過剰適合、複雑な損失機能設計に直面しています。
ここでは、学習プロセスを制約された微分最適化問題として再定式化することにより、これらの制限に対処するトレーニングパラダイムであるPinnverseを紹介します。
このアプローチは、過剰適合を防ぎながら、トレーニング中のデータ損失と微分方程式の残差損失の動的バランスを達成します。
PINNVERSEは、PINNの利点と、パレートフロントの任意のポイントでの収束を可能にするために、マルディエの変更された微分方法を組み合わせます。
物理学と生物学の4つの古典的なODEおよびPDEモデルのノイズの多いデータからの堅牢で正確なパラメーター推定を示します。
私たちの方法は、フォワードの問題が解決するのに費用がかかる場合にも正確なパラメーター推論を可能にします。

要約(オリジナル)

Parameter estimation for differential equations from measured data is an inverse problem prevalent across quantitative sciences. Physics-Informed Neural Networks (PINNs) have emerged as effective tools for solving such problems, especially with sparse measurements and incomplete system information. However, PINNs face convergence issues, stability problems, overfitting, and complex loss function design. Here we introduce PINNverse, a training paradigm that addresses these limitations by reformulating the learning process as a constrained differential optimization problem. This approach achieves a dynamic balance between data loss and differential equation residual loss during training while preventing overfitting. PINNverse combines the advantages of PINNs with the Modified Differential Method of Multipliers to enable convergence on any point on the Pareto front. We demonstrate robust and accurate parameter estimation from noisy data in four classical ODE and PDE models from physics and biology. Our method enables accurate parameter inference also when the forward problem is expensive to solve.

arxiv情報

著者 Marius Almanstötter,Roman Vetter,Dagmar Iber
発行日 2025-04-07 16:34:57+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, physics.comp-ph | PINNverse: Accurate parameter estimation in differential equations from noisy data with constrained physics-informed neural networks はコメントを受け付けていません

Adversarial KA

投稿日: 2025年4月8日 作成者: jarxiv

要約

コルモゴロフとアーノルド（KA）の表現定理については、{\ guillemotleft}を表現または{\ guillemotright}機能を表現するためのアルゴリズムとして、皮膚攻撃に耐える能力を分析することにより、その堅牢性をテストします。
KAは、継続的な敵の数え切れないほどのコレクションに堅牢であることがわかりましたが、これまでのところ、限界をとり、敵の継続的なグループを打ち負かすことを妨害する外側の機能の等しい連続性についての疑問を発掘します。
外側の機能の規則性に関するこの質問は、NNSの一般理論に対するKAの適用性に関する議論に関連しています。

要約(オリジナル)

Regarding the representation theorem of Kolmogorov and Arnold (KA) as an algorithm for representing or {\guillemotleft}expressing{\guillemotright} functions, we test its robustness by analyzing its ability to withstand adversarial attacks. We find KA to be robust to countable collections of continuous adversaries, but unearth a question about the equi-continuity of the outer functions that, so far, obstructs taking limits and defeating continuous groups of adversaries. This question on the regularity of the outer functions is relevant to the debate over the applicability of KA to the general theory of NNs.

arxiv情報

著者 Sviatoslav Dzhenzher,Michael H. Freedman
発行日 2025-04-07 16:46:52+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, math.FA | Adversarial KA はコメントを受け付けていません

Learning to Reason Over Time: Timeline Self-Reflection for Improved Temporal Reasoning in Language Models

投稿日: 2025年4月8日 作成者: jarxiv

要約

大規模な言語モデル（LLM）は、コヒーレントテキストを生成し、コンテキストを理解し、推論タスクを実行するための強力なツールとして浮上しています。
しかし、彼らは一時的な推論と格闘しているため、イベントシーケンス、期間、時代間の関係などの時間関連情報を処理する必要があります。
これらの機能は、質問応答、スケジューリング、履歴分析などのアプリケーションにとって重要です。
この論文では、タイムライン構造と反復自己反省を組み合わせたマルチステージプロセスを通じてLLMの時間的推論能力を高める新しいフレームワークであるTiserを紹介します。
私たちのアプローチは、テスト時間スケーリングを活用して、推論トレースの長さを拡張し、モデルが複雑な時間的依存性をより効果的にキャプチャできるようにします。
この戦略は、推論の正確性を高めるだけでなく、推論プロセスのトレーサビリティを改善します。
実験結果は、分散除外テストセットを含む複数のベンチマークにわたる最先端のパフォーマンスを示し、Tiserにより、より小さなオープンソースモデルが、挑戦的な時間的推論タスクでより大きな閉鎖重量モデルを上回ることができることを明らかにします。

要約(オリジナル)

Large Language Models (LLMs) have emerged as powerful tools for generating coherent text, understanding context, and performing reasoning tasks. However, they struggle with temporal reasoning, which requires processing time-related information such as event sequencing, durations, and inter-temporal relationships. These capabilities are critical for applications including question answering, scheduling, and historical analysis. In this paper, we introduce TISER, a novel framework that enhances the temporal reasoning abilities of LLMs through a multi-stage process that combines timeline construction with iterative self-reflection. Our approach leverages test-time scaling to extend the length of reasoning traces, enabling models to capture complex temporal dependencies more effectively. This strategy not only boosts reasoning accuracy but also improves the traceability of the inference process. Experimental results demonstrate state-of-the-art performance across multiple benchmarks, including out-of-distribution test sets, and reveal that TISER enables smaller open-source models to surpass larger closed-weight models on challenging temporal reasoning tasks.

arxiv情報

著者 Adrián Bazaga,Rexhina Blloshmi,Bill Byrne,Adrià de Gispert
発行日 2025-04-07 16:51:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | Learning to Reason Over Time: Timeline Self-Reflection for Improved Temporal Reasoning in Language Models はコメントを受け付けていません

How to evaluate control measures for LLM agents? A trajectory from today to superintelligence

投稿日: 2025年4月8日 作成者: jarxiv

要約

LLMエージェントが自律的に害を引き起こす能力を高めるにつれて、AI開発者は、ますます洗練された制御措置に依存して、エージェントが故障する可能性がある可能性があります。
AI開発者は、制御評価を実行することで、制御手段が十分であることを実証できます。これは、Redチームが制御測定を破壊しようとするエージェントを生成するテスト演習です。
制御評価が不整合のリスクを正確にキャプチャするようにするために、この赤いチームに付与されたアフォーダンスは、制御措置の下で展開されるエージェントの機能プロファイルに適応する必要があります。
このペーパーでは、赤チームのアフォーダンスをAI機能の前進に適応させるための体系的なフレームワークを提案します。
エージェントが常に人間に知られている最良の攻撃戦略を実行すると仮定するのではなく、エージェントの実際の能力プロファイルの知識が比例制御評価にどのように情報を提供し、より実用的で費用対効果の高い制御対策をもたらすことができるかを示します。
徐々に高度な機能を備えた5つの架空のモデル（M1-M5）のシーケンスを検討し、5つの異なるAI制御レベル（ACL）を定義することにより、フレームワークを説明します。
各ACLについて、適切な可能性のある制御評価、制御測定、および安全性のケースの例の例を提供します。
最後に、Superintelligent LLMエージェントの説得力のあるAI制御安全ケースを構築することで、研究のブレークスルーが必要である理由を示し、最終的に不整合リスクを軽減するための代替アプローチが必要になる可能性があることを強調します。

要約(オリジナル)

As LLM agents grow more capable of causing harm autonomously, AI developers will rely on increasingly sophisticated control measures to prevent possibly misaligned agents from causing harm. AI developers could demonstrate that their control measures are sufficient by running control evaluations: testing exercises in which a red team produces agents that try to subvert control measures. To ensure control evaluations accurately capture misalignment risks, the affordances granted to this red team should be adapted to the capability profiles of the agents to be deployed under control measures. In this paper we propose a systematic framework for adapting affordances of red teams to advancing AI capabilities. Rather than assuming that agents will always execute the best attack strategies known to humans, we demonstrate how knowledge of an agents’s actual capability profile can inform proportional control evaluations, resulting in more practical and cost-effective control measures. We illustrate our framework by considering a sequence of five fictional models (M1-M5) with progressively advanced capabilities, defining five distinct AI control levels (ACLs). For each ACL, we provide example rules for control evaluation, control measures, and safety cases that could be appropriate. Finally, we show why constructing a compelling AI control safety case for superintelligent LLM agents will require research breakthroughs, highlighting that we might eventually need alternative approaches to mitigating misalignment risk.

arxiv情報

著者 Tomek Korbak,Mikita Balesni,Buck Shlegeris,Geoffrey Irving
発行日 2025-04-07 16:52:52+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CR | How to evaluate control measures for LLM agents? A trajectory from today to superintelligence はコメントを受け付けていません

The challenge of uncertainty quantification of large language models in medicine

投稿日: 2025年4月8日 作成者: jarxiv

要約

この研究では、医療用途の大規模な言語モデル（LLMS）の不確実性の定量化を調査し、技術的な革新と哲学的意味の両方を強調しています。
LLMが臨床的意思決定に不可欠になるにつれて、信頼性が高く、安全で、倫理的なAIアシストヘルスケアを確保するために、不確実性を正確に伝えることが重要です。
私たちの研究は、不確実性を障壁としてではなく、AIデザインへの動的で反射的なアプローチを招く知識の重要な部分としてです。
ベイジアン推論、深いアンサンブル、モンテカルロのドロップアウトなどの高度な確率的方法を、予測とセマンティックのエントロピーを計算する言語分析と統合することにより、認識論的およびaleatoricの両方の不合理を管理する包括的なフレームワークを提案します。
このフレームワークには、独自のAPIの制限、より良いコンテキストのためのマルチソースデータ統合、および継続的およびメタ学習による動的キャリブレーションに対処するための代理モデリングが組み込まれています。
説明可能性は、ユーザーの信頼と臨床的解釈可能性をサポートするために、不確実性マップと自信指標を通じて組み込まれています。
私たちのアプローチは、責任ある反射的なAI原則と一致する透明で倫理的な意思決定をサポートしています。
哲学的には、医学知識の固有の暫定性を認識して、絶対的な予測可能性を求めて努力するのではなく、制御された曖昧さを受け入れることを提唱しています。

要約(オリジナル)

This study investigates uncertainty quantification in large language models (LLMs) for medical applications, emphasizing both technical innovations and philosophical implications. As LLMs become integral to clinical decision-making, accurately communicating uncertainty is crucial for ensuring reliable, safe, and ethical AI-assisted healthcare. Our research frames uncertainty not as a barrier but as an essential part of knowledge that invites a dynamic and reflective approach to AI design. By integrating advanced probabilistic methods such as Bayesian inference, deep ensembles, and Monte Carlo dropout with linguistic analysis that computes predictive and semantic entropy, we propose a comprehensive framework that manages both epistemic and aleatoric uncertainties. The framework incorporates surrogate modeling to address limitations of proprietary APIs, multi-source data integration for better context, and dynamic calibration via continual and meta-learning. Explainability is embedded through uncertainty maps and confidence metrics to support user trust and clinical interpretability. Our approach supports transparent and ethical decision-making aligned with Responsible and Reflective AI principles. Philosophically, we advocate accepting controlled ambiguity instead of striving for absolute predictability, recognizing the inherent provisionality of medical knowledge.

arxiv情報

著者 Zahra Atf,Seyed Amir Ahmad Safavi-Naini,Peter R. Lewis,Aref Mahjoubfar,Nariman Naderi,Thomas R. Savage,Ali Soroush
発行日 2025-04-07 17:24:11+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI | The challenge of uncertainty quantification of large language models in medicine はコメントを受け付けていません