Automatic Curriculum Design for Zero-Shot Human-AI Coordination

投稿日: 2025年3月11日 作成者: jarxiv

要約

ゼロショットヒューマンアイ調整は、人間のデータを使用せずに人間と調整するためのエゴエージェントのトレーニングです。
ゼロショットのヒューマンアイ調整に関するほとんどの研究は、目に見えない環境への一般化の問題を考慮せずに、特定の環境でのエゴエージェントの調整能力を高めることに焦点を合わせています。
ゼロショットの人間と調整の現実世界のアプリケーションは、環境に応じて、予測不可能な環境の変化と共同プレイヤーのさまざまな調整能力を考慮する必要があります。
以前は、マルチエージェントUED（監視されていない環境設計）アプローチは、競争力のある2プレイヤーAI-AIシナリオで環境の変化と共同プレイヤーポリシーを共同で検討することにより、これらの課題を調査しています。
この論文では、我々の研究では、ゼロショットの人間の調整にマルチエージェントUEDアプローチを拡張しています。
私たちは、以前のマルチエージェントUEDアプローチよりも効果的に人間と調整するためにエゴエージェントを訓練するのに役立つ、ゼロショットの人間とAIの調整設定のためのユーティリティ機能と共同プレイヤーサンプリングを提案します。
ゼロショットのヒューマンアイ調整パフォーマンスは、人間のプロキシエージェントと本物の人間を使用して、過剰調理済みの環境で評価されました。
私たちの方法は、他のベースラインモデルよりも優れており、目に見えない環境での人間とAIの調整パフォーマンスを達成します。

要約(オリジナル)

Zero-shot human-AI coordination is the training of an ego-agent to coordinate with humans without using human data. Most studies on zero-shot human-AI coordination have focused on enhancing the ego-agent’s coordination ability in a given environment without considering the issue of generalization to unseen environments. Real-world applications of zero-shot human-AI coordination should consider unpredictable environmental changes and the varying coordination ability of co-players depending on the environment. Previously, the multi-agent UED (Unsupervised Environment Design) approach has investigated these challenges by jointly considering environmental changes and co-player policy in competitive two-player AI-AI scenarios. In this paper, our study extends the multi-agent UED approach to a zero-shot human-AI coordination. We propose a utility function and co-player sampling for a zero-shot human-AI coordination setting that helps train the ego-agent to coordinate with humans more effectively than the previous multi-agent UED approach. The zero-shot human-AI coordination performance was evaluated in the Overcooked-AI environment, using human proxy agents and real humans. Our method outperforms other baseline models and achieves a high human-AI coordination performance in unseen environments.

arxiv情報

著者 Won-Sang You,Tae-Gwan Ha,Seo-Young Lee,Kyung-Joong Kim
発行日 2025-03-10 12:55:31+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI | Automatic Curriculum Design for Zero-Shot Human-AI Coordination はコメントを受け付けていません

Mapping AI Benchmark Data to Quantitative Risk Estimates Through Expert Elicitation

投稿日: 2025年3月11日 作成者: jarxiv

要約

文献と複数の専門家は、大規模な言語モデル（LLMS）からの多くの潜在的なリスクを指摘していますが、実際の害の直接的な測定値はまだほとんどありません。
AIリスク評価はこれまでのところ、モデルの機能の測定に焦点を当ててきましたが、モデルの機能はリスクの指標であり、リスクの尺度ではありません。
AIリスクシナリオのより良いモデリングと定量化は、この切断を埋めるのに役立ち、LLMの機能を有形の現実世界の害にリンクできます。
このペーパーは、既存のAIベンチマークを使用してリスク推定の作成を促進する方法を示すことにより、この分野に早期に貢献します。
専門家がAIベンチマークであるCybenchからの情報を使用して確率の推定値を生成するパイロット研究の結果について説明します。
この目的のために方法論が有望であると思われると同時に、定量的AIリスク評価における応用をさらに強化するためになされる改善に注目することを示しています。

要約(オリジナル)

The literature and multiple experts point to many potential risks from large language models (LLMs), but there are still very few direct measurements of the actual harms posed. AI risk assessment has so far focused on measuring the models’ capabilities, but the capabilities of models are only indicators of risk, not measures of risk. Better modeling and quantification of AI risk scenarios can help bridge this disconnect and link the capabilities of LLMs to tangible real-world harm. This paper makes an early contribution to this field by demonstrating how existing AI benchmarks can be used to facilitate the creation of risk estimates. We describe the results of a pilot study in which experts use information from Cybench, an AI benchmark, to generate probability estimates. We show that the methodology seems promising for this purpose, while noting improvements that can be made to further strengthen its application in quantitative AI risk assessment.

arxiv情報

著者 Malcolm Murray,Henry Papadatos,Otter Quarks,Pierre-François Gimenez,Simeon Campos
発行日 2025-03-10 13:00:00+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI | Mapping AI Benchmark Data to Quantitative Risk Estimates Through Expert Elicitation はコメントを受け付けていません

VizTrust: A Visual Analytics Tool for Capturing User Trust Dynamics in Human-AI Communication

投稿日: 2025年3月11日 作成者: jarxiv

要約

Trustは、ユーザーが人工知能（AI）システムに関与および協力する意欲を形成する上で基本的な役割を果たします。
しかし、ユーザーの信頼を測定することは、その複雑で動的な性質のために依然として挑戦的です。
従来の調査方法は長い会話の信頼レベルを提供しますが、進行中の相互作用中に動的な進化を捉えることができません。
ここでは、マルチエージェントコラボレーションシステムを活用して人間のエージェントコミュニケーションにおけるユーザーの信頼ダイナミクスをキャプチャおよび分析するリアルタイムの視覚分析ツールを導入することにより、この課題に対処するVizTrustを提示します。
確立されたヒューマンコンピューターの信頼のスケールコンピテンス、整合性、慈悲、および予測可能性に基づいて構築されたVizTrustは、利害関係者がそれが起こるときに信頼の形成を観察し、信頼開発のパターンを特定し、信頼に影響を与える特定の相互作用要素を特定することを可能にします。
当社のツールは、ダッシュボードを介して人間エージェントの信頼の形成とリアルタイムでの進化に関する実用的な洞察を提供し、ユーザーの信頼信号に効果的に対応する適応的な会話エージェントの設計をサポートします。

要約(オリジナル)

Trust plays a fundamental role in shaping the willingness of users to engage and collaborate with artificial intelligence (AI) systems. Yet, measuring user trust remains challenging due to its complex and dynamic nature. While traditional survey methods provide trust levels for long conversations, they fail to capture its dynamic evolution during ongoing interactions. Here, we present VizTrust, which addresses this challenge by introducing a real-time visual analytics tool that leverages a multi-agent collaboration system to capture and analyze user trust dynamics in human-agent communication. Built on established human-computer trust scales-competence, integrity, benevolence, and predictability-, VizTrust enables stakeholders to observe trust formation as it happens, identify patterns in trust development, and pinpoint specific interaction elements that influence trust. Our tool offers actionable insights into human-agent trust formation and evolution in real time through a dashboard, supporting the design of adaptive conversational agents that responds effectively to user trust signals.

arxiv情報

著者 Xin Wang,Stephanie Tulk Jesso,Sadamori Kojaku,David M Neyens,Min Sun Kim
発行日 2025-03-10 13:00:41+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.HC | VizTrust: A Visual Analytics Tool for Capturing User Trust Dynamics in Human-AI Communication はコメントを受け付けていません

KAA: Kolmogorov-Arnold Attention for Enhancing Attentive Graph Neural Networks

投稿日: 2025年3月11日 作成者: jarxiv

要約

注意メカニズムを備えたグラフニューラルネットワーク（GNNS）は、しばしば注意深いGNNと呼ばれ、近年、高度なGNNモデルで顕著なパラダイムとして浮上しています。
ただし、ネイバーノードをスコアリングする重要なプロセスを理解することは限られたままであり、多くの既存の注意深いGNNのパフォーマンスの低下につながります。
この論文では、現在の注意力のGNNのスコアリング機能を統合し、Kolmogorov-Arnold Network（Kan）アーキテクチャをスコアリングプロセスに統合するKolmogorov-Arnoldの注意（KAA）を提案します。
KAAは、全面的にスコアリング機能のパフォーマンスを向上させ、ほぼすべての既存の丁寧なGNNに適用できます。
KAAの表現力を他のスコアリング関数と比較するために、最大ランキング距離（MRD）を導入して、ノードの重要性のランキングエラーの上限を定量的に推定します。
私たちの分析により、幅と深さに対する限られたパラメーターと制約の下で、線形変換ベースとMLPベースのスコアリング関数の両方が有限の表現力を示すことが明らかになりました。
対照的に、提案されたKAAは、ゼロオーダーBスプライン関数によってパラメーター化された単一層KANでさえ、ほぼ無限の表現力を示しています。
さまざまなバックボーンモデルを使用したノードレベルとグラフレベルの両方のタスクでの広範な実験は、KAAが強化したスコアリング機能が一貫して元のカウンターパートを上回り、場合によっては20％以上のパフォーマンスの改善を達成することを示しています。

要約(オリジナル)

Graph neural networks (GNNs) with attention mechanisms, often referred to as attentive GNNs, have emerged as a prominent paradigm in advanced GNN models in recent years. However, our understanding of the critical process of scoring neighbor nodes remains limited, leading to the underperformance of many existing attentive GNNs. In this paper, we unify the scoring functions of current attentive GNNs and propose Kolmogorov-Arnold Attention (KAA), which integrates the Kolmogorov-Arnold Network (KAN) architecture into the scoring process. KAA enhances the performance of scoring functions across the board and can be applied to nearly all existing attentive GNNs. To compare the expressive power of KAA with other scoring functions, we introduce Maximum Ranking Distance (MRD) to quantitatively estimate their upper bounds in ranking errors for node importance. Our analysis reveals that, under limited parameters and constraints on width and depth, both linear transformation-based and MLP-based scoring functions exhibit finite expressive power. In contrast, our proposed KAA, even with a single-layer KAN parameterized by zero-order B-spline functions, demonstrates nearly infinite expressive power. Extensive experiments on both node-level and graph-level tasks using various backbone models show that KAA-enhanced scoring functions consistently outperform their original counterparts, achieving performance improvements of over 20% in some cases.

arxiv情報

著者 Taoran Fang,Tianhong Gao,Chunping Wang,Yihao Shang,Wei Chow,Lei Chen,Yang Yang
発行日 2025-03-10 13:01:47+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | KAA: Kolmogorov-Arnold Attention for Enhancing Attentive Graph Neural Networks はコメントを受け付けていません

ToolFuzz — Automated Agent Tool Testing

投稿日: 2025年3月11日 作成者: jarxiv

要約

大規模な言語モデル（LLM）エージェントは、実際のアプリケーションでLLMの高度な推論機能を活用しています。
環境とインターフェイスするために、これらのエージェントは、多くの場合、Web検索やデータベースAPIなどのツールに依存しています。
エージェントは、ユーザークエリに沿ったツールドキュメントをLLMに提供するため、このドキュメントの完全性と正確性が重要です。
ただし、ツールのドキュメントは、多くの場合、エージェントの正確性を妨げて、過剰、下、または不法化されています。
標準的なソフトウェアテストアプローチは、これらのエラーが自然言語で表現されているため、これらのエラーを特定するのに苦労しています。
したがって、その重要性にもかかわらず、現在、エージェントのツールドキュメントをテストする自動化された方法はありません。
この問題に対処するために、ツールドキュメントの自動テストの最初の方法であるToolfuzzを提示します。
Toolfuzzは、2つのタイプのエラーを発見するように設計されています。（1）ツールランタイムエラーにつながるユーザークエリと、（2）エージェントの応答が誤っていないユーザークエリ。
ツールフーズは、大きくて多様な自然入力セットを生成し、低い誤った陽性レートでツールの説明エラーを効果的に見つけることができます。
さらに、2つの簡単なプロンプトエンジニアリングアプローチを提示します。
評価をさらに強化するために、32の一般的なラングチェーンツールと35の新しく作成されたカスタムツールと2つの新しいベンチマークに関する3つのツールテストアプローチすべてを評価します。
多くの公開されているツールは、不足していることに苦しんでいることがわかります。
具体的には、Toolfuzzがプロンプトエンジニアリングアプローチと比較して20倍の誤った入力を識別し、信頼できるAIエージェントを構築するための重要なコンポーネントになることを示します。

要約(オリジナル)

Large Language Model (LLM) Agents leverage the advanced reasoning capabilities of LLMs in real-world applications. To interface with an environment, these agents often rely on tools, such as web search or database APIs. As the agent provides the LLM with tool documentation along the user query, the completeness and correctness of this documentation is critical. However, tool documentation is often over-, under-, or ill-specified, impeding the agent’s accuracy. Standard software testing approaches struggle to identify these errors as they are expressed in natural language. Thus, despite its importance, there currently exists no automated method to test the tool documentation for agents. To address this issue, we present ToolFuzz, the first method for automated testing of tool documentations. ToolFuzz is designed to discover two types of errors: (1) user queries leading to tool runtime errors and (2) user queries that lead to incorrect agent responses. ToolFuzz can generate a large and diverse set of natural inputs, effectively finding tool description errors at a low false positive rate. Further, we present two straightforward prompt-engineering approaches. We evaluate all three tool testing approaches on 32 common LangChain tools and 35 newly created custom tools and 2 novel benchmarks to further strengthen the assessment. We find that many publicly available tools suffer from underspecification. Specifically, we show that ToolFuzz identifies 20x more erroneous inputs compared to the prompt-engineering approaches, making it a key component for building reliable AI agents.

arxiv情報

著者 Ivan Milev,Mislav Balunović,Maximilian Baader,Martin Vechev
発行日 2025-03-10 13:01:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.SE | ToolFuzz — Automated Agent Tool Testing はコメントを受け付けていません

Post-detection inference for sequential changepoint localization

投稿日: 2025年3月11日 作成者: jarxiv

要約

このペーパーでは、シーケンシャルの変化ポイント分析における基本的ではあるが、ほとんど未開拓の課題に取り組んでいます。検出された変更後の​​推論を実施します。
順次検出アルゴリズム$ \ mathcal a $が変更を宣言するデータ依存の停止時間までに観察されたデータのみを使用して、ChangePointをローカライズする問題を調査します。
最初に、変化前と変更後の分布が知られていると想定されている場合、未知の変化ポイントの信頼セットを構築します。
次に、フレームワークを構成前および変更後シナリオに拡張します。
観測スペースまたは$ \ mathcal a $に条件を課すことはありません。シミュレートされたデータシーケンスで$ \ mathcal a $を実行できる必要があります。
要約すると、この作業は、理論的に健全で実質的に効果的なツールの両方を提供します。

要約(オリジナル)

This paper addresses a fundamental but largely unexplored challenge in sequential changepoint analysis: conducting inference following a detected change. We study the problem of localizing the changepoint using only the data observed up to a data-dependent stopping time at which a sequential detection algorithm $\mathcal A$ declares a change. We first construct confidence sets for the unknown changepoint when pre- and post-change distributions are assumed to be known. We then extend our framework to composite pre- and post-change scenarios. We impose no conditions on the observation space or on $\mathcal A$ — we only need to be able to run $\mathcal A$ on simulated data sequences. In summary, this work offers both theoretically sound and practically effective tools for sequential changepoint localization.

arxiv情報

著者 Aytijhya Saha,Aaditya Ramdas
発行日 2025-03-10 13:20:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, stat.ME, stat.ML | Post-detection inference for sequential changepoint localization はコメントを受け付けていません

Self-Corrective Task Planning by Inverse Prompting with Large Language Models

投稿日: 2025年3月11日 作成者: jarxiv

要約

ロボットタスクの計画では、大規模な言語モデル（LLM）は、複雑で長期のアクションシーケンスを生成することに大きな約束を示しています。
ただし、LLMSは、しばしばもっともらしいと聞こえるが正確ではない応答を生成することが観察されています。
これらの問題に対処するために、既存の方法は通常、事前に定義されたエラーセットまたは外部の知識ソースを採用しており、人間の努力と計算リソースを必要とします。
最近、LLMが計画を生成および改良し、それ自体でエラーを特定する自己修正アプローチが登場しました。
それらの有効性にもかかわらず、彼らは推論が不十分なため、修正の失敗になりやすいです。
この論文では、解釈可能性を高めるために逆促しを活用する新しい自己保護タスク計画アプローチであるInversePromptを紹介します。
私たちの方法には、明確で解釈可能なフィードバックを提供するための推論手順が組み込まれています。
最初に生成されたアクションに対応する逆アクションを生成し、これらの逆アクションがシステムを元の状態に復元できるかどうかを確認し、生成された計画の論理的一貫性を明示的に検証します。ベンチマークデータセットの結果は、既存のLLMベースのタスク計画方法よりも平均16.3％高い成功率を示しています。
私たちのアプローチは、実際の環境でのフィードバックに対するより明確な正当化を提供し、さまざまなシナリオにわたる既存の自己修正アプローチよりもタスクの完了が成功します。

要約(オリジナル)

In robot task planning, large language models (LLMs) have shown significant promise in generating complex and long-horizon action sequences. However, it is observed that LLMs often produce responses that sound plausible but are not accurate. To address these problems, existing methods typically employ predefined error sets or external knowledge sources, requiring human efforts and computation resources. Recently, self-correction approaches have emerged, where LLM generates and refines plans, identifying errors by itself. Despite their effectiveness, they are more prone to failures in correction due to insufficient reasoning. In this paper, we introduce InversePrompt, a novel self-corrective task planning approach that leverages inverse prompting to enhance interpretability. Our method incorporates reasoning steps to provide clear, interpretable feedback. It generates inverse actions corresponding to the initially generated actions and verifies whether these inverse actions can restore the system to its original state, explicitly validating the logical coherence of the generated plans.The results on benchmark datasets show an average 16.3% higher success rate over existing LLM-based task planning methods. Our approach offers clearer justifications for feedback in real-world environments, resulting in more successful task completion than existing self-correction approaches across various scenarios.

arxiv情報

著者 Jiho Lee,Hayun Lee,Jonghyeon Kim,Kyungjae Lee,Eunwoo Kim
発行日 2025-03-10 13:35:51+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO | Self-Corrective Task Planning by Inverse Prompting with Large Language Models はコメントを受け付けていません

Human Machine Co-Adaptation Model and Its Convergence Analysis

投稿日: 2025年3月11日 作成者: jarxiv

要約

ロボット支援リハビリテーションの鍵は、患者と機械の両方のニーズに対応する必要があるヒューマンマシンインターフェイスの設計にあります。
現在のインターフェイス設計は、主にマシン制御アルゴリズムに焦点を当てており、多くの場合、患者にかなりの時間を費やす必要があります。
この論文では、協同組合適応マルコフ決定プロセス（CAMDPS）モデルに基づいた新しいアプローチを紹介し、インタラクティブ学習プロセスの基本的な側面に対処し、理論的な洞察と実用的なガイダンスを提供します。
CAMDPの収束に十分な条件を確立し、ナッシュ平衡点の独自性を確保します。
これらの条件を活用して、システムの収束が一意のナッシュ平衡点への収束を保証します。
さらに、複数のNASH平衡点を備えたシナリオを調査し、価値評価とポリシー改善アルゴリズムの両方を調整して、グローバルな最小NASH平衡点に収束する可能性を高める戦略を考案します。
数値実験を通じて、提案された条件とアルゴリズムの有効性を説明し、実際の設定でそれらの適用性と堅牢性を示します。
収束のための提案された条件とユニークな最適なナッシュ平衡の識別は、ロボット支援リハビリテーションにおける人間のユーザー向けのより効果的な適応システムの開発に寄与します。

要約(オリジナル)

The key to robot-assisted rehabilitation lies in the design of the human-machine interface, which must accommodate the needs of both patients and machines. Current interface designs primarily focus on machine control algorithms, often requiring patients to spend considerable time adapting. In this paper, we introduce a novel approach based on the Cooperative Adaptive Markov Decision Process (CAMDPs) model to address the fundamental aspects of the interactive learning process, offering theoretical insights and practical guidance. We establish sufficient conditions for the convergence of CAMDPs and ensure the uniqueness of Nash equilibrium points. Leveraging these conditions, we guarantee the system’s convergence to a unique Nash equilibrium point. Furthermore, we explore scenarios with multiple Nash equilibrium points, devising strategies to adjust both Value Evaluation and Policy Improvement algorithms to enhance the likelihood of converging to the global minimal Nash equilibrium point. Through numerical experiments, we illustrate the effectiveness of the proposed conditions and algorithms, demonstrating their applicability and robustness in practical settings. The proposed conditions for convergence and the identification of a unique optimal Nash equilibrium contribute to the development of more effective adaptive systems for human users in robot-assisted rehabilitation.

arxiv情報

著者 Steven W. Su,Yaqi Li,Kairui Guo,Rob Duffield
発行日 2025-03-10 13:36:36+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.HC, cs.MA, cs.RO | Human Machine Co-Adaptation Model and Its Convergence Analysis はコメントを受け付けていません

Experimental Exploration: Investigating Cooperative Interaction Behavior Between Humans and Large Language Model Agents

投稿日: 2025年3月11日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）の台頭により、AIエージェントは自律的な意思決定者としての人間協力の重要な機会と課題を提示します。
多くの研究がツールとしてAIとの人間の協力を調査していますが、競争力のある相互作用におけるLLMを介した自律剤の役割は依然として尋ねられていません。
この研究では、繰り返しの囚人のジレンマゲームで異なる特性（人間、主張されたルールベースのAIエージェント、およびLLMエージェント）を示すLLMエージェントと相互作用した30人の参加者を関与させることにより、人間の協同行動を調査します。
調査結果は、エージェントの主張された特性と参加者の性別の相互作用効果、および特性とされる特性に基づいた協同的行動の有意差を示しています。
また、ゲームの完了時間、積極的な好ましい行動、修理努力の受け入れなど、人間の反応パターンも分析しました。
これらの洞察は、仮想アバターや将来の物理エンティティなどの競争的な協力コンテキストでのLLMエージェントとの人間の相互作用に関する新しい視点を提供します。
この研究では、AIエージェントに対する人間の偏見を理解することの重要性と、観察された行動が将来の人間と協力のダイナミクスにどのように影響するかを強調しています。

要約(オリジナル)

With the rise of large language models (LLMs), AI agents as autonomous decision-makers present significant opportunities and challenges for human-AI cooperation. While many studies have explored human cooperation with AI as tools, the role of LLM-augmented autonomous agents in competitive-cooperative interactions remains under-examined. This study investigates human cooperative behavior by engaging 30 participants who interacted with LLM agents exhibiting different characteristics (purported human, purported rule-based AI agent, and LLM agent) in repeated Prisoner’s Dilemma games. Findings show significant differences in cooperative behavior based on the agents’ purported characteristics and the interaction effect of participants’ genders and purported characteristics. We also analyzed human response patterns, including game completion time, proactive favorable behavior, and acceptance of repair efforts. These insights offer a new perspective on human interactions with LLM agents in competitive cooperation contexts, such as virtual avatars or future physical entities. The study underscores the importance of understanding human biases toward AI agents and how observed behaviors can influence future human-AI cooperation dynamics.

arxiv情報

著者 Guanxuan Jiang,Yuyang Wang,Pan Hui
発行日 2025-03-10 13:37:36+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.HC | Experimental Exploration: Investigating Cooperative Interaction Behavior Between Humans and Large Language Model Agents はコメントを受け付けていません

AI Biases as Asymmetries: A Review to Guide Practice

投稿日: 2025年3月11日 作成者: jarxiv

要約

AIのバイアスの理解は現在革命を受けています。
最初はエラーまたは欠陥として理解されていたため、バイアスはAIシステムに不可欠であるとますます認識されており、偏った代替品よりも好ましい場合があります。
このホワイトペーパーでは、この変化の理解の理由を確認し、2つの質問に関する新しいガイダンスを提供します。まず、新しい理解と一致して、AIシステムのバイアスについてどのように考え、測定する必要がありますか？
第二に、AIシステムのどのようなバイアスを受け入れるか、さらに増幅する必要があり、どのような種類を最小化または排除する必要がありますか？
両方の質問に答えるための鍵は、バイアスを「対称基準の違反」（ケリーに続いて）として理解することです。
AIシステムエラーバイアス、不平等バイアス、プロセスバイアス、および各タイプのバイアスが良い、悪い、または避けられない可能性が高いAI開発とアプリケーションのプロセスバイアスとハイライトの3つの主要な非対称性を区別します。

要約(オリジナル)

The understanding of bias in AI is currently undergoing a revolution. Initially understood as errors or flaws, biases are increasingly recognized as integral to AI systems and sometimes preferable to less biased alternatives. In this paper, we review the reasons for this changed understanding and provide new guidance on two questions: First, how should we think about and measure biases in AI systems, consistent with the new understanding? Second, what kinds of bias in an AI system should we accept or even amplify, and what kinds should we minimize or eliminate, and why? The key to answering both questions, we argue, is to understand biases as ‘violations of a symmetry standard’ (following Kelly). We distinguish three main types of asymmetry in AI systems-error biases, inequality biases, and process biases-and highlight places in the pipeline of AI development and application where bias of each type is likely to be good, bad, or inevitable.

arxiv情報

著者 Gabriella Waters,Phillip Honenberger
発行日 2025-03-10 13:40:28+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CY, cs.LG | AI Biases as Asymmetries: A Review to Guide Practice はコメントを受け付けていません