Quantitative Auditing of AI Fairness with Differentially Private Synthetic Data

投稿日: 2025年5月1日 作成者: jarxiv

要約

AIシステムの公平性監査は、バイアスを特定して定量化できます。
ただし、実際のデータを使用した従来の監査は、セキュリティとプライバシーの懸念を引き起こします。
監査人は、敏感な情報の管理者になり、サイバー攻撃のターゲットになるため、セキュリティリスクにさらされます。
データ分析は機密情報を誤って公開する可能性があるため、直接的な違反がなくてもプライバシーリスクが生じます。
これらに対処するために、差別的にプライベートな合成データを活用してAIシステムの公平性を監査するフレームワークを提案します。
プライバシーを提供するメカニズムを適用することにより、プライバシーを確​​保しながら元のデータセットの統計的特性を反映する合成データを生成します。
この方法は、厳密な公平性監査と強力なプライバシー保護の必要性の目標のバランスをとります。
大人、容赦、糖尿病などの実際のデータセットでの実験を通じて、合成データと実際のデータの公平性メトリックを比較します。
これらのメトリック間のアラインメントと矛盾を分析することにより、合成データの能力を評価して、実際のデータの公平性の特性を維持します。
我々の結果は、敏感な情報を保護し、重要かつデリケートなドメイン全体で適用可能性を証明しながら、意味のある公平性評価を可能にするフレームワークの能力を示しています。

要約(オリジナル)

Fairness auditing of AI systems can identify and quantify biases. However, traditional auditing using real-world data raises security and privacy concerns. It exposes auditors to security risks as they become custodians of sensitive information and targets for cyberattacks. Privacy risks arise even without direct breaches, as data analyses can inadvertently expose confidential information. To address these, we propose a framework that leverages differentially private synthetic data to audit the fairness of AI systems. By applying privacy-preserving mechanisms, it generates synthetic data that mirrors the statistical properties of the original dataset while ensuring privacy. This method balances the goal of rigorous fairness auditing and the need for strong privacy protections. Through experiments on real datasets like Adult, COMPAS, and Diabetes, we compare fairness metrics of synthetic and real data. By analyzing the alignment and discrepancies between these metrics, we assess the capacity of synthetic data to preserve the fairness properties of real data. Our results demonstrate the framework’s ability to enable meaningful fairness evaluations while safeguarding sensitive information, proving its applicability across critical and sensitive domains.

arxiv情報

著者 Chih-Cheng Rex Yuan,Bow-Yaw Wang
発行日 2025-04-30 13:36:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CY, cs.LG | Quantitative Auditing of AI Fairness with Differentially Private Synthetic Data はコメントを受け付けていません

Sadeed: Advancing Arabic Diacritization Through Small Language Model

投稿日: 2025年5月1日 作成者: jarxiv

要約

アラビア語のテキストは、言語の形態学的な豊かさのために、自然言語処理における持続的な課題のままです。
この論文では、Kuwain 1.5b Hennara et al。
[2025]、もともと多様なアラビア語のコーパスで訓練されたコンパクトモデル。
Sadeedは、厳密なデータクリーニングと正規化パイプラインを介して構築された、慎重にキュレーションされた高品質のジクライト化データセットで微調整されています。
控えめな計算リソースを利用しているにもかかわらず、Sadeedは独自の大規模な言語モデルと比較して競争結果を達成し、同様のドメインで訓練された従来のモデルを上回ります。
さらに、アラビア語の二項化のための現在のベンチマークプラクティスの重要な制限を強調しています。
これらの問題に対処するために、さまざまなテキストジャンルと複雑さレベルでより公平で包括的な評価を可能にするように設計された新しいベンチマークであるSadeeddiac-25を紹介します。
SadeedとSadeeddiac-25を合わせて、機械の翻訳、テキストへの語り方、言語学習ツールなど、アラビア語のNLPアプリケーションを進めるための堅牢な基盤を提供します。

要約(オリジナル)

Arabic text diacritization remains a persistent challenge in natural language processing due to the language’s morphological richness. In this paper, we introduce Sadeed, a novel approach based on a fine-tuned decoder-only language model adapted from Kuwain 1.5B Hennara et al. [2025], a compact model originally trained on diverse Arabic corpora. Sadeed is fine-tuned on carefully curated, high-quality diacritized datasets, constructed through a rigorous data-cleaning and normalization pipeline. Despite utilizing modest computational resources, Sadeed achieves competitive results compared to proprietary large language models and outperforms traditional models trained on similar domains. Additionally, we highlight key limitations in current benchmarking practices for Arabic diacritization. To address these issues, we introduce SadeedDiac-25, a new benchmark designed to enable fairer and more comprehensive evaluation across diverse text genres and complexity levels. Together, Sadeed and SadeedDiac-25 provide a robust foundation for advancing Arabic NLP applications, including machine translation, text-to-speech, and language learning tools.

arxiv情報

著者 Zeina Aldallal,Sara Chrouf,Khalil Hennara,Mohamed Motaism Hamed,Muhammad Hreden,Safwan AlModhayan
発行日 2025-04-30 13:37:24+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Sadeed: Advancing Arabic Diacritization Through Small Language Model はコメントを受け付けていません

Designing Control Barrier Function via Probabilistic Enumeration for Safe Reinforcement Learning Navigation

投稿日: 2025年5月1日 作成者: jarxiv

要約

安全な自律ナビゲーションシステムを実現することは、動的で不確実な現実世界環境でロボットを展開するために重要です。
この論文では、安全な強化学習ナビゲーションポリシーを保証する制御バリア関数（CBF）およびポリシー修正メカニズムを設計するためのニューラルネットワーク検証手法を活用する階層制御フレームワークを提案します。
私たちのアプローチは、確率的列挙に依存して、危険な動作領域を特定し、任意のポリシーに適用される安全なCBFベースの制御層を構築するために使用されます。
標準のモバイルロボットベンチマークと非常に動的な水生環境監視タスクを使用して、シミュレーションと実際のロボットの両方でフレームワークを検証します。
これらの実験は、効率的なナビゲーション動作を維持しながら、安全でないアクションを修正する提案されたソリューションの能力を示しています。
私たちの結果は、複雑なシナリオで安全で堅牢なナビゲーション行動を可能にするために、階層的検証ベースのシステムを開発するという約束を示しています。

要約(オリジナル)

Achieving safe autonomous navigation systems is critical for deploying robots in dynamic and uncertain real-world environments. In this paper, we propose a hierarchical control framework leveraging neural network verification techniques to design control barrier functions (CBFs) and policy correction mechanisms that ensure safe reinforcement learning navigation policies. Our approach relies on probabilistic enumeration to identify unsafe regions of operation, which are then used to construct a safe CBF-based control layer applicable to arbitrary policies. We validate our framework both in simulation and on a real robot, using a standard mobile robot benchmark and a highly dynamic aquatic environmental monitoring task. These experiments demonstrate the ability of the proposed solution to correct unsafe actions while preserving efficient navigation behavior. Our results show the promise of developing hierarchical verification-based systems to enable safe and robust navigation behaviors in complex scenarios.

arxiv情報

著者 Luca Marzari,Francesco Trotti,Enrico Marchesini,Alessandro Farinelli
発行日 2025-04-30 13:47:25+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO | Designing Control Barrier Function via Probabilistic Enumeration for Safe Reinforcement Learning Navigation はコメントを受け付けていません

AdaR1: From Long-CoT to Hybrid-CoT via Bi-Level Adaptive Reasoning Optimization

投稿日: 2025年5月1日 作成者: jarxiv

要約

最近、長年の推論モデルは、複雑な推論タスクで強力なパフォーマンスを達成していますが、多くの場合、かなりの推論オーバーヘッドが発生し、効率性が重要な懸念事項になります。
私たちの経験的分析は、長期コットを使用することの利点は問題によって異なることを明らかにしています。いくつかの問題は、精巧な推論を必要とするものですが、他の問題は改善を示しません。
これは、入力の深さを調整する適応的な推論戦略を動機付けます。
ただし、以前の作業は主に長い推論パス内で冗長性を削減し、長期的なパラダイムを超えたより効率的な戦略の調査を制限します。
これに対処するために、適応的かつ効率的な推論のための新しい2段階のフレームワークを提案します。
まず、長いCOTモデルと短いCOTモデルをマージして、多様な推論スタイルを可能にすることにより、ハイブリッド推論モデルを構築します。
第二に、バイレベルの優先トレーニングを適用して、モデルをガイドして適切な推論スタイル（グループレベル）を選択し、各スタイルグループ内の簡潔で正しい推論（インスタンスレベル）を好みます。
実験は、私たちの方法が、パフォーマンスを維持しながら、他のベースラインアプローチと比較して推論コストを大幅に削減することを示しています。
特に、5つの数学データセットでは、推論の平均長さが50％以上削減され、大規模な言語モデルの推論効率を最適化する適応戦略の可能性を強調しています。
私たちのコードは、https://github.com/stardewxxx/adar1に近日公開されます

要約(オリジナル)

Recently, long-thought reasoning models achieve strong performance on complex reasoning tasks, but often incur substantial inference overhead, making efficiency a critical concern. Our empirical analysis reveals that the benefit of using Long-CoT varies across problems: while some problems require elaborate reasoning, others show no improvement, or even degraded accuracy. This motivates adaptive reasoning strategies that tailor reasoning depth to the input. However, prior work primarily reduces redundancy within long reasoning paths, limiting exploration of more efficient strategies beyond the Long-CoT paradigm. To address this, we propose a novel two-stage framework for adaptive and efficient reasoning. First, we construct a hybrid reasoning model by merging long and short CoT models to enable diverse reasoning styles. Second, we apply bi-level preference training to guide the model to select suitable reasoning styles (group-level), and prefer concise and correct reasoning within each style group (instance-level). Experiments demonstrate that our method significantly reduces inference costs compared to other baseline approaches, while maintaining performance. Notably, on five mathematical datasets, the average length of reasoning is reduced by more than 50%, highlighting the potential of adaptive strategies to optimize reasoning efficiency in large language models. Our code is coming soon at https://github.com/StarDewXXX/AdaR1

arxiv情報

著者 Haotian Luo,Haiying He,Yibo Wang,Jinluan Yang,Rui Liu,Naiqiang Tan,Xiaochun Cao,Dacheng Tao,Li Shen
発行日 2025-04-30 14:01:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | AdaR1: From Long-CoT to Hybrid-CoT via Bi-Level Adaptive Reasoning Optimization はコメントを受け付けていません

Extension-ranking Semantics for Abstract Argumentation Preprint

投稿日: 2025年5月1日 作成者: jarxiv

要約

この論文では、受け入れの妥当性に基づいて、抽象的な議論で一連の議論セットをランキングするための一般的な枠組みを提示します。
Dung’s Extension Semanticsの拡張ランクセマンティクスとしての一般化を提示します。これにより、すべての引数の電源セットを予約注文し、1つのセットが別のセットよりも「容認できる」ことを述べることができます。
拡張ランクのセマンティクスを評価するために、行儀の良い拡張ランクセマンティクスが満たすべきである多くの原則を紹介します。
いくつかの単純な基本関係を考慮します。それぞれが、議論の推論の単一の中心的な側面をモデル化します。
これらの基本関係の組み合わせは、拡張ランクのセマンティクスの家族を私たちに提供します。
また、拡張ランクのセマンティクスのコンテキストで使用できるようにランキング拡張機能のために、文献から多くのアプローチを適応させ、それらの行動を評価します。

要約(オリジナル)

In this paper, we present a general framework for ranking sets of arguments in abstract argumentation based on their plausibility of acceptance. We present a generalisation of Dung’s extension semantics as extension-ranking semantics, which induce a preorder over the power set of all arguments, allowing us to state that one set is ‘closer’ to being acceptable than another. To evaluate the extension-ranking semantics, we introduce a number of principles that a well-behaved extension-ranking semantics should satisfy. We consider several simple base relations, each of which models a single central aspect of argumentative reasoning. The combination of these base relations provides us with a family of extension-ranking semantics. We also adapt a number of approaches from the literature for ranking extensions to be usable in the context of extension-ranking semantics, and evaluate their behaviour.

arxiv情報

著者 Kenneth Skiba,Tjitze Rienstra,Matthias Thimm,Jesse Heyninck,Gabriele Kern-Isberner
発行日 2025-04-30 14:19:42+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI | Extension-ranking Semantics for Abstract Argumentation Preprint はコメントを受け付けていません

Enhancing Health Mention Classification Performance: A Study on Advancements in Parameter Efficient Tuning

投稿日: 2025年5月1日 作成者: jarxiv

要約

Health Nection Classification（HMC）は、リアルタイム追跡と公衆衛生監視のためのソーシャルメディアの投稿を活用する上で重要な役割を果たしています。
それにもかかわらず、HMCのプロセスは、個人の病気を明示的に反映するのではなく、比fig的な言語や記述用語などの健康言語の文脈的側面に起因する、その複雑な性質のために重要な課題を提示します。
この問題に対処するために、生物医学の自然言語法（NLP）の強化されたパラメーターを使用した従来の微調整を通じて、より明確な言及を達成できると主張します。
この研究では、スピーチ（POS）タガー情報の利用、PEFTテクニックの改善、そのような組み合わせなど、さまざまな手法を調査します。
広く使用されている3つのデータセット、RHDM、PHM、および病気で広範な実験が行われます。
結果にはPOSタガー情報が組み込まれ、PEFTテクニックを活用すると、小規模なモデルと効率的なトレーニングを利用することにより、3つのデータセットすべてにわたって最先端の方法と比較して、F1スコアの観点からパフォーマンスが大幅に向上します。
さらに、調査結果は、POSタガー情報を組み込み、HMCのPEFT技術を活用することの有効性を強調しています。
結論として、提案された方法論は、モデルのサイズとトレーニング効率を最適化しながら、ソーシャルメディアの投稿での健康の言及を正確に分類するための潜在的に効果的なアプローチを提示します。

要約(オリジナル)

Health Mention Classification (HMC) plays a critical role in leveraging social media posts for real-time tracking and public health monitoring. Nevertheless, the process of HMC presents significant challenges due to its intricate nature, primarily stemming from the contextual aspects of health mentions, such as figurative language and descriptive terminology, rather than explicitly reflecting a personal ailment. To address this problem, we argue that clearer mentions can be achieved through conventional fine-tuning with enhanced parameters of biomedical natural language methods (NLP). In this study, we explore different techniques such as the utilisation of part-of-speech (POS) tagger information, improving on PEFT techniques, and different combinations thereof. Extensive experiments are conducted on three widely used datasets: RHDM, PHM, and Illness. The results incorporated POS tagger information, and leveraging PEFT techniques significantly improves performance in terms of F1-score compared to state-of-the-art methods across all three datasets by utilising smaller models and efficient training. Furthermore, the findings highlight the effectiveness of incorporating POS tagger information and leveraging PEFT techniques for HMC. In conclusion, the proposed methodology presents a potentially effective approach to accurately classifying health mentions in social media posts while optimising the model size and training efficiency.

arxiv情報

著者 Reem Abdel-Salam,Mary Adewunmi
発行日 2025-04-30 14:21:54+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Enhancing Health Mention Classification Performance: A Study on Advancements in Parameter Efficient Tuning はコメントを受け付けていません

Automatic Mapping of AutomationML Files to Ontologies for Graph Queries and Validation

投稿日: 2025年5月1日 作成者: jarxiv

要約

AutomationMLは、自動化ドメインのオープンデータ交換形式として広範囲にわたる採用を見ています。
これは、拡張可能なマークアップ言語XMLに基づいたオープンおよびベンダーの中立標準です。
ただし、AutomationMLは追加のセマンティクスでXMLを拡張し、クエリやデータ検証などのアプリケーションに一般的なXML-Toolsの適用性を制限します。
この記事は、1）AutomationML-Standardの概念の最新のオントロジーと、2）AutomationMLモデルをRDFトリプルに自動的に変換するための宣言マッピングを実践者に提供します。
一緒に、これらのアーティファクトにより、開業医は産業知識グラフに自動化ML情報を簡単に統合できます。
Automation Domainの例に関する調査では、AutomationMLをフクロウに変換すると、変換なしで不可能なクエリと検証の新しい強力な方法が開かれると結論付けています。

要約(オリジナル)

AutomationML has seen widespread adoption as an open data exchange format in the automation domain. It is an open and vendor neutral standard based on the extensible markup language XML. However, AutomationML extends XML with additional semantics, that limit the applicability of common XML-tools for applications like querying or data validation. This article provides practitioners with 1) an up-to-date ontology of the concepts in the AutomationML-standard, as well as 2) a declarative mapping to automatically transform any AutomationML model into RDF triples. Together, these artifacts allow practitioners an easy integration of AutomationML information into industrial knowledge graphs. A study on examples from the automation domain concludes that transforming AutomationML to OWL opens up new powerful ways for querying and validation that are impossible without transformation.

arxiv情報

著者 Tom Westermann,Malte Ramonat,Johannes Hujer,Felix Gehlhoff,Alexander Fay
発行日 2025-04-30 14:34:56+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI | Automatic Mapping of AutomationML Files to Ontologies for Graph Queries and Validation はコメントを受け付けていません

Self-Supervised Monocular Visual Drone Model Identification through Improved Occlusion Handling

投稿日: 2025年5月1日 作成者: jarxiv

要約

GPSが除去した環境で飛行する際のドローンには、エゴモーションの推定が不可欠です。
視覚ベースの方法は、飛行速度が上昇し、密接なオブジェクトが困難な視覚条件につながると、かなりの動きのぼやけと大きな閉塞を伴う困難な視覚条件につながります。
これに取り組むために、ビジョンは通常、ドローンモデルと慣性測定値を組み合わせた状態推定フィルターによって補完されます。
ただし、これらのドローンモデルは現在、外部のモーションキャプチャシステムからの地上の真実データを使用して、異なる環境やドローンにスケーラビリティを制限する監視された方法で学習されています。
この作業では、オンボードモノクラービデオおよびフライトコントローラーデータ（IMUおよびモーターフィードバック）のみを使用して、ニューラルネットワークベースのドローンモデルをトレーニングするための自己監視学習スキームを提案します。
これは、最初に自己教師の相対的なポーズ推定モデルをトレーニングすることで達成します。これは、ドローンモデルの教師として機能します。
これを障害物に近い高速で機能させるために、自己監視ポーズ推定モデルをトレーニングするための閉塞処理方法の改善を提案します。
この方法により、結果として得られる匂い測定の推定値の根平均角誤差は、平均15％減少します。
さらに、学生ニューラルドローンモデルは、オンボードデータから正常に取得できます。
教師である自己教師のビジョンベースのモデルと比較して、高速ではより正確になります。
ニューラルドローンモデルを従来のフィルターベースのVioシステム（Rovio）に統合することにより、ニューラルドローンモデルの値を実証し、障害物近くの攻撃的な3Dレース軌跡で優れた臭気測定の精度をもたらします。
自己監視されたエゴモーション推定の学習は、制御された高価なラボ環境と現実世界のドローンアプリケーションでの飛行との間のギャップを埋めるための重要なステップを表しています。
視覚モデルとドローンモデルの融合は、あらゆる環境のドローンで、より高いスピード飛行を可能にし、州の推定を改善します。

要約(オリジナル)

Ego-motion estimation is vital for drones when flying in GPS-denied environments. Vision-based methods struggle when flight speed increases and close-by objects lead to difficult visual conditions with considerable motion blur and large occlusions. To tackle this, vision is typically complemented by state estimation filters that combine a drone model with inertial measurements. However, these drone models are currently learned in a supervised manner with ground-truth data from external motion capture systems, limiting scalability to different environments and drones. In this work, we propose a self-supervised learning scheme to train a neural-network-based drone model using only onboard monocular video and flight controller data (IMU and motor feedback). We achieve this by first training a self-supervised relative pose estimation model, which then serves as a teacher for the drone model. To allow this to work at high speed close to obstacles, we propose an improved occlusion handling method for training self-supervised pose estimation models. Due to this method, the root mean squared error of resulting odometry estimates is reduced by an average of 15%. Moreover, the student neural drone model can be successfully obtained from the onboard data. It even becomes more accurate at higher speeds compared to its teacher, the self-supervised vision-based model. We demonstrate the value of the neural drone model by integrating it into a traditional filter-based VIO system (ROVIO), resulting in superior odometry accuracy on aggressive 3D racing trajectories near obstacles. Self-supervised learning of ego-motion estimation represents a significant step toward bridging the gap between flying in controlled, expensive lab environments and real-world drone applications. The fusion of vision and drone models will enable higher-speed flight and improve state estimation, on any drone in any environment.

arxiv情報

著者 Stavrow A. Bahnam,Christophe De Wagter,Guido C. H. E. de Croon
発行日 2025-04-30 14:38:01+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO | Self-Supervised Monocular Visual Drone Model Identification through Improved Occlusion Handling はコメントを受け付けていません

XBreaking: Explainable Artificial Intelligence for Jailbreaking LLMs

投稿日: 2025年5月1日 作成者: jarxiv

要約

大規模な言語モデルは、AIソリューションが支配する現代のITランドスケープの基本的な俳優です。
ただし、それらに関連するセキュリティの脅威は、政府組織や医療機関などの重要なアプリケーションシナリオでの信頼できる採用を妨げる可能性があります。
このため、市販のLLMは通常、洗練された検閲メカニズムを受けて、生成可能な有害な出力を排除します。
これに対応して、LLMのジェイルブレイクはそのような保護に対する重要な脅威であり、多くの以前のアプローチはすでに多様なドメイン全体でその有効性を実証しています。
既存の脱獄提案は、主に悪意のある入力を作成するための生成とテスト戦略を採用しています。
検閲メカニズムの理解を改善し、ターゲットを絞った脱獄攻撃を設計するために、検閲されたモデルと無修正モデルの挙動を比較的分析して、ユニークな搾取可能なアライメントパターンを導出する説明可能な解決策を提案します。
次に、ターゲットノイズインジェクションによってLLMSのセキュリティ制約を破るためにこれらのユニークなパターンを活用する新しい脱獄攻撃であるXbreakingを提案します。
徹底的な実験キャンペーンは、検閲メカニズムに関する重要な洞察を返し、攻撃の有効性とパフォーマンスを実証します。

要約(オリジナル)

Large Language Models are fundamental actors in the modern IT landscape dominated by AI solutions. However, security threats associated with them might prevent their reliable adoption in critical application scenarios such as government organizations and medical institutions. For this reason, commercial LLMs typically undergo a sophisticated censoring mechanism to eliminate any harmful output they could possibly produce. In response to this, LLM Jailbreaking is a significant threat to such protections, and many previous approaches have already demonstrated its effectiveness across diverse domains. Existing jailbreak proposals mostly adopt a generate-and-test strategy to craft malicious input. To improve the comprehension of censoring mechanisms and design a targeted jailbreak attack, we propose an Explainable-AI solution that comparatively analyzes the behavior of censored and uncensored models to derive unique exploitable alignment patterns. Then, we propose XBreaking, a novel jailbreak attack that exploits these unique patterns to break the security constraints of LLMs by targeted noise injection. Our thorough experimental campaign returns important insights about the censoring mechanisms and demonstrates the effectiveness and performance of our attack.

arxiv情報

著者 Marco Arazzi,Vignesh Kumar Kembu,Antonino Nocera,Vinod P
発行日 2025-04-30 14:44:24+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CR, cs.LG | XBreaking: Explainable Artificial Intelligence for Jailbreaking LLMs はコメントを受け付けていません

Recursive KL Divergence Optimization: A Dynamic Framework for Representation Learning

投稿日: 2025年5月1日 作成者: jarxiv

要約

現代の表現学習目標の一般化を提案し、ローカライズされた条件分布を介した再帰的発散アライメントプロセスとしてそれらを再構成することにより、情報対照学習のような最近のフレームワークは、固定近隣条件間のKLの発散を通じて複数の学習パラダイムを統合することを統合します。
再帰KL Divergence Optimization rkdoは、データ周辺でのKL発散の進化として表現学習が組み立てられる動的な形式主義を紹介します。
この定式化は、モデルの安定性と局所的適応への新しいパスを提供しながら、静的なスライスとして、コントラストのクラスタリングと次元削減方法をキャプチャします。
私たちの実験は、RKDOが3つの異なるデータセットにわたる静的アプローチと比較して、約30％低い損失値と、同等の結果を達成するために必要な計算リソースの60〜80％の減少を提供することを示しています。
これは、RKDOSの再帰的更新メカニズムが、リソース制約のあるアプリケーションに重要な意味を持つ表現学習のための基本的により効率的な最適化ランドスケープを提供することを示唆しています。

要約(オリジナル)

We propose a generalization of modern representation learning objectives by reframing them as recursive divergence alignment processes over localized conditional distributions While recent frameworks like Information Contrastive Learning I-Con unify multiple learning paradigms through KL divergence between fixed neighborhood conditionals we argue this view underplays a crucial recursive structure inherent in the learning process. We introduce Recursive KL Divergence Optimization RKDO a dynamic formalism where representation learning is framed as the evolution of KL divergences across data neighborhoods. This formulation captures contrastive clustering and dimensionality reduction methods as static slices while offering a new path to model stability and local adaptation. Our experiments demonstrate that RKDO offers dual efficiency advantages approximately 30 percent lower loss values compared to static approaches across three different datasets and 60 to 80 percent reduction in computational resources needed to achieve comparable results. This suggests that RKDOs recursive updating mechanism provides a fundamentally more efficient optimization landscape for representation learning with significant implications for resource constrained applications.

arxiv情報

著者 Anthony D Martin
発行日 2025-04-30 14:51:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.IT, cs.LG, math.IT | Recursive KL Divergence Optimization: A Dynamic Framework for Representation Learning はコメントを受け付けていません