Comparative Analysis of Multi-Agent Reinforcement Learning Policies for Crop Planning Decision Support

投稿日: 2025年2月25日 作成者: jarxiv

要約

インドでは、農民の大半は小規模または限界に分類されており、市場の飽和と気候のリスクにより、生計が経済的損失に対して特に脆弱になっています。
効果的な作物計画は予想される収入に大きな影響を与える可能性がありますが、既存の意思決定支援システム（DSS）は、多くの場合、リアルタイム市場のダイナミクスと複数の農家間の相互作用を考慮していない一般的な推奨事項を提供します。
この論文では、総農家収入を最適化し、作物計画の公平性を促進するための3つのマルチエージェント補強学習（MARL）アプローチの実行可能性を評価します：独立Qラーニング（IQL）。
-Agent（ABA）は、他の農家に関連して各農家のポリシーを順次最適化し、グローバルな報酬のためのすべての農民の行動を共同で最適化するマルチエージェントロールアウトポリシーを順番に最適化する
最大化。
私たちの結果は、IQLが線形ランタイムで計算効率を提供する一方で、エージェント間の調整に苦労し、総報酬の低下と収入の不平等な分布につながることを示しています。
逆に、マルチエージェントロールアウトポリシーは、最高の総報酬を達成し、農家間の公平な収入分布を促進しますが、大量の計算リソースを必要とし、多数のエージェントでは実用的ではありません。
ABAは、ランタイムの効率と報酬の最適化のバランスをとっており、許容可能な公平性とスケーラビリティを備えた合理的な合計報酬を提供します。
これらの調査結果は、DSSで適切なMARLアプローチを選択して、パーソナライズされた公平な作物計画の推奨事項を提供し、より適応的で農民中心の農業意思決定システムの開発を進めることの重要性を強調しています。

要約(オリジナル)

In India, the majority of farmers are classified as small or marginal, making their livelihoods particularly vulnerable to economic losses due to market saturation and climate risks. Effective crop planning can significantly impact their expected income, yet existing decision support systems (DSS) often provide generic recommendations that fail to account for real-time market dynamics and the interactions among multiple farmers. In this paper, we evaluate the viability of three multi-agent reinforcement learning (MARL) approaches for optimizing total farmer income and promoting fairness in crop planning: Independent Q-Learning (IQL), where each farmer acts independently without coordination, Agent-by-Agent (ABA), which sequentially optimizes each farmer’s policy in relation to the others, and the Multi-agent Rollout Policy, which jointly optimizes all farmers’ actions for global reward maximization. Our results demonstrate that while IQL offers computational efficiency with linear runtime, it struggles with coordination among agents, leading to lower total rewards and an unequal distribution of income. Conversely, the Multi-agent Rollout policy achieves the highest total rewards and promotes equitable income distribution among farmers but requires significantly more computational resources, making it less practical for large numbers of agents. ABA strikes a balance between runtime efficiency and reward optimization, offering reasonable total rewards with acceptable fairness and scalability. These findings highlight the importance of selecting appropriate MARL approaches in DSS to provide personalized and equitable crop planning recommendations, advancing the development of more adaptive and farmer-centric agricultural decision-making systems.

arxiv情報

著者 Anubha Mahajan,Shreya Hegde,Ethan Shay,Daniel Wu,Aviva Prins
発行日 2025-02-24 16:57:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CY, cs.LG | Comparative Analysis of Multi-Agent Reinforcement Learning Policies for Crop Planning Decision Support はコメントを受け付けていません

Mutual Reinforcement of LLM Dialogue Synthesis and Summarization Capabilities for Few-Shot Dialogue Summarization

投稿日: 2025年2月25日 作成者: jarxiv

要約

この作業では、LLMS内の相互強化データ統合（MRDS）を提案して、少数のショットダイアログの要約タスクを改善します。
外部の知識を必要とする以前の方法とは異なり、LLMの対話統合と要約機能を相互に強化し、トレーニング中に互いに補完し、全体的なパフォーマンスを強化することができます。
ダイアログ合成機能は、要約機能からの優先スコアリングを伴う方向性の優先最適化によって強化されます。
要約能力は、ダイアログ合成能力によって生成された追加の高品質のダイアログサマリーペアのデータによって強化されます。
提案されたMRDSメカニズムを活用することにより、LLMの内部知識を合成データの形式で誘発し、それを使用して、少数の実際のトレーニングデータセットを増強します。
経験的結果は、この方法が対話の要約を改善し、ルージュスコアの1.5％の増加と、少ないショット設定でのBERTスコアの0.3％の改善を達成することを示しています。
さらに、私たちの方法は、人間の評価で最も高い平均スコアを達成し、事前に訓練されたモデルと、要約タスクのみのために微調整されたベースラインの両方を超えています。

要約(オリジナル)

In this work, we propose Mutual Reinforcing Data Synthesis (MRDS) within LLMs to improve few-shot dialogue summarization task. Unlike prior methods that require external knowledge, we mutually reinforce the LLM\’s dialogue synthesis and summarization capabilities, allowing them to complement each other during training and enhance overall performances. The dialogue synthesis capability is enhanced by directed preference optimization with preference scoring from summarization capability. The summarization capability is enhanced by the additional high quality dialogue-summary paired data produced by the dialogue synthesis capability. By leveraging the proposed MRDS mechanism, we elicit the internal knowledge of LLM in the format of synthetic data, and use it to augment the few-shot real training dataset. Empirical results demonstrate that our method improves dialogue summarization, achieving a 1.5% increase in ROUGE scores and a 0.3% improvement in BERT scores in few-shot settings. Furthermore, our method attains the highest average scores in human evaluations, surpassing both the pre-trained models and the baselines fine-tuned solely for summarization tasks.

arxiv情報

著者 Yen-Ju Lu,Ting-Yao Hu,Hema Swetha Koppula,Hadi Pouransari,Jen-Hao Rick Chang,Yin Xia,Xiang Kong,Qi Zhu,Simon Wang,Oncel Tuzel,Raviteja Vemulapalli
発行日 2025-02-24 17:01:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | Mutual Reinforcement of LLM Dialogue Synthesis and Summarization Capabilities for Few-Shot Dialogue Summarization はコメントを受け付けていません

Zero-shot Musical Stem Retrieval with Joint-Embedding Predictive Architectures

投稿日: 2025年2月25日 作成者: jarxiv

要約

この論文では、音楽のSTEMの回復のタスクに取り組みます。
ミュージカルミックスを考えると、それはそれに合うステムを取得することで構成されています。つまり、一緒にプレイすると楽しいように聞こえます。
そのために、エンコーダーと予測子がコンテキストの潜在表現を生成し、ターゲットの潜在表現を予測するように共同でトレーニングされる共同埋め込み予測アーキテクチャに基づいて新しい方法を紹介します。
特に、任意の機器に条件付けられるように予測因子を設計し、モデルがゼロショットSTEM回復を実行できるようにします。
さらに、対照的な学習を使用してエンコーダーを前登録すると、モデルのパフォーマンスが大幅に向上することがわかります。
MUSDB18およびMoisesDBデータセットを使用して、モデルの検索パフォーマンスを検証します。
両方のデータセットの以前のベースラインを大幅に上回ることを示し、多かれ少なかれ正確な（そしておそらく目に見えない）条件付けをサポートする能力を紹介します。
また、ビート追跡タスクの学習した埋め込みを評価し、時間構造とローカル情報を保持することを実証します。

要約(オリジナル)

In this paper, we tackle the task of musical stem retrieval. Given a musical mix, it consists in retrieving a stem that would fit with it, i.e., that would sound pleasant if played together. To do so, we introduce a new method based on Joint-Embedding Predictive Architectures, where an encoder and a predictor are jointly trained to produce latent representations of a context and predict latent representations of a target. In particular, we design our predictor to be conditioned on arbitrary instruments, enabling our model to perform zero-shot stem retrieval. In addition, we discover that pretraining the encoder using contrastive learning drastically improves the model’s performance. We validate the retrieval performances of our model using the MUSDB18 and MoisesDB datasets. We show that it significantly outperforms previous baselines on both datasets, showcasing its ability to support more or less precise (and possibly unseen) conditioning. We also evaluate the learned embeddings on a beat tracking task, demonstrating that they retain temporal structure and local information.

arxiv情報

著者 Alain Riou,Antonin Gagneré,Gaëtan Hadjeres,Stefan Lattner,Geoffroy Peeters
発行日 2025-02-24 17:10:01+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.SD, eess.AS | Zero-shot Musical Stem Retrieval with Joint-Embedding Predictive Architectures はコメントを受け付けていません

Time series forecasting based on optimized LLM for fault prediction in distribution power grid insulators

投稿日: 2025年2月25日 作成者: jarxiv

要約

電気グリッド絶縁体の表面汚染は、電気放電が発生するまで漏れ電流の増加につながり、発電システムのシャットダウンにつながる可能性があります。
破壊的な障害の可能性を軽減するために、停電を引き起こすこと、監視汚染、漏れ電流は、障害の進行を予測するのに役立ちます。
この必要性を考慮して、このペーパーでは、高電圧絶縁体の漏れ電流の増加を予測するためのハイブリッドディープラーニング（DL）モデルを提案します。
ハイブリッド構造は、時系列予測に適用される大きな言語モデル（LLM）と組み合わせた信号ノイズ減衰の入力段階フィルターである、ツリー構造のParzen推定を使用した多基準の最適化を考慮します。
提案された最適化されたLLMは、短期間の2.24 $ \ times10^{-4} $に等しいルート平均誤差と1.21 $ \ times10^{ – 3}に等しい最先端のDLモデルよりも優れています。
中期地平線の$。

要約(オリジナル)

Surface contamination on electrical grid insulators leads to an increase in leakage current until an electrical discharge occurs, which can result in a power system shutdown. To mitigate the possibility of disruptive faults resulting in a power outage, monitoring contamination and leakage current can help predict the progression of faults. Given this need, this paper proposes a hybrid deep learning (DL) model for predicting the increase in leakage current in high-voltage insulators. The hybrid structure considers a multi-criteria optimization using tree-structured Parzen estimation, an input stage filter for signal noise attenuation combined with a large language model (LLM) applied for time series forecasting. The proposed optimized LLM outperforms state-of-the-art DL models with a root-mean-square error equal to 2.24$\times10^{-4}$ for a short-term horizon and 1.21$\times10^{-3}$ for a medium-term horizon.

arxiv情報

著者 João Pedro Matos-Carvalho,Stefano Frizzo Stefenon,Valderi Reis Quietinho Leithardt,Kin-Choong Yow
発行日 2025-02-24 17:17:15+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, eess.SP | Time series forecasting based on optimized LLM for fault prediction in distribution power grid insulators はコメントを受け付けていません

Offline Safe Reinforcement Learning Using Trajectory Classification

投稿日: 2025年2月25日 作成者: jarxiv

要約

オフラインの安全な強化学習（RL）は、環境との危険なオンライン相互作用に従事することなく、安全な行動を学ぶための有望なアプローチとして浮上しています。
オフラインセーフRLのほとんどの既存の方法は、各タイムステップ（グローバルコストの制約から派生した）でコスト制約に依存しており、これにより、過度に保守的なポリシーまたは安全上の制約の違反のいずれかが生じる可能性があります。
この論文では、望ましい軌跡を生成し、望ましくない軌跡を回避するポリシーを学ぶことを提案します。
具体的には、最初に、状態行動軌跡の事前に収集されたデータセットを望ましい望ましくないサブセットに分割します。
直感的には、望ましいセットには高い報酬と安全な軌跡が含まれており、望ましくないセットには安全でない軌跡と低報酬の安全な軌跡が含まれています。
第二に、望ましい軌跡を生成し、望ましくない軌跡を回避するポリシーを学びます。ここでは、望ましい軌跡と望ましくない軌跡のデータセットから学習した分類器によって（UN）望ましいスコアが提供されます。
このアプローチは、既存の方法で採用されているMIN-MAX目標の計算の複雑さと安定性の問題をバイパッシングします。
理論的には、人間のフィードバックを含む既存の学習パラダイムに対するアプローチの強いつながりも示しています。
最後に、オフラインセーフRLのDSRLベンチマークを使用して、メソッドを広範囲に評価します。
経験的に、私たちの方法は競争力のあるベースラインよりも優れており、さまざまなベンチマークタスクにわたってより高い報酬とより良い制約満足度を達成します。

要約(オリジナル)

Offline safe reinforcement learning (RL) has emerged as a promising approach for learning safe behaviors without engaging in risky online interactions with the environment. Most existing methods in offline safe RL rely on cost constraints at each time step (derived from global cost constraints) and this can result in either overly conservative policies or violation of safety constraints. In this paper, we propose to learn a policy that generates desirable trajectories and avoids undesirable trajectories. To be specific, we first partition the pre-collected dataset of state-action trajectories into desirable and undesirable subsets. Intuitively, the desirable set contains high reward and safe trajectories, and undesirable set contains unsafe trajectories and low-reward safe trajectories. Second, we learn a policy that generates desirable trajectories and avoids undesirable trajectories, where (un)desirability scores are provided by a classifier learnt from the dataset of desirable and undesirable trajectories. This approach bypasses the computational complexity and stability issues of a min-max objective that is employed in existing methods. Theoretically, we also show our approach’s strong connections to existing learning paradigms involving human feedback. Finally, we extensively evaluate our method using the DSRL benchmark for offline safe RL. Empirically, our method outperforms competitive baselines, achieving higher rewards and better constraint satisfaction across a wide variety of benchmark tasks.

arxiv情報

著者 Ze Gong,Akshat Kumar,Pradeep Varakantham
発行日 2025-02-24 17:22:17+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | Offline Safe Reinforcement Learning Using Trajectory Classification はコメントを受け付けていません

HybridLinker: Topology-Guided Posterior Sampling for Enhanced Diversity and Validity in 3D Molecular Linker Generation

投稿日: 2025年2月25日 作成者: jarxiv

要約

リンカー生成は、分子断片が多様な薬物候補に組み立てられる鉛最適化やProtac設計などの創薬アプリケーションで重要です。
既存の方法は、3Dポイントクラウド（PC）の使用に基づいて、PCのないPC認識カテゴリに分類されます。
PCフリーモデルは多様性を優先しますが、PCの制約を見落としているために低い妥当性に苦しんでいますが、PC認識モデルはより高い妥当性を確保しますが、厳格なPCの制約を実施することにより多様性を制限します。
追加のトレーニングなしでこれらのトレードオフを克服するために、ハイブリッドリンカーを提案します。ハイブリッドリンカーは、前提条件のPCのないモデルからの多様なボンディングトポロジをガイダンスとして提供することにより、PC認識の推論を強化するフレームワークを提案します。
そのコアでは、PCフリーおよびPC認識スペースで動作する最初の拡散後部サンプリング（DPS）メソッドであるLinkerDPSを提案し、エネルギーに触発された関数を介して3Dポイント雲を橋渡しします。
PCのないモデルの多様なサンプリング分布をPC認識分布に転送することにより、ハイブリッドリンカーはベースラインを大幅かつ一貫して上回り、基本的な分子設計と応用プロパティの最適化タスクの妥当性と多様性の両方を改善し、分子およびグラフの新しいDPSフレームワークを確立します
イメージングを超えたドメイン。

要約(オリジナル)

Linker generation is critical in drug discovery applications such as lead optimization and PROTAC design, where molecular fragments are assembled into diverse drug candidates. Existing methods fall into PC-Free and PC-Aware categories based on their use of 3D point clouds (PC). PC-Free models prioritize diversity but suffer from lower validity due to overlooking PC constraints, while PC-Aware models ensure higher validity but restrict diversity by enforcing strict PC constraints. To overcome these trade-offs without additional training, we propose HybridLinker, a framework that enhances PC-Aware inference by providing diverse bonding topologies from a pretrained PC-Free model as guidance. At its core, we propose LinkerDPS, the first diffusion posterior sampling (DPS) method operating across PC-Free and PC-Aware spaces, bridging molecular topology with 3D point clouds via an energy-inspired function. By transferring the diverse sampling distribution of PC-Free models into the PC-Aware distribution, HybridLinker significantly and consistently surpasses baselines, improving both validity and diversity in foundational molecular design and applied property optimization tasks, establishing a new DPS framework in the molecular and graph domains beyond imaging.

arxiv情報

著者 Minyeong Hwang,Ziseok Lee,Gwangsoo Kim,Kyungsu Kim,Eunho Yang
発行日 2025-02-24 17:23:40+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, physics.chem-ph | HybridLinker: Topology-Guided Posterior Sampling for Enhanced Diversity and Validity in 3D Molecular Linker Generation はコメントを受け付けていません

Non-Halting Queries: Exploiting Fixed Points in LLMs

投稿日: 2025年2月25日 作成者: jarxiv

要約

自己回帰モデルの固定点を悪用する新しい脆弱性を導入し、それを使用して停止しないクエリを作成します。
より正確には、非ハーティングクエリの場合、LLMはストリング終了トークンをサンプリングしません。
私たちは、非脱水異常がそれ自体を提示する条件を厳密に分析します。
特に、温度ゼロでは、コンテキストサイズを超えて出力で繰り返し（循環）トークンシーケンスが観察された場合、LLMが停止しないことを証明します。
繰り返しプロンプトを繰り返すことですぐに分析によって予測されるように、非ハーティング環状動作につながるベースのないモデルで実行された多くの実験で、非ハーティングクエリを示します。
さらに、基本モデルで観察されたのと同じ固定点を撮影し、照合モデルをターゲットにするプロンプト構造を作成する簡単なレシピを開発します。
過去1年間にリリースされたすべての主要なモデルを、より高い温度でも同じ単純なプロンプトを持つ非ハーティング状態に送信するレシピの成功を示しています。
さらに、100のランダムに選択されたトークンを使用した実験を考案し、非ハーティングクエリを作成するためのレシピが成功し、GPT-4oの97％からGemini Pro 1.5の19％の範囲で成功することを示します。
これらの結果は、提案されている敵対的なレシピが、以前のレポートと比較して1〜2桁高いレートでアラインメントをバイパスすることに成功することを示しています。
また、ARCAを使用して勾配ベースの直接反転を研究して、非ハーティング状態を誘導するための新しい短いプロンプトを作成します。
llama-3.1-8b-instructの10,000のランダム繰り返し2サイクル出力を反転させました。
10,000の3トークン逆逆プロンプトのうち、1,512の収量非ハーティングクエリは15％の割合に達します。
ARCAでの実験は、非ハーティングがわずか3つの入力トークンで高い確率で簡単に誘導される可能性があることを示しています。
全体として、私たちの実験は、非ハーティングクエリが一般的であり、比較的簡単に見つけることができることを示しています。

要約(オリジナル)

We introduce a new vulnerability that exploits fixed points in autoregressive models and use it to craft queries that never halt. More precisely, for non-halting queries, the LLM never samples the end-of-string token . We rigorously analyze the conditions under which the non-halting anomaly presents itself. In particular, at temperature zero, we prove that if a repeating (cyclic) token sequence is observed at the output beyond the context size, then the LLM does not halt. We demonstrate non-halting queries in many experiments performed in base unaligned models where repeating prompts immediately lead to a non-halting cyclic behavior as predicted by the analysis. Further, we develop a simple recipe that takes the same fixed points observed in the base model and creates a prompt structure to target aligned models. We demonstrate the recipe’s success in sending every major model released over the past year into a non-halting state with the same simple prompt even over higher temperatures. Further, we devise an experiment with 100 randomly selected tokens and show that the recipe to create non-halting queries succeeds with high success rates ranging from 97% for GPT-4o to 19% for Gemini Pro 1.5. These results show that the proposed adversarial recipe succeeds in bypassing alignment at one to two orders of magnitude higher rates compared to earlier reports. We also study gradient-based direct inversion using ARCA to craft new short prompts to induce the non-halting state. We inverted 10,000 random repeating 2-cycle outputs for llama-3.1-8b-instruct. Out of 10,000 three-token inverted prompts 1,512 yield non-halting queries reaching a rate of 15%. Our experiments with ARCA show that non-halting may be easily induced with as few as 3 input tokens with high probability. Overall, our experiments demonstrate that non-halting queries are prevalent and relatively easy to find.

arxiv情報

著者 Ghaith Hammouri,Kemal Derya,Berk Sunar
発行日 2025-02-24 17:35:16+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | Non-Halting Queries: Exploiting Fixed Points in LLMs はコメントを受け付けていません

Conversation Routines: A Prompt Engineering Framework for Task-Oriented Dialog Systems

投稿日: 2025年2月25日 作成者: jarxiv

要約

この研究では、大規模な言語モデル（LLM）を使用してタスク指向のダイアログシステムを開発するための構造化されたプロンプトエンジニアリングフレームワークである会話ルーチン（CR）を紹介します。
LLMは顕著な自然言語理解能力を示していますが、複雑なビジネスワークフローを確実に実行するためにそれらを設計することは依然として困難です。
提案されたCRフレームワークにより、自然言語仕様を通じて会話エージェントシステム（CAS）の開発が可能になり、LLMプロンプトにタスク指向のロジックを埋め込みます。
このアプローチは、行動の一貫性を維持しながら、複雑な会話ワークフローを設計および実装するための体系的な方法論を提供します。
2つの概念実装の実装を通じてフレームワークの有効性を実証します：列車のチケット予約システムとインタラクティブなトラブルシューティングカピロー。
これらのケーススタディは、自然な会話の柔軟性を維持しながら、洗練された行動パターンと決定論理をエンコードするCRの能力を検証します。
結果は、CRがソフトウェアエンジニアによって開発されたカスタム関数（ツール）を活用しながら、ドメインの専門家が自然言語で会話のワークフローを設計できることを示しており、開発者がコアAPI実装に焦点を当て、ドメインの専門家が会話のデザインを処理する効率的な責任の分割を作成します。
フレームワークはアクセシビリティと適応性の有望を示していますが、計算オーバーヘッド、非決定論的行動、ドメイン固有のロジック最適化などの重要な課題を特定します。
将来の研究の方向性には、目標指向のグレーディング基準によって駆動されるプロンプトエンジニアリングフレームワークに基づくCR評価方法、複雑なマルチエージェント相互作用のスケーラビリティの向上、および多様なビジネスアプリケーション全体の特定された制限に対処するためのシステムの堅牢性を高めることが含まれます。

要約(オリジナル)

This study introduces Conversation Routines (CR), a structured prompt engineering framework for developing task-oriented dialog systems using Large Language Models (LLMs). While LLMs demonstrate remarkable natural language understanding capabilities, engineering them to reliably execute complex business workflows remains challenging. The proposed CR framework enables the development of Conversation Agentic Systems (CAS) through natural language specifications, embedding task-oriented logic within LLM prompts. This approach provides a systematic methodology for designing and implementing complex conversational workflows while maintaining behavioral consistency. We demonstrate the framework’s effectiveness through two proof-of-concept implementations: a Train Ticket Booking System and an Interactive Troubleshooting Copilot. These case studies validate CR’s capability to encode sophisticated behavioral patterns and decision logic while preserving natural conversational flexibility. Results show that CR enables domain experts to design conversational workflows in natural language while leveraging custom functions (tools) developed by software engineers, creating an efficient division of responsibilities where developers focus on core API implementation and domain experts handle conversation design. While the framework shows promise in accessibility and adaptability, we identify key challenges including computational overhead, non-deterministic behavior, and domain-specific logic optimization. Future research directions include CR evaluation methods based on prompt engineering frameworks driven by goal-oriented grading criteria, improving scalability for complex multi-agent interactions, and enhancing system robustness to address the identified limitations across diverse business applications.

arxiv情報

著者 Giorgio Robino
発行日 2025-02-24 17:40:38+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.ET, cs.HC, cs.PL | Conversation Routines: A Prompt Engineering Framework for Task-Oriented Dialog Systems はコメントを受け付けていません

Bridging Gaps in Natural Language Processing for Yorùbá: A Systematic Review of a Decade of Progress and Prospects

投稿日: 2025年2月25日 作成者: jarxiv

要約

自然言語加工（NLP）は、人間の言語が不可欠に見えることを機械が理解するのを助ける必要性があるため、人工知能の支配的なサブセットになりつつあります。
いくつかのNLPアプリケーションは、ソーシャルネットワーキングサイトのような媒体を介して毎日チャーンアウトされているデータセットの無数のために、いくつかのNLPアプリケーションが遍在しています。
ただし、リソースの制限が持続しているため、ほとんどのアフリカの言語では、成長する開発は明らかではありません。
yor \ `ub \ ‘音色であり形態学的に豊かなアフリカの言語である言語は、同様の運命に苦しみ、NLPの使用が限られています。
この状況の改善に向けたさらなる研究を奨励するために、この系統的文献レビューは、Yor \ `ub \ ‘aのNLP開発に取り組む研究、課題、リソース、技術、およびアプリケーションを特定する研究を包括的に分析することを目的としています。
構造化されたプロトコルから明確に定義された検索文字列を使用して、2014年から2024年の間に105の主要な研究を評判の良いデータベースから検索、選択、分析しました。
このレビューでは、注釈付きコーパスの希少性、事前に訓練された言語モデルの利用可能性が限られていること、および重要な障害としての音色の複雑さやディアリティック依存などの言語的課題が強調されています。
また、とりわけ、ルールベースの方法を含む顕著な手法を明らかにしました。
この調査結果は、デジタル使用のためのコードスイッチングや言語の脱走などの社会文化的要因によって分野が制約されているにもかかわらず、多言語および単一言語のリソースの増加体を明らかにしています。
このレビューは、既存の研究を統合し、Yor \ `ub \ ‘aおよびアフリカの言語のためにNLPを前進させるための基盤を提供します。
ギャップと機会を特定することにより、将来の研究を導き、それによってグローバルなNLPの進歩におけるYor \ `ub \ ‘aおよびその他のリソース不足アフリカ言語のより広範な包含に貢献することを目指しています。

要約(オリジナル)

Natural Language Processing (NLP) is becoming a dominant subset of artificial intelligence as the need to help machines understand human language looks indispensable. Several NLP applications are ubiquitous, partly due to the myriads of datasets being churned out daily through mediums like social networking sites. However, the growing development has not been evident in most African languages due to the persisting resource limitation, among other issues. Yor\`ub\’a language, a tonal and morphologically rich African language, suffers a similar fate, resulting in limited NLP usage. To encourage further research towards improving this situation, this systematic literature review aims to comprehensively analyse studies addressing NLP development for Yor\`ub\’a, identifying challenges, resources, techniques, and applications. A well-defined search string from a structured protocol was employed to search, select, and analyse 105 primary studies between 2014 and 2024 from reputable databases. The review highlights the scarcity of annotated corpora, limited availability of pre-trained language models, and linguistic challenges like tonal complexity and diacritic dependency as significant obstacles. It also revealed the prominent techniques, including rule-based methods, among others. The findings reveal a growing body of multilingual and monolingual resources, even though the field is constrained by socio-cultural factors such as code-switching and desertion of language for digital usage. This review synthesises existing research, providing a foundation for advancing NLP for Yor\`ub\’a and in African languages generally. It aims to guide future research by identifying gaps and opportunities, thereby contributing to the broader inclusion of Yor\`ub\’a and other under-resourced African languages in global NLP advancements.

arxiv情報

著者 Toheeb A. Jimoh,Tabea De Wille,Nikola S. Nikolov
発行日 2025-02-24 17:41:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Bridging Gaps in Natural Language Processing for Yorùbá: A Systematic Review of a Decade of Progress and Prospects はコメントを受け付けていません

Aligned at the Start: Conceptual Groupings in LLM Embeddings

投稿日: 2025年2月25日 作成者: jarxiv

要約

このペーパーでは、焦点を見越えられている入力埋め込み、つまりトランスブロックに供給される初期表現に焦点を移します。
ファジーグラフ、k-nearest neighter（k-nn）、およびコミュニティ検出を使用して、多様なLLMからの埋め込みを分析し、人間と整合した事前定義された概念とカテゴリに沿った重要なカテゴリーコミュニティ構造を見つけます。
これらのグループ化は、クラスター内の組織（階層、トポロジー秩序など）を示すことを観察し、文脈処理に先行する基本構造を仮定します。
これらのグループの概念性をさらに調査するために、入力埋め込み内のさまざまなLLMカテゴリにわたってクロスモデルアライメントを検討し、中程度から高度のアライメントを観察します。
さらに、これらのグループを操作することで、LLMタスクの民族性バイアスを緩和する上で機能的な役割を果たすことができるという証拠を提供します。

要約(オリジナル)

This paper shifts focus to the often-overlooked input embeddings – the initial representations fed into transformer blocks. Using fuzzy graph, k-nearest neighbor (k-NN), and community detection, we analyze embeddings from diverse LLMs, finding significant categorical community structure aligned with predefined concepts and categories aligned with humans. We observe these groupings exhibit within-cluster organization (such as hierarchies, topological ordering, etc.), hypothesizing a fundamental structure that precedes contextual processing. To further investigate the conceptual nature of these groupings, we explore cross-model alignments across different LLM categories within their input embeddings, observing a medium to high degree of alignment. Furthermore, provide evidence that manipulating these groupings can play a functional role in mitigating ethnicity bias in LLM tasks.

arxiv情報

著者 Mehrdad Khatir,Sanchit Kabra,Chandan K. Reddy
発行日 2025-02-24 17:53:06+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | Aligned at the Start: Conceptual Groupings in LLM Embeddings はコメントを受け付けていません