Cracking the Code: Enhancing Development finance understanding with artificial intelligence

投稿日: 2025年2月14日 作成者: jarxiv

要約

開発プロジェクトの分析は、寄付者の支援戦略、受信者の優先順位を理解し、地上の行動によって開発の問題を高めるための開発金融能力を評価するために重要です。
この分野では、経済協力開発機関（OECD）債権報告システム（CRS）データセットは参照データソースです。
このデータセットは、さまざまなセクターからのプロジェクトの物語の膨大なコレクション（約500万プロジェクト）を提供します。
OECD CRSは開発戦略に関する豊富な情報源を提供しますが、ドナーが自己宣言された主要な目的と事前定義された産業部門に基づいた報告プロセスのために、プロジェクトの目的を通知することは不足しています。
この研究では、機械学習（ML）技術、特に自然言語処理（NLP）、Bertopicと呼ばれる革新的なPythonトピックモデリング手法を組み合わせて、物語の説明に基づいて分類（クラスター）、ラベル開発プロジェクトを組み合わせた新しいアプローチを採用しています。
開発金融の既存の隠れたトピックを明らかにすることにより、この人工知能の適用により、ドナーの優先順位と全体的な開発資金をよりよく理解し、公共および民間のプロジェクトの物語を分析する方法を提供します。

要約(オリジナル)

Analyzing development projects is crucial for understanding donors aid strategies, recipients priorities, and to assess development finance capacity to adress development issues by on-the-ground actions. In this area, the Organisation for Economic Co-operation and Developments (OECD) Creditor Reporting System (CRS) dataset is a reference data source. This dataset provides a vast collection of project narratives from various sectors (approximately 5 million projects). While the OECD CRS provides a rich source of information on development strategies, it falls short in informing project purposes due to its reporting process based on donors self-declared main objectives and pre-defined industrial sectors. This research employs a novel approach that combines Machine Learning (ML) techniques, specifically Natural Language Processing (NLP), an innovative Python topic modeling technique called BERTopic, to categorise (cluster) and label development projects based on their narrative descriptions. By revealing existing yet hidden topics of development finance, this application of artificial intelligence enables a better understanding of donor priorities and overall development funding and provides methods to analyse public and private projects narratives.

arxiv情報

著者 Pierre Beaucoral
発行日 2025-02-13 17:01:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, econ.GN, q-fin.EC | Cracking the Code: Enhancing Development finance understanding with artificial intelligence はコメントを受け付けていません

HorNets: Learning from Discrete and Continuous Signals with Routing Neural Networks

投稿日: 2025年2月14日 作成者: jarxiv

要約

連続的および離散的な表データの両方から学習するのに適したニューラルネットワークアーキテクチャの構築は、挑戦的な研究の努力です。
現代の高次元表形式データセットは、多くの場合、比較的小さなインスタンスカウントによって特徴付けられることが多く、データ効率の高い学習が必要です。
Hornets（Horn Networks）は、希少性データの表形式ドメインからの合成および実生活のデータセットで最先端のパフォーマンスを備えたニューラルネットワークアーキテクチャであることを提案します。
ホーネットは、入力のカーディナリティに基づいて最適化するニューラルネットワークのどの部分を決定するカスタムの離散的な継続的なルーティングメカニズムによって拡張された、切り取られた多項式のような活性化関数に基づいています。
特徴の組み合わせ空間の部分を明示的にモデル化するか、線形の注意のような方法で全体の空間を組み合わせることにより、Hornetsは、明示的な監督なしで特定のデータに最も適した動作モードを動的に決定します。
このアーキテクチャは、論理的な条項（騒々しいXNORを含む）を確実に取得し、14の実生活の生物医学高次元データセットで最先端の分類パフォーマンスを達成する数少ないアプローチの1つです。
ホーネットは、カテゴリーベンチマークの合成ジェネレーターとともに、許容ライセンスの下で自由に利用できます。

要約(オリジナル)

Construction of neural network architectures suitable for learning from both continuous and discrete tabular data is a challenging research endeavor. Contemporary high-dimensional tabular data sets are often characterized by a relatively small instance count, requiring data-efficient learning. We propose HorNets (Horn Networks), a neural network architecture with state-of-the-art performance on synthetic and real-life data sets from scarce-data tabular domains. HorNets are based on a clipped polynomial-like activation function, extended by a custom discrete-continuous routing mechanism that decides which part of the neural network to optimize based on the input’s cardinality. By explicitly modeling parts of the feature combination space or combining whole space in a linear attention-like manner, HorNets dynamically decide which mode of operation is the most suitable for a given piece of data with no explicit supervision. This architecture is one of the few approaches that reliably retrieves logical clauses (including noisy XNOR) and achieves state-of-the-art classification performance on 14 real-life biomedical high-dimensional data sets. HorNets are made freely available under a permissive license alongside a synthetic generator of categorical benchmarks.

arxiv情報

著者 Boshko Koloski,Nada Lavrač,Blaž Škrlj
発行日 2025-02-13 17:03:04+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | HorNets: Learning from Discrete and Continuous Signals with Routing Neural Networks はコメントを受け付けていません

Agent-OM: Leveraging LLM Agents for Ontology Matching

投稿日: 2025年2月14日 作成者: jarxiv

要約

オントロジーマッチング（OM）は、異なるオントロジー間のセマンティック相互運用性を可能にし、関連するエンティティを調整することにより概念的な不均一性を解決します。
OMシステムには現在、従来の知識ベースの専門家システムと新しい機械学習ベースの予測システムの2つの一般的な設計パラダイムがあります。
大規模な言語モデル（LLMS）とLLMエージェントはデータエンジニアリングに革命をもたらし、多くのドメインで創造的に適用されていますが、OMの可能性は未脱子のままです。
この研究では、OMシステム用の新しいエージェント駆動のLLMベースの設計パラダイムを紹介します。
OMのLLMエージェントを活用する際のいくつかの具体的な課題を考慮して、Generic Framework、すなわちAgent-OM（オントロジーマッチングのエージェント）を提案します。
私たちのフレームワークは、概念実証システムに実装されています。
3つのオントロジーアラインメント評価イニシアチブ（OAEI）の評価は、最新のOMシステムを追跡しています。これは、システムがシンプルなOMタスクで長年のベストパフォーマンスに非常に近い結果を達成できることを示しており、複雑なパフォーマンスを大幅に改善し、
少数のショットOMタスク。

要約(オリジナル)

Ontology matching (OM) enables semantic interoperability between different ontologies and resolves their conceptual heterogeneity by aligning related entities. OM systems currently have two prevailing design paradigms: conventional knowledge-based expert systems and newer machine learning-based predictive systems. While large language models (LLMs) and LLM agents have revolutionised data engineering and have been applied creatively in many domains, their potential for OM remains underexplored. This study introduces a novel agent-powered LLM-based design paradigm for OM systems. With consideration of several specific challenges in leveraging LLM agents for OM, we propose a generic framework, namely Agent-OM (Agent for Ontology Matching), consisting of two Siamese agents for retrieval and matching, with a set of OM tools. Our framework is implemented in a proof-of-concept system. Evaluations of three Ontology Alignment Evaluation Initiative (OAEI) tracks over state-of-the-art OM systems show that our system can achieve results very close to the long-standing best performance on simple OM tasks and can significantly improve the performance on complex and few-shot OM tasks.

arxiv情報

著者 Zhangcheng Qiang,Weiqing Wang,Kerry Taylor
発行日 2025-02-13 17:06:52+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.IR | Agent-OM: Leveraging LLM Agents for Ontology Matching はコメントを受け付けていません

Improve LLM-based Automatic Essay Scoring with Linguistic Features

投稿日: 2025年2月14日 作成者: jarxiv

要約

自動エッセイスコアリング（AES）は、スコアを学生のエッセイに割り当て、インストラクターのグレーディングワークロードを削減します。
さまざまなプロンプト全体でエッセイを処理できるスコアリングシステムを開発することは、執筆タスクの柔軟性と多様な性質のために挑戦的です。
既存の方法は通常、2つのカテゴリに分類されます：監視された機能ベースのアプローチと大規模言語モデル（LLM）ベースの方法。
監視された機能ベースのアプローチは、多くの場合、より高いパフォーマンスを実現しますが、リソース集約型のトレーニングが必要です。
対照的に、LLMベースの方法は、推論中に計算上効率的ですが、パフォーマンスの低下に苦しむ傾向があります。
このペーパーでは、言語機能をLLMベースのスコアリングに組み込むことにより、これらのアプローチを組み合わせています。
実験結果は、このハイブリッド方式が、ドメイン内およびドメイン外の執筆プロンプトの両方のベースラインモデルよりも優れていることを示しています。

要約(オリジナル)

Automatic Essay Scoring (AES) assigns scores to student essays, reducing the grading workload for instructors. Developing a scoring system capable of handling essays across diverse prompts is challenging due to the flexibility and diverse nature of the writing task. Existing methods typically fall into two categories: supervised feature-based approaches and large language model (LLM)-based methods. Supervised feature-based approaches often achieve higher performance but require resource-intensive training. In contrast, LLM-based methods are computationally efficient during inference but tend to suffer from lower performance. This paper combines these approaches by incorporating linguistic features into LLM-based scoring. Experimental results show that this hybrid method outperforms baseline models for both in-domain and out-of-domain writing prompts.

arxiv情報

著者 Zhaoyi Joey Hou,Alejandro Ciuba,Xiang Lorraine Li
発行日 2025-02-13 17:09:52+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Improve LLM-based Automatic Essay Scoring with Linguistic Features はコメントを受け付けていません

Rationalization Models for Text-to-SQL

投稿日: 2025年2月14日 作成者: jarxiv

要約

テキストからSQLモデルの微調整を強化するために、考え方（COT）の理論的根拠を生成するためのフレームワークを紹介します。
これらの理論的根拠は、中間SQLステートメントと説明で構成され、最終的なSQLクエリの構築に向けた段階的なステップとして機能します。
このプロセスは、小さな一連の例を手動で注釈することから始まります。このセットは、教師モデルからの反復的で動的な少数の知識蒸留手順で大きな言語モデルを促すために使用されます。
その後、検証済みの分解されたクエリで合理化モデルがトレーニングされ、テキスト間データセットの広範な合成COTアノテーションが可能になります。
アプローチを評価するために、鳥のデータセットにこれらの理論的根拠を持つ場合となしで小さな言語モデルを微調整します。
結果は、特に中程度および非常に複雑なクエリの場合、ステップバイステップクエリの生成により、実行可能性が向上し、説明可能性が向上することを示しています。

要約(オリジナル)

We introduce a framework for generating Chain-of-Thought (CoT) rationales to enhance text-to-SQL model fine-tuning. These rationales consist of intermediate SQL statements and explanations, serving as incremental steps toward constructing the final SQL query. The process begins with manually annotating a small set of examples, which are then used to prompt a large language model in an iterative, dynamic few-shot knowledge distillation procedure from a teacher model. A rationalization model is subsequently trained on the validated decomposed queries, enabling extensive synthetic CoT annotations for text-to-SQL datasets. To evaluate the approach, we fine-tune small language models with and without these rationales on the BIRD dataset. Results indicate that step-by-step query generation improves execution accuracy, especially for moderately and highly complex queries, while also enhancing explainability.

arxiv情報

著者 Gaetano Rossiello,Nhan Pham,Michael Glass,Junkyu Lee,Dharmashankar Subramanian
発行日 2025-02-13 17:12:34+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.DB | Rationalization Models for Text-to-SQL はコメントを受け付けていません

AttentionSmithy: A Modular Framework for Rapid Transformer Development and Customization

投稿日: 2025年2月14日 作成者: jarxiv

要約

トランスアーキテクチャはAIアプリケーションを変換しましたが、低レベルの実装の専門知識を欠くドメインの専門家向けにカスタマイズするために複雑なままです。
注意モジュール、フィードフォワードネットワーク、正規化レイヤー、および位置エンコーディングなど、主要なコンポーネントを再利用可能なビルディングブロックに分解することにより、トランスの革新を簡素化するモジュール式ソフトウェアパッケージであるAttentionsmithyを紹介します。
ユーザーは、大規模なコーディングなしでトランスのバリエーションを迅速にプロトタイプおよび評価できます。
当社のフレームワークは、4つの位置エンコーディング戦略をサポートし、自動設計のニューラルアーキテクチャ検索と統合します。
リソースの制約の下で元のトランスを複製し、位置エンコーディングを組み合わせて翻訳パフォーマンスを最適化することにより、Attentionsmithyを検証します。
さらに、遺伝子特異的モデリングにおける適応性を示し、細胞型分類で95％以上の精度を達成します。
これらのケーススタディは、フレームワークの実装障壁を削除することにより、多様な分野で研究を加速する可能性を強調しています。

要約(オリジナル)

Transformer architectures have transformed AI applications but remain complex to customize for domain experts lacking low-level implementation expertise. We introduce AttentionSmithy, a modular software package that simplifies transformer innovation by breaking down key components into reusable building blocks: attention modules, feed-forward networks, normalization layers, and positional encodings. Users can rapidly prototype and evaluate transformer variants without extensive coding. Our framework supports four positional encoding strategies and integrates with neural architecture search for automated design. We validate AttentionSmithy by replicating the original transformer under resource constraints and optimizing translation performance by combining positional encodings. Additionally, we demonstrate its adaptability in gene-specific modeling, achieving over 95% accuracy in cell type classification. These case studies highlight AttentionSmithy’s potential to accelerate research across diverse fields by removing framework implementation barriers.

arxiv情報

著者 Caleb Cranney,Jesse G. Meyer
発行日 2025-02-13 17:15:26+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | AttentionSmithy: A Modular Framework for Rapid Transformer Development and Customization はコメントを受け付けていません

Measuring Human Contribution in AI-Assisted Content Generation

投稿日: 2025年2月14日 作成者: jarxiv

要約

生成人工知能（AI）の有病率が高まっているため、人間だけでなく、人間の指導を受けた生成AIモデルによって増加する量の含有量が生成されます。
このシフトは、AI支援作品における人間の貢献度がさまざまな程度のために、独創性の描写に対する顕著な課題を提示します。
この研究では、AI支援コンテンツ生成における人間の貢献を測定するという研究の問題を提起し、情報理論に基づいたこの質問に対処するためのフレームワークを紹介します。
AIアシスト出力の自己情報と比較して、人間の入力とAIアシスト出力の間の相互情報を計算することにより、コンテンツ生成における人間の比例情報貢献を定量化します。
私たちの実験結果は、提案された尺度が、複数の創造的なドメインにわたってさまざまな程度の人間の貢献を効果的に区別することを示しています。
この作業が、生成AIの時代におけるAIアシストコンテンツ生成における人間の貢献を測定するための基盤となることを願っています。

要約(オリジナル)

With the growing prevalence of generative artificial intelligence (AI), an increasing amount of content is no longer exclusively generated by humans but by generative AI models with human guidance. This shift presents notable challenges for the delineation of originality due to the varying degrees of human contribution in AI-assisted works. This study raises the research question of measuring human contribution in AI-assisted content generation and introduces a framework to address this question that is grounded in information theory. By calculating mutual information between human input and AI-assisted output relative to self-information of AI-assisted output, we quantify the proportional information contribution of humans in content generation. Our experimental results demonstrate that the proposed measure effectively discriminates between varying degrees of human contribution across multiple creative domains. We hope that this work lays a foundation for measuring human contributions in AI-assisted content generation in the era of generative AI.

arxiv情報

著者 Yueqi Xie,Tao Qi,Jingwei Yi,Xiyuan Yang,Ryan Whalen,Junming Huang,Qian Ding,Yu Xie,Xing Xie,Fangzhao Wu
発行日 2025-02-13 17:22:36+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.CY | Measuring Human Contribution in AI-Assisted Content Generation はコメントを受け付けていません

Diffusion Models for Molecules: A Survey of Methods and Tasks

投稿日: 2025年2月14日 作成者: jarxiv

要約

分子生成を含むがこれらに限定されない分子に関する生成タスクは、創薬と材料の設計に不可欠であり、一貫して大きな注目を集めています。
近年、拡散モデルは、深い生成モデルの印象的なクラスとして浮上しており、広範な研究を引き起こし、分子生成タスクへの応用に関する多数の研究につながりました。
関連する作業の拡散にもかかわらず、この分野では最新かつ体系的な調査が顕著に不足しています。
特に、拡散モデルの定式化、分子データのモダリティ、および生成タスクタイプの多様性により、研究環境は、この地域の成長をナビゲートし、理解し、制限するのが困難です。
これに対処するために、このペーパーでは、拡散モデルベースの分子生成方法の包括的な調査を実施しています。
方法論的定式化、データモダリティ、およびタスクタイプの観点から研究を体系的にレビューし、新しい分類法を提供します。
この調査の目的は、この分野での理解とさらなる繁栄の発展を促進することを目的としています。
関連する論文は、https：//github.com/azureleon1/awesome-molecular-diffusion-modelsに要約されています。

要約(オリジナル)

Generative tasks about molecules, including but not limited to molecule generation, are crucial for drug discovery and material design, and have consistently attracted significant attention. In recent years, diffusion models have emerged as an impressive class of deep generative models, sparking extensive research and leading to numerous studies on their application to molecular generative tasks. Despite the proliferation of related work, there remains a notable lack of up-to-date and systematic surveys in this area. Particularly, due to the diversity of diffusion model formulations, molecular data modalities, and generative task types, the research landscape is challenging to navigate, hindering understanding and limiting the area’s growth. To address this, this paper conducts a comprehensive survey of diffusion model-based molecular generative methods. We systematically review the research from the perspectives of methodological formulations, data modalities, and task types, offering a novel taxonomy. This survey aims to facilitate understanding and further flourishing development in this area. The relevant papers are summarized at: https://github.com/AzureLeon1/awesome-molecular-diffusion-models.

arxiv情報

著者 Liang Wang,Chao Song,Zhiyuan Liu,Yu Rong,Qiang Liu,Shu Wu,Liang Wang
発行日 2025-02-13 17:22:50+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CE, cs.LG | Diffusion Models for Molecules: A Survey of Methods and Tasks はコメントを受け付けていません

Mind the Gap! Choice Independence in Using Multilingual LLMs for Persuasive Co-Writing Tasks in Different Languages

投稿日: 2025年2月14日 作成者: jarxiv

要約

生成AIの最近の進歩は、新しい執筆アシスタントの増殖を引き起こしました。
これらのシステムは通常、多言語の大規模な言語モデル（LLM）に依存しており、グローバル化された労働者にさまざまな言語で多様な形態のコンテンツを修正または作成する能力を提供します。
ただし、多言語LLMのパフォーマンスが言語間で異なることを示す実質的な証拠があります。
したがって、複数の言語の執筆支援を採用しているユーザーは、異なる出力品質の影響を受けやすくなります。
重要なことに、最近の研究は、人々が独立したタスク全体でアルゴリズムエラーを一般化する傾向があり、選択の独立性の行動公理に違反する傾向があることを示しています。
このペーパーでは、慈善広告ライティングタスクでの新しいライティングアシスタントのユーザー利用が第二言語でのAIのパフォーマンスの影響を受けるかどうかを分析します。
さらに、これらのパターンが生成された慈善広告の説得力に変換される程度と、寄付の選択におけるLLM利用に関する人々の信念の役割を定量化します。
私たちの結果は、LLMベースのライティングアシスタントに従事する作家が選択肢の独立性に違反するという証拠を提供します。スペイン語のLLMへの事前の暴露により、英語LLMのその後の利用が減少します。
これらのパターンは、生成された広告の総説得力に影響しませんが、広告のソース（人間とAI）の源に関する人々の信念。
特に、AIに生成された広告を読むと信じていたスペイン語を話す女性の参加者は、寄付行動を強く調整しました。
さらに、人々は一般に、人間で生成された広告とLLMが生成する広告を適切に区別することができません。
私たちの仕事は、特に執筆タスクにおいて、多言語LLMSとしての多言語LLMの設計、開発、統合、および採用に重要な意味を持っています。

要約(オリジナル)

Recent advances in generative AI have precipitated a proliferation of novel writing assistants. These systems typically rely on multilingual large language models (LLMs), providing globalized workers the ability to revise or create diverse forms of content in different languages. However, there is substantial evidence indicating that the performance of multilingual LLMs varies between languages. Users who employ writing assistance for multiple languages are therefore susceptible to disparate output quality. Importantly, recent research has shown that people tend to generalize algorithmic errors across independent tasks, violating the behavioral axiom of choice independence. In this paper, we analyze whether user utilization of novel writing assistants in a charity advertisement writing task is affected by the AI’s performance in a second language. Furthermore, we quantify the extent to which these patterns translate into the persuasiveness of generated charity advertisements, as well as the role of peoples’ beliefs about LLM utilization in their donation choices. Our results provide evidence that writers who engage with an LLM-based writing assistant violate choice independence, as prior exposure to a Spanish LLM reduces subsequent utilization of an English LLM. While these patterns do not affect the aggregate persuasiveness of the generated advertisements, people’s beliefs about the source of an advertisement (human versus AI) do. In particular, Spanish-speaking female participants who believed that they read an AI-generated advertisement strongly adjusted their donation behavior downwards. Furthermore, people are generally not able to adequately differentiate between human-generated and LLM-generated ads. Our work has important implications for the design, development, integration, and adoption of multilingual LLMs as assistive agents — particularly in writing tasks.

arxiv情報

著者 Shreyan Biswas,Alexander Erlei,Ujwal Gadiraju
発行日 2025-02-13 17:49:30+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.HC | Mind the Gap! Choice Independence in Using Multilingual LLMs for Persuasive Co-Writing Tasks in Different Languages はコメントを受け付けていません

Evaluating Zero-Shot Long-Context LLM Compression

投稿日: 2025年2月14日 作成者: jarxiv

要約

この研究では、ロングコンテキストの下での大規模な言語モデル（LLMS）に対するゼロショット圧縮技術の有効性を評価します。
特定の圧縮方法を使用すると、長いコンテキストの下で計算エラーが増加する傾向を特定します。
さまざまなLLM圧縮技術のさまざまな動作を説明する仮説を提案し、長いコンテキストのいくつかの技術で観察されたパフォーマンスの低下を軽減するための救済策を調査します。
これは、プリンストン大学のカイ・リー教授によるCOS 598D機械学習とシステムのコースレポートです。
計算リソースが限られているため、実験はllama-2-7b-32kでのみ実施されました。

要約(オリジナル)

This study evaluates the effectiveness of zero-shot compression techniques on large language models (LLMs) under long-context. We identify the tendency for computational errors to increase under long-context when employing certain compression methods. We propose a hypothesis to explain the varied behavior of different LLM compression techniques and explore remedies to mitigate the performance decline observed in some techniques under long-context. This is a course report for COS 598D Machine Learning and Systems by Prof. Kai Li at Princeton University. Due to limited computational resources, our experiments were conducted only on LLaMA-2-7B-32K.

arxiv情報

著者 Chenyu Wang,Yihan Wang,Kai Li
発行日 2025-02-13 17:50:39+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Evaluating Zero-Shot Long-Context LLM Compression はコメントを受け付けていません