RepoST: Scalable Repository-Level Coding Environment Construction with Sandbox Testing

投稿日: 2025年3月11日 作成者: jarxiv

要約

トレーニングと評価の両方でリポジトリレベルのコード生成に実行フィードバックを提供する環境を構築するスケーラブルな方法であるRepostを提示します。
実行用のリポジトリ全体を構築することを目的とする既存の作業とは異なり、ヒューマンとLLMの両方にとって困難です。特定のターゲット関数とその依存関係をテスト用の個別のスクリプトに分離するサンドボックステストで実行フィードバックを提供します。
サンドボックステストにより、外部依存関係の複雑さが軽減され、環境を大規模に構築できます。
私たちの方法を使用して、832のリポジトリから7,415の機能を備えた大規模な列車セットであるRepost-Trainを構築します。
Repost-Trainが提供する実行フィードバックを使用したトレーニングは、HumanEvalで5.5％パス@1、Repoevalで3.5％パス@1のパフォーマンスゲインにつながります。
また、評価データセット、再投稿平均、およびベンチマーク12コード生成モデルを構築します。

要約(オリジナル)

We present RepoST, a scalable method to construct environments that provide execution feedback for repository-level code generation for both training and evaluation. Unlike existing works that aim to build entire repositories for execution, which is challenging for both human and LLMs, we provide execution feedback with sandbox testing, which isolates a given target function and its dependencies to a separate script for testing. Sandbox testing reduces the complexity of external dependencies and enables constructing environments at a large scale. We use our method to construct RepoST-Train, a large-scale train set with 7,415 functions from 832 repositories. Training with the execution feedback provided by RepoST-Train leads to a performance gain of 5.5% Pass@1 on HumanEval and 3.5% Pass@1 on RepoEval. We also build an evaluation dataset, RepoST-Eval, and benchmark 12 code generation models.

arxiv情報

著者 Yiqing Xie,Alex Xie,Divyanshu Sheth,Pengfei Liu,Daniel Fried,Carolyn Rose
発行日 2025-03-10 14:16:08+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.SE | RepoST: Scalable Repository-Level Coding Environment Construction with Sandbox Testing はコメントを受け付けていません

Revisiting Noise in Natural Language Processing for Computational Social Science

投稿日: 2025年3月11日 作成者: jarxiv

要約

Computational Social Science（CSS）は、研究者向けの人間で生成されたコンテンツの前例のない入手可能性によって推進される新興分野です。
ただし、この分野は、非常に主観的なタスクや複雑で非構造化されていないテキストコーパスなど、それが探求する理論とデータセットの性質により、独自の課題セットを提示します。
これらの課題の中で、あまりよく研究されていないトピックの1つは、ノイズの広範な存在です。
この論文の目的は、CSSの異なる騒音を調べる一連の相互接続されたケーススタディを提示することにより、文献のこのギャップに対処することを目的としています。
これらには、履歴記録のOCR処理、古風な言語、主観的および曖昧なタスクの注釈の矛盾、およびコンテンツ生成中に大規模な言語モデルによって導入された騒音やバイアスに続く文字レベルのエラーが含まれます。
この論文は、CSSのノイズが本質的に有害または役に立たないという従来の概念に挑戦しています。
むしろ、特定の形態のノイズは、個人のユニークなコミュニケーションスタイルやデータセットやタスクの文化依存性の性質など、CSS研究を進めるために非常に貴重な意味のある情報をエンコードできると主張しています。
さらに、この論文は、ノイズに対処する際のニュアンスの重要性と、CSS研究者がそれに遭遇したときに対処しなければならない考慮事項を強調し、異なるタイプのノイズに明確な戦略が必要であることを示しています。

要約(オリジナル)

Computational Social Science (CSS) is an emerging field driven by the unprecedented availability of human-generated content for researchers. This field, however, presents a unique set of challenges due to the nature of the theories and datasets it explores, including highly subjective tasks and complex, unstructured textual corpora. Among these challenges, one of the less well-studied topics is the pervasive presence of noise. This thesis aims to address this gap in the literature by presenting a series of interconnected case studies that examine different manifestations of noise in CSS. These include character-level errors following the OCR processing of historical records, archaic language, inconsistencies in annotations for subjective and ambiguous tasks, and even noise and biases introduced by large language models during content generation. This thesis challenges the conventional notion that noise in CSS is inherently harmful or useless. Rather, it argues that certain forms of noise can encode meaningful information that is invaluable for advancing CSS research, such as the unique communication styles of individuals or the culture-dependent nature of datasets and tasks. Further, this thesis highlights the importance of nuance in dealing with noise and the considerations CSS researchers must address when encountering it, demonstrating that different types of noise require distinct strategies.

arxiv情報

著者 Nadav Borenstein
発行日 2025-03-10 14:42:42+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Revisiting Noise in Natural Language Processing for Computational Social Science はコメントを受け付けていません

LLMs syntactically adapt their language use to their conversational partner

投稿日: 2025年3月11日 作成者: jarxiv

要約

人間のスピーカーは、会話中に言語の使用を互いに調整することが頻繁に観察されています。
この論文では、大規模な言語モデル（LLM）が会話適応の同じ動作を示すかどうかを経験的に研究します。
LLM間の会話のコーパスを構築し、2つのLLMエージェントが会話が続くにつれて、より似たような構文の選択をすることになり、現代のLLMが少なくとも初歩的な方法で会話パートナーに言語の使用を適応させることを確認します。

要約(オリジナル)

It has been frequently observed that human speakers align their language use with each other during conversations. In this paper, we study empirically whether large language models (LLMs) exhibit the same behavior of conversational adaptation. We construct a corpus of conversations between LLMs and find that two LLM agents end up making more similar syntactic choices as conversations go on, confirming that modern LLMs adapt their language use to their conversational partners in at least a rudimentary way.

arxiv情報

著者 Florian Kandra,Vera Demberg,Alexander Koller
発行日 2025-03-10 15:37:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | LLMs syntactically adapt their language use to their conversational partner はコメントを受け付けていません

SIDA: Social Media Image Deepfake Detection, Localization and Explanation with Large Multimodal Model

投稿日: 2025年3月11日 作成者: jarxiv

要約

非常に現実的な画像の作成における生成モデルの急速な進歩は、誤った情報の普及のための大きなリスクをもたらします。
たとえば、合成イメージは、ソーシャルメディアで共有されている場合、広範な視聴者を誤解させ、デジタルコンテンツに対する信頼を侵食し、その結果、深刻な影響を与えます。
ある程度の進歩にもかかわらず、アカデミアはまだソーシャルメディア向けの大規模で多様化したディープフェイク検出データセットを作成しておらず、この問題に対処するための効果的なソリューションを考案していません。
このホワイトペーパーでは、ソーシャルメディア画像検出データセット（SID-SET）を紹介します。これは、3つの重要な利点を提供します。
単なる目視検査。
さらに、大規模なマルチモーダルモデルの例外的な機能を活用して、SIDA（ソーシャルメディア画像検出、ローカリゼーション、および説明アシスタント）という名前の新しい画像のディープフェイク検出、ローカリゼーション、および説明フレームワークを提案します。
Sidaは、画像の信頼性を識別するだけでなく、マスク予測を介して改ざんされた領域を描写し、モデルの判断基準のテキストの説明を提供します。
SIDセットおよびその他のベンチマークの最先端のディープフェイク検出モデルと比較して、広範な実験は、SIDAが多様化された設定の中で優れたパフォーマンスを達成することを示しています。
コード、モデル、およびデータセットがリリースされます。

要約(オリジナル)

The rapid advancement of generative models in creating highly realistic images poses substantial risks for misinformation dissemination. For instance, a synthetic image, when shared on social media, can mislead extensive audiences and erode trust in digital content, resulting in severe repercussions. Despite some progress, academia has not yet created a large and diversified deepfake detection dataset for social media, nor has it devised an effective solution to address this issue. In this paper, we introduce the Social media Image Detection dataSet (SID-Set), which offers three key advantages: (1) extensive volume, featuring 300K AI-generated/tampered and authentic images with comprehensive annotations, (2) broad diversity, encompassing fully synthetic and tampered images across various classes, and (3) elevated realism, with images that are predominantly indistinguishable from genuine ones through mere visual inspection. Furthermore, leveraging the exceptional capabilities of large multimodal models, we propose a new image deepfake detection, localization, and explanation framework, named SIDA (Social media Image Detection, localization, and explanation Assistant). SIDA not only discerns the authenticity of images, but also delineates tampered regions through mask prediction and provides textual explanations of the model’s judgment criteria. Compared with state-of-the-art deepfake detection models on SID-Set and other benchmarks, extensive experiments demonstrate that SIDA achieves superior performance among diversified settings. The code, model, and dataset will be released.

arxiv情報

著者 Zhenglin Huang,Jinwei Hu,Xiangtai Li,Yiwei He,Xingyu Zhao,Bei Peng,Baoyuan Wu,Xiaowei Huang,Guangliang Cheng
発行日 2025-03-10 11:03:16+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CV | SIDA: Social Media Image Deepfake Detection, Localization and Explanation with Large Multimodal Model はコメントを受け付けていません

CAD-Assistant: Tool-Augmented VLLMs as Generic CAD Task Solvers

投稿日: 2025年3月11日 作成者: jarxiv

要約

AIアシストデザインの汎用CADエージェントであるCADアシスタントを提案します。
私たちのアプローチは、Plannerとしての強力なビジョンと大規模な言語モデル（VLLM）と、CAD固有のツールを使用したツールの高度パラダイムに基づいています。
CADアシスタントは、Python APIを介してアクセスされるFreeCADソフトウェアを装備したPythonインタープリターで繰り返し実行されるアクションを生成することにより、マルチモーダルユーザークエリをアドレス指定します。
私たちのフレームワークは、生成されたCADコマンドがジオメトリに与える影響を評価し、CAD設計の進化状態に基づいて後続のアクションを適応させることができます。
スケッチ画像パラメーターライザー、レンダリングモジュール、2D断面ジェネレーター、その他の特殊なルーチンなど、幅広いCAD固有のツールを検討します。
CADアシスタントは、複数のCADベンチマークで評価され、VLLMベースラインと監視されたタスク固有の方法を上回ります。
既存のベンチマークを超えて、多様なワークフロー全体の汎用CADソルバーとしてのツール充電VLLMの可能性を定性的に実証します。

要約(オリジナル)

We propose CAD-Assistant, a general-purpose CAD agent for AI-assisted design. Our approach is based on a powerful Vision and Large Language Model (VLLM) as a planner and a tool-augmentation paradigm using CAD-specific tools. CAD-Assistant addresses multimodal user queries by generating actions that are iteratively executed on a Python interpreter equipped with the FreeCAD software, accessed via its Python API. Our framework is able to assess the impact of generated CAD commands on geometry and adapts subsequent actions based on the evolving state of the CAD design. We consider a wide range of CAD-specific tools including a sketch image parameterizer, rendering modules, a 2D cross-section generator, and other specialized routines. CAD-Assistant is evaluated on multiple CAD benchmarks, where it outperforms VLLM baselines and supervised task-specific methods. Beyond existing benchmarks, we qualitatively demonstrate the potential of tool-augmented VLLMs as general-purpose CAD solvers across diverse workflows.

arxiv情報

著者 Dimitrios Mallis,Ahmet Serdar Karadeniz,Sebastian Cavada,Danila Rukhovich,Niki Foteinopoulou,Kseniya Cherenkova,Anis Kacem,Djamila Aouada
発行日 2025-03-10 11:27:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CV, cs.LG, cs.RO | CAD-Assistant: Tool-Augmented VLLMs as Generic CAD Task Solvers はコメントを受け付けていません

TimeMixer++: A General Time Series Pattern Machine for Universal Predictive Analysis

投稿日: 2025年3月11日 作成者: jarxiv

要約

時系列分析は、予測、分類、異常検出、代入などのタスクをサポートする多くのアプリケーションで重要な役割を果たします。
この作業では、強力な表現とパターン抽出機能を通じて広範な時系列タスクに優れているように設計されたモデルである時系列パターンマシン（TSPM）を紹介します。
従来の時系列モデルは、普遍的なパターンを捉えるのに苦労しており、多様なタスクにわたる有効性を制限しています。
これに対処するために、時間領域の複数のスケールと周波数ドメインのさまざまな解像度を定義し、複雑なタスクに適した時系列パターンを抽出するためのさまざまな混合戦略を使用します。
具体的には、（1）マルチ解像度時間イメージング（MRTI）、（2）時間画像分解（TID）、（3）マルチスケールミキシング（MCM）、および（4）マルチ解像度の混合（MRM）を使用して、総合的な時間パターンを抽出して、マルチスケールの時系列を処理する汎用TSPMを導入します。
MRTIは、マルチスケールの時系列をマルチ解像度の時間画像に変換し、時間的ドメインと周波数ドメインの両方でパターンをキャプチャします。
TIDはデュアル軸の注意をレバレバルして季節と傾向のパターンを抽出しますが、MCMはこれらのパターンをスケール間で階層的に集約します。
MRMは、解像度全体ですべての表現を適応的に統合します。
この方法は、8つの時系列分析タスクで最先端のパフォーマンスを実現し、一貫して汎用モデルとタスク固有のモデルの両方を上回ります。
私たちの仕事は、次世代のTSPMに向けた有望なステップを示し、時系列分析のさらなる進歩への道を開いています。

要約(オリジナル)

Time series analysis plays a critical role in numerous applications, supporting tasks such as forecasting, classification, anomaly detection, and imputation. In this work, we present the time series pattern machine (TSPM), a model designed to excel in a broad range of time series tasks through powerful representation and pattern extraction capabilities. Traditional time series models often struggle to capture universal patterns, limiting their effectiveness across diverse tasks. To address this, we define multiple scales in the time domain and various resolutions in the frequency domain, employing various mixing strategies to extract intricate, task-adaptive time series patterns. Specifically, we introduce a general-purpose TSPM that processes multi-scale time series using (1) multi-resolution time imaging (MRTI), (2) time image decomposition (TID), (3) multi-scale mixing (MCM), and (4) multi-resolution mixing (MRM) to extract comprehensive temporal patterns. MRTI transforms multi-scale time series into multi-resolution time images, capturing patterns across both temporal and frequency domains. TID leverages dual-axis attention to extract seasonal and trend patterns, while MCM hierarchically aggregates these patterns across scales. MRM adaptively integrates all representations across resolutions. This method achieves state-of-the-art performance across 8 time series analytical tasks, consistently surpassing both general-purpose and task-specific models. Our work marks a promising step toward the next generation of TSPMs, paving the way for further advancements in time series analysis.

arxiv情報

著者 Shiyu Wang,Jiawei Li,Xiaoming Shi,Zhou Ye,Baichuan Mo,Wenze Lin,Shengtong Ju,Zhixuan Chu,Ming Jin
発行日 2025-03-10 11:37:38+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | TimeMixer++: A General Time Series Pattern Machine for Universal Predictive Analysis はコメントを受け付けていません

A Zero-shot Learning Method Based on Large Language Models for Multi-modal Knowledge Graph Embedding

投稿日: 2025年3月11日 作成者: jarxiv

要約

ゼロショット学習（ZL）は、自然言語処理、画像分類、横断的転送などの目に見えないカテゴリを含むタスクにとって重要です。
現在のアプリケーションは、目に見えないカテゴリを含む新しい関係またはエンティティを正確に推測および処理することができず、オープンドメインシナリオのスケーラビリティと実用性を厳しく制限していません。
ZL学習は、マルチモーダルナレッジグラフ（MMKG）埋め込み表現学習で、目に見えないカテゴリのセマンティック情報を効果的に転送するという課題に直面しています。
この論文では、大規模な言語モデル（LLM）を使用してMMKGの学習をゼロショット埋め込むフレームワークであるZSLLMを提案します。
目に見えないカテゴリのテキストモダリティ情報をLLMSの推論機能を完全に活用するプロンプトとして活用し、目に見えないカテゴリの異なるモダリティを越えてセマンティック情報転送を可能にします。
モデルベースの学習を通じて、MMKGの目に見えないカテゴリの埋め込み表現が強化されます。
複数の現実世界のデータセットで実施された広範な実験は、最先端の方法と比較してアプローチの優位性を示しています。

要約(オリジナル)

Zero-shot learning (ZL) is crucial for tasks involving unseen categories, such as natural language processing, image classification, and cross-lingual transfer. Current applications often fail to accurately infer and handle new relations or entities involving unseen categories, severely limiting their scalability and practicality in open-domain scenarios. ZL learning faces the challenge of effectively transferring semantic information of unseen categories in multi-modal knowledge graph (MMKG) embedding representation learning. In this paper, we propose ZSLLM, a framework for zero-shot embedding learning of MMKGs using large language models (LLMs). We leverage textual modality information of unseen categories as prompts to fully utilize the reasoning capabilities of LLMs, enabling semantic information transfer across different modalities for unseen categories. Through model-based learning, the embedding representation of unseen categories in MMKG is enhanced. Extensive experiments conducted on multiple real-world datasets demonstrate the superiority of our approach compared to state-of-the-art methods.

arxiv情報

著者 Bingchen Liu,Jingchen Li,Naixing Xu,Xin Li
発行日 2025-03-10 11:38:21+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI | A Zero-shot Learning Method Based on Large Language Models for Multi-modal Knowledge Graph Embedding はコメントを受け付けていません

Discrete Gaussian Process Representations for Optimising UAV-based Precision Weed Mapping

投稿日: 2025年3月11日 作成者: jarxiv

要約

UAVを使用した正確な農業雑草マッピングは、精密な農業アプリケーションにとって重要です。
従来の方法は、計算的に集中的かつ時間がかかる剛性のある飛行経路からの矯正術に依存しています。
Gaussian Process（GP）ベースのマッピングは、基礎となる変数（つまり、雑草分布）の継続的なモデリングを提供しますが、パス計画や視覚化などの実用的なタスクの離散化が必要です。
多くの場合、現在の実装は、代替案を体系的に評価することなく、QuadtreeまたはGridmapをデフォルトでデフォルトします。
この研究では、5つの離散化方法を比較します。クアッドトリー、ウェドゲレット、最小二乗誤差（LSE）を使用したトップダウンバイナリスペースパーティション（BSP）ツリー、グラフ合併を使用したボトムアップBSPツリー、および可変解像度の六角形グリッド。
実際の雑草分布の評価は、視覚的類似性、平均二乗誤差（MSE）、および計算効率を測定します。
結果は、Quadtreeが全体的にベストのパフォーマンスを発揮することを示していますが、代替案は特定のシナリオで優れています：ヘキサゴンまたはBSP LSEスーツフィールドは、大きくて支配的な雑草パッチを備えていますが、クアッドツリーは分散した小規模分布に最適です。
これらの調査結果は、デフォルトのメソッドに依存するのではなく、雑草分布パターン（パッチサイズ、密度、カバレッジ）の離散化アプローチを調整する必要性を強調しています。
基礎となる分布に基づいて表現を選択することにより、精密農業アプリケーションのマッピング精度と効率を改善できます。

要約(オリジナル)

Accurate agricultural weed mapping using UAVs is crucial for precision farming applications. Traditional methods rely on orthomosaic stitching from rigid flight paths, which is computationally intensive and time-consuming. Gaussian Process (GP)-based mapping offers continuous modelling of the underlying variable (i.e. weed distribution) but requires discretisation for practical tasks like path planning or visualisation. Current implementations often default to quadtrees or gridmaps without systematically evaluating alternatives. This study compares five discretisation methods: quadtrees, wedgelets, top-down binary space partition (BSP) trees using least square error (LSE), bottom-up BSP trees using graph merging, and variable-resolution hexagonal grids. Evaluations on real-world weed distributions measure visual similarity, mean squared error (MSE), and computational efficiency. Results show quadtrees perform best overall, but alternatives excel in specific scenarios: hexagons or BSP LSE suit fields with large, dominant weed patches, while quadtrees are optimal for dispersed small-scale distributions. These findings highlight the need to tailor discretisation approaches to weed distribution patterns (patch size, density, coverage) rather than relying on default methods. By choosing representations based on the underlying distribution, we can improve mapping accuracy and efficiency for precision agriculture applications.

arxiv情報

著者 Jacob Swindell,Madeleine Darbyshire,Marija Popovic,Riccardo Polvara
発行日 2025-03-10 11:50:15+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO | Discrete Gaussian Process Representations for Optimising UAV-based Precision Weed Mapping はコメントを受け付けていません

Cross-Lingual IPA Contrastive Learning for Zero-Shot NER

投稿日: 2025年3月11日 作成者: jarxiv

要約

低リソース言語のゼロショットという名前のエンティティ認識（NER）に対する既存のアプローチは、主に機械翻訳に依存していましたが、より最近の方法は音素表現に焦点を変えています。
これに基づいて、同様の音声特性を持つ言語間のIPA転写の音素表現ギャップを減らすことにより、高リソース言語でトレーニングされたモデルが低リソース言語で効果的に機能する方法を調査します。
この作業では、10の頻繁に使用される言語ファミリからの10の英語と高リソースの言語IPAペアを含むIPA（CONLIPA）データセットを使用した対照的な学習を提案します。
また、CONLIPAデータセットを使用して、言語間IPAコントラスト学習方法（IPAC）を提案します。
さらに、提案されているデータセットと方法論は、最高のパフォーマンスのベースラインと比較した場合、かなりの平均増加を示します。

要約(オリジナル)

Existing approaches to zero-shot Named Entity Recognition (NER) for low-resource languages have primarily relied on machine translation, whereas more recent methods have shifted focus to phonemic representation. Building upon this, we investigate how reducing the phonemic representation gap in IPA transcription between languages with similar phonetic characteristics enables models trained on high-resource languages to perform effectively on low-resource languages. In this work, we propose CONtrastive Learning with IPA (CONLIPA) dataset containing 10 English and high resource languages IPA pairs from 10 frequently used language families. We also propose a cross-lingual IPA Contrastive learning method (IPAC) using the CONLIPA dataset. Furthermore, our proposed dataset and methodology demonstrate a substantial average gain when compared to the best performing baseline.

arxiv情報

著者 Jimin Sohn,David R. Mortensen
発行日 2025-03-10 11:52:33+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Cross-Lingual IPA Contrastive Learning for Zero-Shot NER はコメントを受け付けていません

The Majority Vote Paradigm Shift: When Popular Meets Optimal

投稿日: 2025年3月11日 作成者: jarxiv

要約

通常、データのラベル付けには、複数の人間の労働者からの注釈が必要です。
しかし、人間は完璧ではありません。
したがって、複数のアノテーターから収集されたラベルを集約して、真のラベルをより自信を持って推定することは一般的な慣行です。
多くの集約方法の中で、シンプルでよく知られている多数決（MV）は、最も多くの投票数を投票するクラスラベルを選択します。
しかし、その重要性にもかかわらず、MVのラベル集約の最適性は広く研究されていません。
MVがラベル推定誤差で理論的に最適な下限を達成する条件を特徴付けることにより、私たちの仕事のこのギャップに対処します。
私たちの結果は、MVが特定のクラス分布のラベルを最適に回復できる注釈ノイズの許容限界を捉えています。
この最適性証明書は、より高い専門家、ゴールドラベルなどを含む場合によっては、非常に多くの人間の不確実性と金銭的コストにもかかわらず、より高い専門家、ゴールドラベルなどを含む場合によっては、ラベル集約のモデル選択に対するより原則的なアプローチを提供します。
合成と現実世界の両方のデータに関する実験は、私たちの理論的発見を裏付けています。

要約(オリジナル)

Reliably labelling data typically requires annotations from multiple human workers. However, humans are far from being perfect. Hence, it is a common practice to aggregate labels gathered from multiple annotators to make a more confident estimate of the true label. Among many aggregation methods, the simple and well known Majority Vote (MV) selects the class label polling the highest number of votes. However, despite its importance, the optimality of MV’s label aggregation has not been extensively studied. We address this gap in our work by characterising the conditions under which MV achieves the theoretically optimal lower bound on label estimation error. Our results capture the tolerable limits on annotation noise under which MV can optimally recover labels for a given class distribution. This certificate of optimality provides a more principled approach to model selection for label aggregation as an alternative to otherwise inefficient practices that sometimes include higher experts, gold labels, etc., that are all marred by the same human uncertainty despite huge time and monetary costs. Experiments on both synthetic and real world data corroborate our theoretical findings.

arxiv情報

著者 Antonio Purificato,Maria Sofia Bucarelli,Anil Kumar Nelakanti,Andrea Bacciu,Fabrizio Silvestri,Amin Mantrach
発行日 2025-03-10 11:53:28+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, stat.ML | The Majority Vote Paradigm Shift: When Popular Meets Optimal はコメントを受け付けていません