要約
この論文では、ロシアのニューステキストからの構造化された意見の抽出に関する対話評価の共有タスクを紹介します。
コンテストのタスクは、特定の文で意見のタプルを抽出することです。
タプルは、センチメントホルダー、そのターゲット、保持者からターゲットへの表現、感情で構成されています。
合計で、タスクは100以上の提出物を受け取りました。
参加者は、主にゼロショット、少ないショット、微調整形式の大きな言語モデルを実験しました。
テストセットでの最良の結果は、大きな言語モデルの微調整で取得されました。
また、30のプロンプトと11のオープンソース言語モデルを、1ショットおよび10ショットの設定で3〜320億パラメーターと比較し、最適なモデルとプロンプトを見つけました。
要約(オリジナル)
In this paper, we introduce the Dialogue Evaluation shared task on extraction of structured opinions from Russian news texts. The task of the contest is to extract opinion tuples for a given sentence; the tuples are composed of a sentiment holder, its target, an expression and sentiment from the holder to the target. In total, the task received more than 100 submissions. The participants experimented mainly with large language models in zero-shot, few-shot and fine-tuning formats. The best result on the test set was obtained with fine-tuning of a large language model. We also compared 30 prompts and 11 open source language models with 3-32 billion parameters in the 1-shot and 10-shot settings and found the best models and prompts.
arxiv情報
| 著者 | Natalia Loukachevitch,Natalia Tkachenko,Anna Lapanitsyna,Mikhail Tikhomirov,Nicolay Rusnachenko |
| 発行日 | 2025-04-09 14:54:00+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google