要約
テキストモデル出力の単語範囲に注釈を付けて視覚化するためのフレームワークである、factgenie を紹介します。
注釈は、意味上の不正確さや無関係なテキストなど、スパンベースのさまざまな現象をキャプチャできます。
fatgenie を使用すると、人間のクラウドワーカーと大規模な言語モデルの両方から注釈を収集できます。
私たちのフレームワークは、簡単に拡張可能なコードベースを利用した、データの視覚化とテキスト注釈の収集のための Web インターフェイスで構成されています。
要約(オリジナル)
We present factgenie: a framework for annotating and visualizing word spans in textual model outputs. Annotations can capture various span-based phenomena such as semantic inaccuracies or irrelevant text. With factgenie, the annotations can be collected both from human crowdworkers and large language models. Our framework consists of a web interface for data visualization and gathering text annotations, powered by an easily extensible codebase.
arxiv情報
| 著者 | Zdeněk Kasner,Ondřej Plátek,Patrícia Schmidtová,Simone Balloccu,Ondřej Dušek |
| 発行日 | 2024-07-25 08:33:23+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google