MetaMetrics: Calibrating Metrics For Generation Tasks Using Human Preferences

要約

パフォーマンス評価指標の品質を理解することは、モデルの出力が人間の好みに確実に一致するようにするために重要です。
ただし、指標は特定の 1 つの分野では優れているものの、すべての次元では優れているわけではないため、各指標がこれらの好みの多様な側面をどの程度うまく捉えているかは依然として不明です。
これに対処するには、人間の好みの特定の側面に合わせてメトリクスを体系的に調整し、各側面の固有の特性に対応することが不可欠です。
MetaMetrics は、教師ありの方法でさまざまなモダリティにわたる生成タスクを評価するように設計された調整されたメタメトリックです。
MetaMetrics は、既存のメトリクスの組み合わせを最適化し、人間の好みとの整合性を高めます。
私たちの指標は、言語と視覚の両方の下流タスクにおける柔軟性と有効性を実証し、さまざまな多言語およびマルチドメインのシナリオにわたって大きな利点を示しています。
MetaMetrics は人間の好みと密接に一致しており、拡張性が高く、あらゆるアプリケーションに簡単に統合できます。
これにより、MetaMetrics は生成タスクの評価を改善するための強力なツールとなり、メトリクスがさまざまなコンテキストにわたって人間の判断をより正確に表現できるようになります。

要約(オリジナル)

Understanding the quality of a performance evaluation metric is crucial for ensuring that model outputs align with human preferences. However, it remains unclear how well each metric captures the diverse aspects of these preferences, as metrics often excel in one particular area but not across all dimensions. To address this, it is essential to systematically calibrate metrics to specific aspects of human preference, catering to the unique characteristics of each aspect. We introduce MetaMetrics, a calibrated meta-metric designed to evaluate generation tasks across different modalities in a supervised manner. MetaMetrics optimizes the combination of existing metrics to enhance their alignment with human preferences. Our metric demonstrates flexibility and effectiveness in both language and vision downstream tasks, showing significant benefits across various multilingual and multi-domain scenarios. MetaMetrics aligns closely with human preferences and is highly extendable and easily integrable into any application. This makes MetaMetrics a powerful tool for improving the evaluation of generation tasks, ensuring that metrics are more representative of human judgment across diverse contexts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google