LLM и оценка качества машинного перевода: люди и модели сталкиваются с вызовами
Авторы Hala Almaghout, Christian Federmann и Qin Gao исследуют применимость больших языковых моделей для оценки качества машинного перевода и показывают, что и люди, и модели сталкиваются с трудностями.
В работе исследуется применимость больших языковых моделей (LLM) для оценки качества машинного перевода по двум основным схемам — Multidimensional Quality Metrics (MQM) и Error Span Annotation (ESA).
Оценка проводилась на тестовом наборе из 70 языковых пар и публично доступных данных WMT23 и WMT25, включая анализ согласия по баллам и согласию в аннотировании границ ошибок.
Результаты показывают, что согласованность LLM с людьми иногда превосходит согласованность между самими людьми, но остаётся нестабильной и ненадёжной в большинстве сценариев.
Авторы выявили специфические трудности: люди испытывают сложности с детализированными аннотациями MQM и низкоресурсными языковыми парами, а LLM — с мелкими ошибками, неправильными вариантами языка и аннотированием границ ошибок.
Исследование указывает на потенциал улучшения качества аннотаций через совместные пайплайны, сочетающие усилия людей и LLM.
Это краткое изложение. Полный текст статьи доступен на сайте источника:
Читать полностью на AppleЕщё по теме ai-трансформация
Как научить GitHub Copilot правилам вашего кодовой базы
NVIDIA: 5 шагов к созданию SimReady-активов для робототехники с использованием Frontier AI-моделей
Раскрытие потенциала планетарных геопространственных базовых моделей Earth AI для глобального общественного здравоохранения
Как это касается вашего бизнеса
Новая модель или сервис дают эффект, только если данные и процессы компании к ним готовы. Аудит ИИ-готовности покажет, где ИИ даст максимальную отдачу, а где внедрять его преждевременно.