Исследователи представили лёгкий метод обнаружения код-свичинга — чередования языков в одной речи — непосредственно по аудиосигналу без транскрипции.
Метод использует информацию о языке на уровне аудиофреймов в pretrained speech encoders, чтобы определить, присутствуют ли оба языка в одном высказывании.
Для этого идентифицируются скрытые состояния, селективные к языку, с использованием моноязычных записей, после чего их активации на уровне фреймов агрегируются в предсказание код-свичинга.
Метод был протестирован на наборе данных CS-FLEURS с использованием энкодера Whisper-small и достиг среднего F1-значения 0,798 по 14 языковым парам.
Это превосходит результаты CNN (F1 = 0,776) и линейного базового решения на основе HuBERT (F1 = 0,751), обученных на моноязычной идентификации языка.
Результаты показывают, что pretrained speech encoders уже содержат необходимую информацию для выявления код-свичинга.
Метод может стать инструментом для создания более репрезентативных мультиязычных корпусов.
Это краткое изложение. Полный текст статьи доступен на сайте источника:
Читать полностью на AppleКак это касается вашего бизнеса
Новая модель или сервис дают эффект, только если данные и процессы компании к ним готовы. Аудит ИИ-готовности покажет, где ИИ даст максимальную отдачу, а где внедрять его преждевременно.