ВК Видео обновила алгоритм искусственного интеллекта, который автоматически распознает речь и добавляет субтитры к видео. Нейронные сети теперь знают тысячи новых слов, включая мемы, имена собственные, аббревиатуры и жаргонизмы.
Точность декодирования анализа увеличена на 25%.
Автоматические субтитры создаются с помощью моделей машинного обучения. Для повышения точности аудиопоток проходит несколько этапов обработки, на которых нейронная сеть отфильтровывает ненужные звуки, выбирает речь и преобразует ее в текст. Модели денормализации и пунктуации затем преобразуют распознанные слова в легко читаемый текст. Затем искусственный интеллект синхронизирует сгенерированный текст со звуковой дорожкой.
Планируется, что вскоре нейронные сети смогут различать звуки, что позволит разделять речь разных говорящих на отдельные копии. Это облегчит чтение и понимание субтитров.
Субтитры в видео могут помочь людям с нарушениями слуха и удобны, когда звук невозможно включить. ВК сообщает, что эта технология становится все более популярной:
Только за последний месяц процент пользователей, использующих эту функцию в веб-версии, увеличился на 28%, при этом 11% всей аудитории «Видео ВК» теперь используют субтитры.
Напомним, приложение «ВКонтакте Видео» с момента его официального запуска в сентябре 2023 года было установлено более 20 миллионов раз.
