Перейти к основному содержимому
AXIOMA AI
Все новости ИИ в России
Технологии

VK внедрила мультимодальную AI-модель VLM в поиск видео: анализирует текст, изображение и звук

VK внедрила мультимодальную AI-модель VLM в поиск видео: анализирует текст, изображение и звук
Технологии
4 типа данных
анализирует VLM-модель VK одновременно — текст, изображения, звук, видеоряд; поиск по содержимому без текстовых тегов внедрён в «VK Видео», расширение на ВКонтакте и VK Клипы

VK внедрила в «VK Видео» визуально-языковую модель (VLM) — AI, одновременно анализирующий текст, изображения, звук и видеоряд при поиске контента. Поисковая система теперь понимает содержимое видео без текстовых тегов. Технология поэтапно разворачивается на другие сервисы VK с поисковыми возможностями.

VK начала применять визуально-языковые модели (VLM) — AI-системы, одновременно понимающие текст, изображения, звук и видеоряд — в поисковой системе «VK Видео».

Что такое VLM (Visual-Language Model):

Тип моделиВходящие данныеПрименение
LLM (текст)Только текстПоиск по метаданным
VLM (мультимодальная)Текст + изображение + звук + видеоПоиск по содержимому кадра

Традиционный поиск работает через метаданные (название, описание, теги). VLM-поиск анализирует само содержание видео.

Как работает VLM-поиск в VK Видео:

  1. 1.Пользователь вводит «собака на скейтборде» — VLM анализирует кадры, звук, субтитры
  2. 2.Результаты содержат видео, где это происходит — без текстового описания в метаданных

Расширение на другие сервисы:

После «VK Видео» технология появится в ВКонтакте, VK Клипы, VK Музыка.

Конкурентный контекст:

  • YouTube (Google) использует Gemini для анализа видео
  • Яндекс.Видео развивает аналогичные возможности через YandexGPT
  • VK строит эти возможности для российского рынка

Для бизнеса:

  • VLM-поиск переосмысляет SEO для видеоплатформ: видео без тегов теперь индексируется по содержимому
  • Compliance-вопрос: VLM анализирует биометрические данные в видео (лица, голоса). По 152-ФЗ требуется согласие субъектов на автоматизированную обработку биометрии
  • DPO: необходимо проверить пользовательские соглашения VK на наличие согласий для VLM-обработки биометрии

Это краткое изложение. Полный текст — на сайте источника:

Читать оригинал: CNews

Как это касается вашего бизнеса

Новые ИИ-технологии приносят пользу, когда работают с данными компании и не выносят их наружу. Внедряем ИИ-решения в контуре заказчика: данные остаются внутри периметра.