Решение уже протестировано на обширном наборе видео различной тематики. Бот находит до 80% событий на кадрах по запросу пользователя.
Для создания видеобота использовался новый подход к видеоаналитике. В то время как существующие системы либо сфокусированы на решении узких задач – поиск предметов или детекция движения, либо могут анализировать лишь небольшой фрагмент видео, видеобот от MTS AI способен искать любые визуальные сцены по их текстовому описанию на записях различной длины.
Это решение разрабатывалось на основе нейросетевой модели CLIP, которая способна проецировать изображения и текстовые описания в единое векторное пространство. Пользовательский запрос преобразуется в вектор и сравнивается с векторами отдельных кадров видео. Далее ИИ определяет наиболее релевантные кадры и выдает итоговый результат.
«Мы считаем, что технология, использованная в этом проекте, найдет широкое применение для обработки видеопотоков в различных индустриях, от безопасности до логистики, ритейла и онлайн-кинотеатров. Она позволит существенно ускорить аналитику длительных видеопотоков, сэкономить ресурсы и деньги компаний. В будущем MTS A планирует развивать эту технологию, включая расширенную поддержку видео в режиме реального времени», – рассказал Дмитрий Буланцев, технический директор MTS AI.
Видеобот уже доступен для использования. Чтобы протестировать его работу, переходите по адресу @CamerOn_Video_Search_Bot в Телеграме, загрузите видео и запросите интересующие кадры.
