Политех и «Лекториум» разработали интеллектуальную систему «Автомонтаж»

Санкт-Петербургский политехнический университет Петра Великого и ООО «Лекториум», объединились, чтобы развивать дистанционное образование. Снимая большое количество лекций ежедневно, «Лекториум» захотел сократить ресурсы на постобработку видео – монотонную и продолжительную по времени работу. Специалисты «Лекториума» сформулировали задачу и совместно с экспертами Лаборатории «Промышленные системы потоковой обработки данных» (ПСПОД) Центра НТИ СПбПУ нашли решение, как избавить операторов и монтажеров от рутинного труда. Так появился проект «Автомонтаж». «Автомонтаж» состоит из двух подсистем – «Автослайд» и «Автооператор».

Идея «Автослайда» заключается в том, чтобы автоматически совмещать видео и презентацию лектора. Оба этих файла загружаются в систему, а нейронная сеть самостоятельно определяет, какой слайд показывается в определенный момент времени, и автоматически заменяет его четкой яркой и подходящей по размеру картинкой из оригинальной презентации. Это освобождает монтажера от долгой и рутинной работы, ведь раньше он вручную вырезал и вставлял слайды в видео.

Позаботились разработчики и о реалистичности картинки. Во время лекции спикер может показывать что-то поверх экрана, или презентацию может перекрыть вставший на первом ряду студент. Чтобы не «обрезать» части тела, сотрудники лаборатории накладывают специальные «маски», поэтому видео соответствует реальности.

Название второй подсистемы – «Автооператор» – говорит само за себя. Разработанное программное обеспечение позволяет снимать видеолекции без участия оператора. В аудитории развешиваются камеры в сверхвысоком разрешении, которые снимают общий план. Во время обработки видео система самостоятельно определяет активную зону отображения и кадрирует картинку. 

Сотрудничество Политеха с «Лекториумом», начатое при поддержке Фонда содействия инновациям, продолжается в независимом режиме. Команда планирует дорабатывать алгоритмы и программные средства для подсистемы «Автооператор» и обсуждает дальнейшее взаимодействие по развитию дистанционного образования и производству видеолекций.