Ученые разрабатывают метод изучения функциональных зон на пользовательских видео

Команда исследователей из Университета Техаса и Facebook AI Research рассказала о методе Ego-Topo, который распознает пространство из пользовательских видео и описывает различные зоны. Ego-Topo учится размышлять о действиях человека на видео. Для этого технологии искусственного интеллекта захватывают кадры из видео и описывают окружающую среду. 

В Ego-Topo используется модель ИИ для обнаружения в кадрах мест, которые чаще всего посещает человек и «связывает» кадры со временем, пространством и его функционалом (например, разделочная доска в кадре может свидетельствовать о приготовлении пищи). ИИ также логически связывает разные зоны для общего представления окружения человека и функционального назначения. 

В ходе эксперимента команда ученых изучила модели искусственного интеллекта на 32 предметах, 7 рецептах и одном готовом блюде. 

Ученые уверены: системы видения смогут успешно рассуждать о функциональности сцен, что поможет в развитии робототехники и технологий дополненной реальности (AR). К примеру, система AR сможет изучить среду и дать подсказки или подобрать подходящее учебное пособие.