Mitsubishi Electric разрабатывает интерфейс и приложение для мгновенного отображения речи в виде 3D-текста при видеозаписи в реальном времени

Технологии дополненной реальности для  «живого» видеообщения в социальных сетях

Корпорация Mitsubishi Electric объявила о разработке пользовательского интерфейса SwipeTalk Air, который считается первым в мире интерфейсом  на основе технологии дополненной реальности (ДР) для мгновенного отображения произнесенной речи в виде трехмерного текста при записи видео в режиме реального времени. Для размещения текста достаточно провести пальцем по экрану планшета или смартфона. Технология легла в основу приложения SwipeTalk Air на базе операционной системы iOS®, которое интегрирует пользовательский интерфейс, видеозапись и т.д. для создания  «живых» видео в социальных сетях.  

Опытный образец SwipeTalk Air был представлен на выставке цифровых технологий SXSW (South by Southwest - «К югу через юго-запад»), прошедшей в Остине, штат Техас, США с 8 по 17 марта. В будущем возможности управления и функции пользовательского интерфейса и приложения будут расширены для использования в коммерческих товарах и сервисах.

Ключевые характеристики

Пользовательский интерфейс отображает произнесенные слова в виде текста на экране

Пользовательский интерфейс мгновенно отображает произнесенные слова в виде 3D-текста на видео, как только оператор проводит пальцем по экрану мобильного устройства. Камера устройства направляется на объект съемки, произносится несколько слов, на экране пальцем проводится линия, после чего в этой области немедленно появляется текст.

Запись видео и редактирование полностью интегрированы,  поэтому пользователи могут вести съемку и вводить текст одновременно.

Приложение объединяет различные функции для создания выразительных видеозаписей

Размещение текста в любом месте виртуального пространства экрана позволяет добавить больше выразительности создаваемому видео. Поскольку текст остается на фиксированном месте даже при изменении угла камеры, создание объединяющих текст и изображение объектов видео расширяет возможности реализации идей пользователей. Благодаря быстрому размещению текста пользователь может легко создавать оригинальные видеоролики. 

Другие характеристики приложения

Отображение текста с помощью маркеров дополненной реальности (ДР-маркеров)

Текст отображается на экране по траектории, задаваемой с помощью ДР-маркера. 

Рисование с применением дополнительной реальности (ДР)

Использование дополнительных иллюстраций в ходе видеозаписи, например, стрелок, геометрических фигур или мультипликационных изображений придаёт выразительность и наглядность сообщению.

Многоязычный перевод

Размещенный текст можно мгновенно перевести на иностранный язык. Поддержка аудио при переводе отображаемого текста позволяет общаться и взаимодействовать с людьми, говорящими на других языках.

История вопроса

Публикация видео в социальных сетях стала очень распространенным явлением. Пользователи постоянно ищут все более эффектные способы самовыражения с помощью видео. Кроме того, растет спрос на пользовательские интерфейсы, которые позволяют записывать, редактировать и обмениваться видео в режиме реального времени. С 2013 года Центр промышленного дизайна (IDC) Корпорации Mitsubishi Electric реализует проект Design X, цель которого – дать дизайнерам возможность свободно разрабатывать инновационные концепции для новых продуктов и услуг на основе исследований пользовательских предпочтений. Исследование включает в себя интервью с широко известными пользователями социальных сетей с целью получения самой последней информации об их потребностях, например, для быстрого редактирования и обмена видео. Ранее в Центре была разработана технология предшественник анонсированного пользовательского интерфейса: см. пресс-релиз “Mitsubishi Electric разработала первую в мире функцию отображения текста с активацией голосом”.