Магия на кончиках пальцев. Facebook тестирует технологию для VR-клавиатур

23 October 2020

Команда Facebook показала модель для отслеживания рук на VR-клавиатуре, которая может наборщику текста работать с той же скоростью и точностью, что и на физической клавиатуре.

Магия на кончиках пальцев. Facebook тестирует технологию для VR-клавиатур

«Чтобы поддерживать полноценную сенсорную печать без физической клавиатуры и тактильной обратной связи отдельных клавиш, команда должна была понять неустойчивые шаблоны набора текста. Мы применили методы статистического декодирования из автоматического распознавания речи, там, где оно использует акустическую модель для предсказания фонем из звуковых кадров.

Вместе с этим применяется модель для предсказания нажатий клавиш из движения рук. Мы можем предсказать, что люди намеревались напечатать, несмотря на неоднозначное движение руки. Используя этот новый метод машинистки достигали скорость в 73 слова в минуту с частотой ошибок 2,4% на плоской поверхности», — рассказали в компании.

Несмотря на эти успехи, система отслеживания движения рук на основе маркеров все еще находится на стадии тестирования и еще не скоро перерастет в готовое решение, говорят разработчики.

Ранее Performance360 рассказывал, что Facebook представила собственный прототип VR-очков. Их отличает тонкий дисплей — толщина которого всего около 9 мм, примерно как у смартфона.