Специалисты из лаборатории компании Fujitsu разработали новый тип пользовательского интерфейса следующего поколения, который создает интерактивную систему, подобную сенсорному экрану. Но, в отличие от сенсорных экранов, позволяющих манипулировать только цифровыми данными и объектами в компьютере, новая система, точно отслеживая положение и движения рук и пальцев пользователя, позволяет пользователю управлять цифровыми данными, наложенными на реальные объекты и вводить реальные объекты в цифровую среду.

"В основу нашей системы легла идея, заключающаяся в том, что бумагой с текстом и изображениями, другими предметами в реальном мире можно управлять, накладывая на них цифровую информацию, с помощью касаний как на сенсорном экране" - рассказывают разработчики системы, - "Реализация этой системы не требует использования сложных аппаратных средств. Для ее работы достаточно простой веб-камеры и обычного цифрового проектора. А высокие точностные характеристики и широкая функциональность системы достигнуты за счет использования алгоритмов программного обеспечения системы, реализующих технологии сложной обработки изображений".

При использовании системы любая текстовая или графическая информация из бумажного документа, книги или с любого другого предмета может быть импортирована в виде цифровых данных в компьютер с помощью только простых касаний пальцами к необходимым местам. Для того, чтобы сделать это, программное обеспечение системы постоянно определяет и измеряет форму реальных объектов, попадающих в поле ее зрения. Эти данные используются для коррекции систем координат, используемых камерой и проектором. Благодаря постоянной коррекции, производимой в режиме реального времени, система может синхронизировать изображение проектора с местом касания пальцев с предметами, которые могут иметь любую, не обязательно плоскую, форму.

"До последнего времени жестикулирование использовалось больше для управления компьютерами и другими устройствами. Используя новый интерфейс мы уже не просто управляем компьютером, мы манипулируем реальными предметами, а компьютер лишь приспосабливает свою цифровую информацию, ее содержимое и вид представления в соответствии с нашими действиями".

Программное обеспечение системы разработано таким образом, что оно не реагирует на обычные действия и движения. Системой можно управлять, лишь действуя одним пальцем как указателем. Для того, чтобы осуществить точное слежение, система должна точно измерить расстояние до пальца и его высоту относительно объекта. В составе системы используется камера с достаточно низким разрешением, 320 на 180 точек. Такая разрешающая способность позволяет напрямую определять расстояния и размеры с точность одного сантиметра, что совершенно неприемлемо для нормальной работы любого интерактивного интерфейса. Здесь и вступают в действие достаточно сложные и мощные алгоритмы обработки изображений, которые с приемлемой точностью вычисляют положение точек в трехмерном пространстве, используя нечеткую картинку с веб-камеры.

Система позволяет осуществлять управление компьютером и в тех случаях, когда не требуется прикасаться ни к каким предметам. В этом случае управление производится, как и в других подобных системах, с помощью жестов, движений пальцев и рук.

"Наша система находится еще в стадии опытного образца. Вполне вероятно, что во время пробной эксплуатации, во время которой система будет использована для решения различных фактических задач, выявятся некоторые проблемы и появятся предложения по модернизации, по улучшению удобства и простоты использования. После этого, к 2014 году, мы надеемся создать полностью работоспособную систему, которую можно будет ставить на коммерческие рельсы".