Новые патенты Apple раскрывают систему управления взглядом в гарнитуре XR, которая может интерпретировать различные жесты рук пользователя в средах MR.

В мае 2023 года Европейское ведомство по патентам и товарным знакам опубликовало патентную заявку Apple, которая технически относится к компьютерной системе с одним или несколькими компонентами формирования дисплея и одним или несколькими устройствами ввода, обеспечивающими компьютерный опыт, включая, помимо прочего, электронные устройства, обеспечивающие виртуальная реальность и смешанная реальность через один или несколько дисплеев.В практическом плане Патент Apple направлен на предоставление пользователям будущей гарнитуры Apple XR возможности использовать различные жесты рук для управления или перемещения объектов, которые пользователь увидит в средах AR/VR/MR/XR, используя данные взгляда из системы отслеживания взгляда. Камеры на гарнитуре или в ней используют отображение глубины для распознавания жестов рук.

В своем патентном опыте Apple отмечает, что методы и интерфейсы для взаимодействия со средами, которые включают по крайней мере некоторые виртуальные элементы (например, приложения, среды дополненной реальности, среды смешанной реальности и среды виртуальной реальности), являются громоздкими, неэффективными и ограниченными.

Например, системы, которые обеспечивают недостаточную обратную связь для выполнения действий, связанных с виртуальными объектами, системы, которым требуется серия входных данных для достижения желаемого результата в среде дополненной реальности, и системы, в которых манипулирование виртуальными объектами является сложным, утомительным и подверженным ошибкам. создают значительную когнитивную нагрузку на пользователя и отвлекают его от взаимодействия со средой виртуальной/дополненной реальности. Кроме того, эти методы занимают больше времени, чем необходимо, тем самым тратя энергию. Последнее соображение особенно важно для устройств с батарейным питанием.

В некоторых вариантах реализации компьютерная система может распознавать движение руки пользователя на основе типа захвата или положения руки, которое сохраняется во время движения руки пользователя. Тип захвата или положение рук различают в зависимости от положения пальцев на соответствующей руке, ориентации соответствующей руки, количества рук, образующих захват, относительного положения и ориентации рук, образующих захват, или сочетание двух или более из вышеперечисленных и т. д.

В некоторых вариантах реализации, если выбрана позиция назначения или позиция привязки, если подвижный виртуальный объект присутствует в позиции назначения или позиции привязки, компьютерная система распознает движение руки пользователя как запрос на перемещение виртуального объекта относительно трехмерной точки. трехмерной среды (и относительно виртуального положения пользователя или точки обзора текущего отображаемого вида трехмерной среды), если рука(-и) пользователя находится в захвате первого типа во время движения руки; и компьютерная система распознает движение руки пользователя как запрос на перемещение точки обзора относительно виртуального объекта (и относительно трехмерной среды), если рука(-и) пользователя находится во втором типе захвата, отличном от первого типа сцепления.

В патенте Фиг. 2 ниже мы видим блок-схему, иллюстрирующую контроллер компьютерной системы, который настроен для управления и координации опыта CGR для пользователя. Контроллер №110, представленный ниже, включает в себя подходящую комбинацию программного обеспечения, встроенного программного обеспечения и/или аппаратного обеспечения; Фигуры 7A-7D иллюстрируют выбор цели навигации и навигацию к цели навигации в соответствии с физическим жестом руки.

Патент Apple на рисунках 7E/F/H/I ниже иллюстрирует выборочное перемещение виртуального объекта относительно трехмерной среды (и точки обзора) или перемещение точки обзора относительно трехмерной среды (и всех виртуальных объектов внутри трехмерной среды). пространственная среда) на основе захвата руки пользователя, который сохраняется во время последовательности вводимых пользователем данных.

Изобретение Apple подробно описано в 163-страничном патенте, который был подан в Европе 24 мая 2023 года. Разработчикам и компьютерным фанатам, которые хотят глубже погрузиться в богатые детали, ознакомьтесь с номером европейского патента EP4182799.