В настоящее время большинство переносных головных дисплеев (HMD) страдают от отсутствия богатого пользовательского интерфейса, короткого времени автономной работы и большого веса. Некоторые HMD, такие как Google Glass, используют сенсорную панель и голосовые команды в качестве интерфейса, но они считаются просто расширением смартфонов и не оптимизированы для носимых смарт-очков.
Недавно для HMD, включая K-Glass 2, было предложено распознавание взгляда, но взгляда недостаточно для реализации естественного пользовательского интерфейса (UI) и опыта (UX), такого как распознавание жестов пользователя, из-за его ограниченной интерактивности и длительного времени калибровки взгляда. , который может составлять до нескольких минут.В качестве решения профессор Хой-Джун Ю и его команда из отдела электротехники недавно разработали K-Glass 3 с маломощным естественным пользовательским интерфейсом и процессором UX, позволяющим удобно печатать и указывать на HMD с экрана просто голыми руками. Этот процессор состоит из ядра предварительной обработки для реализации стереозрения, семи ядер глубокого обучения для ускорения распознавания сцены в реальном времени за 33 миллисекунды и одного механизма визуализации для дисплея.
Камера стереовидения, расположенная на передней панели K-Glass 3, работает аналогично трехмерному зондированию в человеческом зрении. Две линзы камеры, отображаемые горизонтально друг от друга, как и восприятие глубины, создаваемое левым и правым глазом, делают снимки одних и тех же объектов или сцен и объединяют эти два разных изображения для извлечения информации о пространственной глубине, которая необходима для воссоздания трехмерной среды. Алгоритм обзора камеры имеет энергоэффективность в среднем 20 милливатт, что позволяет ей работать в стекле более 24 часов без перебоев.
Исследовательская группа внедрила многоядерную технологию глубокого обучения, предназначенную для мобильных устройств, чтобы распознавать жесты пользователя на основе информации о глубине. Эта технология значительно повысила точность распознавания Glass с изображениями и речью, сократив время, необходимое для обработки и анализа данных.
Кроме того, многоядерный процессор Glass достаточно продвинут, чтобы переходить в режим ожидания, когда он не обнаруживает движения от пользователей. Вместо этого он выполняет сложные алгоритмы глубокого обучения с минимальной мощностью для достижения высокой производительности.Профессор Ю сказал: «Нам удалось изготовить многоядерный процессор с низким энергопотреблением, который потребляет всего 126,1 милливатт энергии с высоким КПД.
Если мы хотим, необходимо разработать более компактный, легкий и маломощный процессор. включают повсеместное использование умных очков и носимых устройств в повседневную жизнь. Более интуитивно понятный пользовательский интерфейс и удобный пользовательский интерфейс K-Glass 3 позволяют пользователям наслаждаться расширенными возможностями AR, такими как клавиатура или лучшая, более отзывчивая мышь ».Вместе с исследовательской группой в проекте K-Glass 3 участвовал корейский разработчик UI и UX UX Factory.
Эти результаты исследования озаглавлены «Процессор естественного пользовательского интерфейса / пользовательского интерфейса в реальном времени мощностью 126,1 мВт со встроенным ядром глубокого обучения для энергосберегающих интеллектуальных очков» (статья № 14.1, ведущий автор: Сон-Ук Пак, докторант кафедры электротехники , KAIST) были представлены на Международной конференции по твердотельным цепям (ISSCC) 2016 IEEE (Институт инженеров по электротехнике и электронике), которая проходила 31 января — 4 февраля 2016 года в Сан-Франциско, Калифорния.