Главное — собрать только те части света, которые действительно нужны камере. Исследователи создали математическую модель, чтобы помочь запрограммировать эти устройства, чтобы камера и ее источник света работали вместе эффективно, устраняя посторонний свет или «шум», который в противном случае размыл бы сигналы, необходимые для обнаружения контуров сцены.«У нас есть способ выбирать световые лучи, которые мы хотим улавливать, и только эти лучи», — сказал Шриниваса Нарасимхан, доцент кафедры робототехники CMU. «Нам не нужны новые алгоритмы обработки изображений, и нам не нужна дополнительная обработка для устранения шума, потому что мы не собираем шум. Все это делается датчиком».
Один из прототипов, основанный на этой модели, синхронизирует лазерный проектор с обычной камерой со скользящим затвором (тип камеры, используемый в большинстве смартфонов), так что камера обнаруживает свет только из точек, освещаемых лазером, когда он сканирует сцену.Это не только позволяет камере работать при очень ярком свете или среди сильно отраженного или рассеянного света — например, она может улавливать форму включенной лампочки и видеть сквозь дым — но также делает он чрезвычайно энергоэффективен. Такое сочетание функций может сделать эту технологию визуализации пригодной для многих приложений, включая медицинскую визуализацию, проверку блестящих частей и зондирование для роботов, используемых для исследования Луны и планет.
Его также можно легко встроить в смартфоны.Исследователи представят свои результаты сегодня на SIGGRAPH 2015, Международной конференции по компьютерной графике и интерактивным методам, в Лос-Анджелесе.Камеры глубины работают, проецируя узор из точек или линий на сцену.
В зависимости от того, как эти узоры деформируются или сколько времени требуется свету для отражения обратно в камеру, можно рассчитать трехмерные контуры сцены.Проблема в том, что в этих устройствах используются компактные проекторы, которые работают с низким энергопотреблением, поэтому их слабые узоры размываются и не обнаруживаются, когда камера улавливает окружающий свет от сцены. Но по мере того, как проектор сканирует сцену лазером, пятна, освещенные лазерным лучом, становятся ярче, хотя бы ненадолго, — отметил Кирос Кутулакос, профессор компьютерных наук в Университете штата Калифорния.
«Несмотря на то, что мы не посылаем огромное количество фотонов, в краткосрочных масштабах мы посылаем намного больше энергии в это место, чем энергия, посылаемая Солнцем», — сказал он. Хитрость заключается в том, чтобы иметь возможность записывать только свет от этого пятна по мере его освещения, а не пытаться выделить пятно из всей яркой сцены.В прототипе, использующем камеру со скользящим затвором, это достигается за счет синхронизации проектора, так что когда лазер сканирует определенную плоскость, камера принимает свет только с этой плоскости. В качестве альтернативы, если используется другое оборудование камеры, математическая структура, разработанная командой, может вычислять энергоэффективные коды, которые оптимизируют количество энергии, которое достигает камеры.
Помимо возможности использования устройств типа Kinect для игр на открытом воздухе в видеоигры, новый подход также может быть использован для получения медицинских изображений, таких как структуры кожи, которые в противном случае были бы затемнены, когда свет рассеивается при попадании на кожу. Точно так же система может видеть сквозь дым, несмотря на рассеяние света, которое обычно делает ее непроницаемой для камер.
Производители также могут использовать систему для поиска аномалий в блестящих или зеркальных компонентах.Уильям «Ред» Уиттакер, профессор робототехники в CMU, сказал, что система предлагает ряд преимуществ для внеземных роботов.
Он отметил, что поскольку камеры глубины активно освещают сцены, они подходят для использования в темноте, например, внутри кратеров. В полярных регионах Луны, где солнце всегда находится под низким углом, необходима система обзора, способная устранять блики.
«Маломощное зондирование очень важно», — сказал Уиттакер, отметив, что сенсоры робота расходуют относительно большое количество энергии, потому что они всегда включены. «Каждый ватт имеет значение в космической миссии». Нарасимхан сказал, что камеры глубины, которые могут работать на открытом воздухе, могут быть полезны в автомобильных приложениях, например, для поддержания расстояния между беспилотными автомобилями, которые «взводятся», следуя друг за другом с близкими интервалами.