Но Ханспетер Пфистер и Тодд Зиклер, факультет информатики Гарвардской школы инженерии и прикладных наук (SEAS), работают над сокращением разрыва между «виртуальным» и «реальным», задавая общий вопрос: как мы видим то, что видим. ?Вместе с ними Пфистер и Циклер представляют три доклада на этой неделе на SIGGRAPH 2013, 40-й Международной конференции и выставке компьютерной графики и интерактивных технологий.Реалистичное мыло
Один проект, возглавляемый Зиклером, профессором электротехники и компьютерных наук Уильяма и Ами Куан Данофф, пытается найти лучшие способы имитировать внешний вид полупрозрачного объекта, такого как кусок мыла. В документе разъясняется, как люди воспринимают и распознают реальные объекты и как программное обеспечение может использовать детали этого процесса, чтобы сделать изображения, визуализированные на компьютере, максимально реалистичными.«Если я кладу перед вами кусок масла и кусок сыра, и они одного цвета, и вы ищете что-нибудь, чтобы положить на свой хлеб, вы знаете, что есть что», — говорит Зиклер. «Вопрос в том, откуда вы это знаете? Что на изображении говорит вам о материале?»
Он надеется, что в конечном итоге он сможет понять эти свойства достаточно хорошо, чтобы дать компьютеру команду с камерой определить, из какого материала сделан объект, и знать, как правильно с ним обращаться — сколько он весит или какое давление безопасно к нему приложить. — так, как это делают люди.Новый подход фокусируется на фазовой функции полупрозрачных материалов, части математического описания того, как свет преломляется или отражается внутри объекта, и, следовательно, как мы видим то, что видим.
Раньше считалось, что форма фазовой функции имеет отношение к полупрозрачному внешнему виду объекта, но формальные исследования восприятия никогда не проводились. Это связано с тем, что пространство различных фазовых функций настолько обширно и разнообразно в восприятии человеческого мозга, что для создания и анализа такого количества различных изображений потребовались современные вычислительные инструменты.Команда Циклера воспользовалась преимуществами возросшей вычислительной мощности, чтобы сократить потенциальное пространство изображений до приемлемого размера.
Сначала они визуализировали тысячи компьютерных изображений одного объекта с различными фазовыми функциями, смоделированными компьютером, поэтому полупрозрачность каждого изображения немного отличалась от другого. Оттуда программа сравнила цвета и яркость пикселей каждого изображения с другим изображением в пространстве и решила, насколько эти два изображения отличаются. Благодаря этому процессу программное обеспечение создало карту пространства фазовых функций в соответствии с относительными различиями пар изображений, что позволило исследователям легко идентифицировать гораздо меньший набор изображений и фазовых функций, которые представляли все пространство.
Наконец, исследователи попросили людей сравнить эти репрезентативные изображения и оценить, насколько они похожи или различны, пролив свет на свойства, которые помогают нам решить, какие объекты являются пластиковыми, а какие — мыльными, просто взглянув на них.«Это исследование, направленное на понимание пространства появления фазовых функций, является верхушкой айсберга для создания систем компьютерного зрения, способных распознавать материалы», — говорит Зиклер. Следующим шагом в этом исследовании будет поиск способов точного измерения фазовых функций материала, а не их вычисление, и команда Циклера уже добивается прогресса в этом, создав новую систему, которая будет представлена на выставке SIGGRAPH Asia в декабре.
Соавторами Циклера были Иоаннис Гкиулекас, аспирант Гарвардского университета SEAS; Бэй Сяо и Эдвард Х. Адельсон из Массачусетского технологического института; и Шуанг Чжао и Кавита Бала из Корнельского университета.Адаптивные дисплеи
Второе исследование с участием Циклера посвящено новому типу экранного оборудования, которое отображает разные изображения при освещении или просмотре с разных сторон.Создавая крошечные бороздки разной глубины на поверхности экрана, команда Циклера создала эффекты оптической интерференции, которые заставляют тонкую поверхность выглядеть по-разному при освещении или просмотре под разными углами.В документе по существу спрашивается: «Если я знаю, какой внешний вид я хочу, чтобы экран имел, как мне оптимизировать геометрическую структуру, чтобы получить это?» Циклер объясняет.
В решении используются математические функции (называемые функциями распределения двунаправленной отражательной способности), которые показывают, как свет, исходящий из определенного направления, будет отражаться от поверхности.Предыдущие попытки управлять отражением поверхности для графических приложений были выполнены только для поверхностей, отображающих огромные изображения, которые, например, имеют пиксели размером в квадратный дюйм, потому что их анализ не учитывал эффекты интерференции. Однако работа Циклера демонстрирует, что эффекты интерференции можно использовать для управления отражением от экрана в микронном масштабе с помощью хорошо известных фотолитографических методов.
В будущем такая оптимизация может обеспечить возможность отображения многовидовых, чувствительных к освещению дисплеев, на которых зритель, вращающийся вокруг плоской поверхности, может воспринимать трехмерный объект, глядя на поверхность под разными углами, и где виртуальный объект будет правильно реагируют на внешнее освещение.«Смотреть на такой дисплей — все равно что смотреть в окно», — говорит Зиклер.К работе с ним присоединился Инь Сюн, аспирант Гарвардского университета SEAS; Анат Левин и Даниэль Глазнер из Института науки Вейцмана; и Фредо Дюран, Уильям Фриман и Войцех Матусик из Массачусетского технологического института.Яркий цвет
Третья статья, возглавляемая Ханспетером Пфистером, профессором компьютерных наук Ан Вангом, касалась проблемы редактирования цифровых фильмов. (Видео: http://youtu.be/cYbDJ4NR6WY)Цветовая коррекция — редактирование видео для наложения определенной цветовой палитры — исторически было кропотливым, ручным процессом, требующим многочасовой работы квалифицированных художников. Поэтому кинематографисты-любители не могут получить характерно богатую цветовую палитру профессиональных фильмов.
«Первоначальная идея заключалась в том, чтобы обратиться к широкой аудитории, такой как миллионы людей на YouTube», — говорит ведущий автор Николя Боннил, научный сотрудник группы Пфистера в SEAS.Команда Пфистера надеется, что покадровое редактирование станет ненужным, создав программное обеспечение, которое позволяет пользователям просто выбирать, гипотетически, образ Амели или образ Трансформеров.
Затем компьютер применил бы эту цветовую палитру к видео пользователя через несколько репрезентативных кадров. Пользователь должен только указать, где находятся передний план и фон в каждом кадре, а программное обеспечение сделает все остальное, интерполируя преобразования цвета по всему видео.Боннил считает, что новый метод цветокоррекции может быть включен в коммерчески доступное программное обеспечение для редактирования в течение следующих нескольких лет.
К этой статье Пфистеру и Боннелю присоединились Калян Сункавалли и Сильвен Пэрис из Adobe Systems, Inc.