«Одним из интригующих аспектов статьи является способность восстанавливать произнесенные слова из видеозаписи объектов в комнате», — сказал младший редактор журнала Райнер Эшбах, научный сотрудник Xerox Corp. "В документе показано, что звук создает мельчайшие вибрации в объектах, и что эти колебания — при наличии подходящего оборудования — могут быть уловлены с помощью видеосигнала. Это интересный набег на новую область применения и, на мой взгляд, вызовет интересные исследования в этой области "
Статья «Извлечение звука из беззвучного высокоскоростного видео с использованием оптической техники» была написана Чжаоян Ван, Хиеу Нгуен и Джейсоном Куисбертом из инженерного факультета Католического университета Америки и доступна в цифровой библиотеке SPIE.
Этот метод основан на том факте, что звуковые волны — это механические волны, которые заставляют воздух вибрировать во время путешествия, говорится в документе. Эта вибрация через воздух может вызывать вибрацию объектов, находящихся на его пути движения, особенно если объекты легкие, тонкие и гибкие, например лист бумаги.
Вибрации, хотя обычно с небольшими амплитудами, могут быть обнаружены и проанализированы алгоритмически, а звук восстановлен на основе этих расчетов.
Авторы использовали подход корреляции изображений на основе подмножеств для обнаружения движений точек на поверхности объекта, захвата целевых изображений с помощью высокоскоростной камеры и применения алгоритма Гаусса-Ньютона и некоторых других мер для достижения очень быстрого и высокоточное сопоставление изображений.
Поскольку обнаруженные вибрации напрямую связаны со звуковыми волнами, была использована простая модель для восстановления исходной звуковой информации звуковых волн.
В то время как другие недавние работы в этой области сообщают о более сложных методах вычисления сигналов движения, авторы выбрали более простой подход сопоставления изображений для измерения вибрации. По словам Ванга, поскольку свет может проходить через воздух значительно дальше звука и может проходить через стекло, они ожидают, что этот метод может найти применение, например, для пассивного обнаружения разговоров внутри здания на большом расстоянии. "В настоящее время мы совершенствуем методику, чтобы повысить ее точность и чувствительность, проводить измерения в режиме реального времени и устранять помехи от других источников."