«Мы стремимся создать системы компьютерного зрения, которые помогут компьютерам лучше понимать окружающий мир», — сказал Нуно Васконселос, профессор электротехники инженерной школы Калифорнийского университета в Сан-Диего Джейкобс, руководивший исследованием. По его словам, большой целью является видение в реальном времени, особенно для систем обнаружения пешеходов в беспилотных автомобилях. Васконселос является филиалом факультета Центра визуальных вычислений и Института контекстной робототехники в Калифорнийском университете в Сан-Диего.Новый алгоритм обнаружения пешеходов, разработанный Васконселосом и его командой, сочетает традиционную архитектуру классификации компьютерного зрения, известную как каскадное обнаружение, с моделями глубокого обучения.
Системы обнаружения пешеходов обычно разбивают изображение на небольшие окна, которые обрабатываются классификатором, сигнализирующим о присутствии или отсутствии пешехода. Этот подход сложен, потому что пешеходы появляются в разных размерах — в зависимости от расстояния до камеры — и мест на изображении. Обычно миллионы окон должны проверяться видеокадром со скоростью от 5 до 30 кадров в секунду.При каскадном обнаружении детектор работает в несколько этапов.
На первых этапах алгоритм быстро определяет и отбрасывает окна, которые он может легко распознать как не содержащие человека (например, небо). На следующих этапах обрабатываются окна, которые сложнее классифицировать алгоритму, например те, которые содержат дерево, которое алгоритм может распознать как имеющие человекоподобные особенности (форма, цвет, контуры и т. Д.). На заключительных этапах алгоритм должен различать пешехода и очень похожие объекты.
Однако, поскольку на заключительных этапах обрабатывается только несколько окон, общая сложность невысока.Традиционное каскадное обнаружение полагается на «слабых учеников», которые являются простыми классификаторами, для выполнения работы на каждом этапе. На первых этапах используется небольшое количество слабых учеников, чтобы отклонить простые окна, в то время как на более поздних этапах используется большее количество слабых учеников для обработки более сложных окон. Несмотря на то, что этот метод работает быстро, он недостаточно эффективен, когда достигает финальных стадий.
Это потому, что слабые ученики, используемые на всех этапах каскада, идентичны. Таким образом, даже несмотря на то, что на последних этапах есть больше классификаторов, они не обязательно способны выполнять очень сложную классификацию.Модели глубокого обученияЧтобы решить эту проблему, Васконселос и его команда разработали новый алгоритм, который включает модели глубокого обучения на последних этапах каскадного детектора.
Модели глубокого обучения лучше подходят для распознавания сложных образов, которое они могут выполнять после обучения с использованием сотен или тысяч примеров — в данном случае изображений, на которых либо есть человек, либо нет. Однако модели глубокого обучения слишком сложны для реализации в реальном времени.
Хотя они хорошо работают на заключительных этапах каскада, они слишком сложны, чтобы их можно было использовать на ранних этапах.Решение представляет собой новую каскадную архитектуру, которая объединяет классификаторы из разных семейств: простые классификаторы (слабые обучающиеся) на ранних этапах сложные классификаторы (модели глубокого обучения) на более поздних этапах. По словам Васконселоса, выполнить это нетривиально, поскольку алгоритм, используемый для изучения каскада, должен находить комбинацию слабых обучающихся, которая обеспечивает оптимальный компромисс между точностью обнаружения и сложностью для каждой стадии каскада.
Соответственно, Васконселос и его команда представили новую математическую формулировку этой проблемы, которая привела к новому алгоритму каскадного проектирования.«Ни один из предыдущих алгоритмов не был способен оптимизировать компромисс между точностью обнаружения и скоростью для каскадов со стадиями такой разной сложности. Фактически, это первые каскады, включающие стадии глубокого обучения. Результаты, которые мы получаем с этим "Новый алгоритм существенно лучше для точного обнаружения пешеходов в реальном времени", — сказал Васконселос.
В настоящее время алгоритм работает только для задач двоичного обнаружения, таких как обнаружение пешеходов, но исследователи стремятся расширить каскадную технологию для одновременного обнаружения множества объектов.«Один из подходов к этой проблеме — обучить, например, пять разных детекторов распознавать пять разных объектов.
Но мы хотим обучить этому только один детектор. Следующая задача — разработка этого алгоритма», — сказал Васконселос.