Эскизы пары обуви или предмета мебели, например, рисуются непосредственно от руки на сенсорном экране и распознаются с помощью сложной системы поиска изображений, в которой точность поиска первой десятки близка к 100% для некоторых категорий объектов, так что он всегда отображает желаемый продукт на первой странице.«Что замечательно в нашей системе, так это то, что пользователю не обязательно быть художником, чтобы эскиз был точным, но он может извлекать изображения более точно, чем текст», — сказал со-разработчик д-р Йи-Чжэ Сонг. Директор исследовательской лаборатории SketchX Школы электронной инженерии и информатики QMUL.
Он продолжил: «С распространением сенсорных экранов делать наброски стало намного проще, и в некоторых отношениях оно действительно предпочтительнее, чем поиск по тексту или фотографиям».Поиск изображений на основе мелкозернистых эскизов (SBIR) устраняет проблемы с использованием слов для описания визуальных объектов словами, особенно при работе с точными деталями, а также с использованием фотографий, которые могут слишком сильно ограничить поиск.Со-разработчик д-р Тимоти Хоспедалес и директор лаборатории прикладного машинного обучения из Школы электронной инженерии и информатики QMUL сказал: «Впервые пользователям представлена система, которая может выполнять детальный поиск изображений — это прыжок вперед открывает коммерческую адаптацию поиска изображений для компаний.
«Текущие возможности поиска изображений, предоставляемые интернет-магазинами, выполняют поиск только на уровне категорий, поэтому для покупателей поиск идеального товара по-прежнему является утомительным« просмотром ». Теперь вы можете просто набросать мысленный образ своего идеального продукта и сразу перейти к нему. .Компьютерная программная система предназначена для имитации обработки человеческого мозга с помощью массивов смоделированных нейронов. Его обучили сопоставлять эскизы с фотографиями на основе примерно 30 000 сравнений эскиза с фотографиями, научились интерпретировать важные детали фотографий и то, как люди пытаются изобразить их от руки.Команда исследователей работала с Queen Mary Innovation в течение последнего года и уже выявила коммерческий интерес со стороны нескольких крупных розничных продавцов, а также потенциальных инвесторов.
Исследование было принято на Международной конференции по компьютерному зрению и распознаванию образов (CVPR) и будет представлено в конце июня.
