Несколько лет назад группа диетологов из Университета Тафтса, которые экспериментировали с приложениями для мобильных телефонов для регистрации потребления калорий, обратилась к членам группы Speken Language Systems Group в Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) с идеей создания устное приложение, которое сделает запись еды еще проще.На этой неделе на Международной конференции по акустике, обработке речи и сигналов в Шанхае исследователи Массачусетского технологического института представляют веб-прототип своей системы регистрации питания, управляемой речью.С его помощью пользователь устно описывает содержимое еды, а система анализирует описание и автоматически извлекает соответствующие данные о питании из онлайн-базы данных, поддерживаемой Министерством сельского хозяйства США (USDA).
Данные отображаются вместе с изображениями соответствующих продуктов и раскрывающимися меню, которые позволяют пользователю уточнить их описания — например, выбрать точное количество продуктов. Но эти уточнения также могут быть сделаны устно. Пользователь, который начинает со слов: «На завтрак у меня была миска овсянки, бананы и стакан апельсинового сока», может затем внести поправку «Я ел половину банана», и система обновит отображаемые данные. насчет бананов, оставив остальное без изменений.«Что [диетологи Тафтса] испытали, так это то, что приложения, которые были там, чтобы помочь людям попытаться записать блюда, были немного утомительными, и поэтому люди не успевали за ними», — говорит Джеймс Гласс, старший исследователь. научный сотрудник CSAIL, возглавляющий группу систем разговорной речи. «Поэтому они искали способы, которые были бы точными и легкими для ввода информации».
Первым автором новой статьи является Мэнди Корпусик, аспирантка Массачусетского технологического института в области электротехники и информатики. К ней присоединился Гласс, ее научный руководитель; ее сокурсник Майкл Прайс; и Кэлвин Хуанг, студент-исследователь из группы Гласса.
Контекстная чувствительностьВ статье исследователи сообщают о результатах экспериментов с системой распознавания речи, которую они разработали специально для обработки терминологии, связанной с едой. Но это не было основным направлением их работы; действительно, в онлайн-демонстрации их системы регистрации приема пищи вместо этого используется бесплатное приложение Google для распознавания речи.
Их исследования были сосредоточены на двух других проблемах. Один из них — определение функциональной роли слов: система должна распознать, что если пользователь записывает фразу «миска с овсянкой», информация о питательной ценности овсянки уместна, но если фраза «овсяное печенье», это не так.Другая проблема заключается в согласовании фраз пользователя с записями в базе данных USDA. Например, данные Министерства сельского хозяйства США по овсяным хлопьям записываются под заголовком «овес»; слово «овсянка» нигде в записи не встречается.
Для решения первой проблемы исследователи использовали машинное обучение. Через краудсорсинговую платформу Amazon Mechanical Turk они нанимали сотрудников, которые просто описывали то, что они ели во время недавних обедов, а затем помечали соответствующие слова в описании как названия продуктов, количества, торговые марки или модификаторы названий продуктов. В «миске овсянки» «миска» — это количество, а «овсянка» — это еда, но в «овсяном печенье» овсянка является модификатором.
После того, как у них было примерно 10 000 описаний блюд с этикетками, исследователи использовали алгоритмы машинного обучения, чтобы найти закономерности в синтаксических отношениях между словами, которые позволили бы определить их функциональные роли.Семантическое соответствиеДля перевода описаний пользователей и этикеток в базе данных USDA исследователи использовали базу данных с открытым исходным кодом под названием Freebase, в которой есть записи о более чем 8000 общих пищевых продуктах, многие из которых содержат синонимы.
Там, где не хватало синонимов, они снова нанимали рабочих-механиков, чтобы их снабжать.Версия системы, представленная на конференции, предназначена главным образом для демонстрации жизнеспособности ее подхода к обработке естественного языка; он сообщает количество калорий, но еще не суммирует их автоматически.
Однако над версией, которая работает, исследователи Тафтс планируют провести исследование пользователей, чтобы определить, действительно ли она облегчает ведение журнала питания.