«Многие люди любят петь, но им не хватает навыков для этого», — говорит Минхуэй Донг, руководитель проекта Института исследований инфокоммуникаций A * STAR (I2R). «Мы хотим использовать нашу технологию, чтобы помочь среднему человеку хорошо петь».Речь состоит из трех основных элементов: содержания, просодии и тембра.
Контент передается с помощью слов; просодия, или мелодия в случае пения, выражается через ритм и высоту звука; а тембр — это отличительное качество, которое отличает звук банджо от звука трубы, а голос одного певца — от голоса другого. I2R Speech2Singing работает путем полировки мелодии с сохранением исходного содержания и тембра звука.Существующие технологии, ориентированные на исправление мелодии, пытаются выровнять звуки, не соответствующие мелодии, по ближайшей ноте музыкальной шкалы или к точной ноте в исходной партитуре.
Первый хорошо подходит для профессиональных певцов, которые могут лишь немного расстроиться, но не могут исправить тех, кто поет резко не в тональности или просто читает вслух. Последний лучше исправляет диссонирующие мелодии, но игнорирует многие другие аспекты мелодии, такие как вибрато и растяжение гласных.I2R Speech2Singing использует записи профессиональных певцов в качестве шаблонов для корректировки мелодии певческого голоса или преобразования говорящего голоса в певческий.
Программное обеспечение определяет синхронизацию каждого фонетического звука с помощью технологии распознавания речи, а затем растягивает или сжимает продолжительность сигнала с помощью технологии преобразования голоса, чтобы соответствовать ритму профессионального певца. Затем синтезатор речи объединяет скорректированный по времени голос с данными высоты тона и фоновой музыкой для создания красивого соло.«Когда мы сравнили результат с другими доступными в настоящее время приложениями, мы поняли, что наше программное обеспечение обеспечивает гораздо лучшее качество голоса», — говорит д-р Донг.
Впервые сингапурцы познакомились с этим программным обеспечением в 2013 году через приложение «Sing for Singapore», которое является частью официального мобильного приложения Национального праздника Parade 2013. А в 2014 году I2R Speech2Singing получил награду за лучшее шоу.
Расскажите о своем выступлении на INTERSPEECH, крупной международной площадке для исследований в области науки и технологий речевой коммуникации.Доктор Донг и его команда сейчас разрабатывают решение для быстрого добавления песен в программное обеспечение, чтобы можно было легко создавать крупномасштабные базы данных песен.