Чтобы составить карту от языка к музыке, исследователи проанализировали сотни музыкальных произведений, чтобы найти частые двигательные паттерны. «Мы должны были уважать переходы нот и аккорды, которые часто встречаются в музыке. Ни один пианист не может быстро сыграть диссонирующие аккорды или очень большие интервалы, поэтому нашему картированию пришлось их избегать», — сказала Анна Фейт, исследователь из Института информатики Макса Планка.Отображение оптимизировано для английского языка.
Поэтому исследователи проверили распределение букв и их последовательностей в английских текстах. Затем они разработали вычислительный подход, позволяющий обращаться к огромному количеству возможных отображений.
Существует более 1048 возможностей сопоставления 26 букв английского алфавита с 88 клавишами на клавиатуре фортепиано.«Наш подход гарантирует, что частые последовательности букв переводятся в мелодические структуры, которые хорошо известны и поэтому могут быть быстро воспроизведены пианистом», — сказал Фейт. Таким образом, частые пары букв, такие как «й» или «он», были переведены в третью или пятую часть — интервалы, которые очень хорошо практикуются каждым пианистом. Буква «е», которая чаще всего встречается в английском языке, была сопоставлена с разными нотами в разных октавах.
Кроме того, частые слоги и слова были сопоставлены с аккордами мажорной и минорной гаммы.Чтобы оценить, достаточно ли хороша получившаяся клавиатура для набора текста, компьютерные ученые сначала провели исследование с профессором фортепиано. Его попросили «воспроизвести предложения», которые были переведены в музыкальные произведения, показанные на листе. «Без предварительной практики он мог вводить текст с максимальной скоростью более 80 слов в минуту. Это соответствует производительности профессионального машинистки, использующей QWERTY-клавиатуру», — сказал Антти Уласвирта, старший научный сотрудник Института информатики Макса Планка.
Более того, исследователи научили пианиста-любителя генерировать текст, изучая присвоение слов и букв заметкам. После шести месяцев обучения она также смогла вводить предложения со скоростью до 80 слов в минуту — как профессиональный пианист, но без чтения нот. Теперь она может писать электронные письма и сообщения в Facebook быстрее, чем с помощью обычной клавиатуры, и в то же время она тренирует свои навыки игры на фортепиано.
В своем исследовании исследователи изучили вопрос, почему пианисты могут играть ноты на пианино в два раза быстрее, чем профессиональные секретари могут печатать буквы на клавиатуре. Поэтому они исследовали, какие факторы игры на фортепиано могут улучшить набор текста, в частности, как это делается на устройствах ввода, таких как так называемая клавиатура QWERTY.Анна Фейт и Антти Оуласвирта — исследователи из Института информатики Макса Планка.
Они проводят исследования в области взаимодействия человека с компьютером в Немецком кластере передового опыта «Мультимодальные вычисления и взаимодействие». Они исследуют, как музыка может сыграть полезную роль во взаимодействии человека и машины.
Более того, они хотят знать, как люди могут перенести приобретенные способности на новые методы и какой опыт они приобретают, используя новые вычислительные приложения.