Как это работает
Practice with piano accompaniment and a guide vocal that sings the solfege syllables with you. Mute the vocal to sight-sing on your own, then unmute to check your answers.
Фортепианный аккомпанемент с помощью глубокого обучения
Оригинальные партитуры Ладухина — одноголосные (только мелодия), без аккомпанемента. Партии фортепиано в этом приложении были созданы с помощью BachBot.
BachBot — это модель глубокого обучения, разработанная Фейнманом Ляном в Кембриджском университете. Она использует сети LSTM (Long Short-Term Memory), обученные на примерно 350 хоралах Баха, для автоматической генерации четырёхголосной гармонии в стиле Баха.
Все мелодии Ладухина были поданы на вход BachBot для генерации гармонизаций, а затем результат был вручную переаранжирован разработчиком. Некоторые произведения можно было использовать без изменений, другие требовали значительной переработки, но в целом около 70 % аккомпанементов основаны на гармонизациях BachBot.
Синтез голоса
Голосовой гид генерируется с помощью технологии синтеза певческого голоса.