Как это работает

Practice with piano accompaniment and a guide vocal that sings the solfege syllables with you. Mute the vocal to sight-sing on your own, then unmute to check your answers.

Оригинальные партитуры Ладухина — одноголосные (только мелодия), без аккомпанемента. Партии фортепиано в этом приложении были созданы с помощью BachBot.

BachBot — это модель глубокого обучения, разработанная Фейнманом Ляном в Кембриджском университете. Она использует сети LSTM (Long Short-Term Memory), обученные на примерно 350 хоралах Баха, для автоматической генерации четырёхголосной гармонии в стиле Баха.

Все мелодии Ладухина были поданы на вход BachBot для генерации гармонизаций, а затем результат был вручную переаранжирован разработчиком. Некоторые произведения можно было использовать без изменений, другие требовали значительной переработки, но в целом около 70 % аккомпанементов основаны на гармонизациях BachBot.

Голосовой гид генерируется с помощью технологии синтеза певческого голоса.

Основная используемая система — Sinsy, разработанная в Нагойском технологическом институте. Sinsy — технология синтеза певческого голоса на основе HMM (скрытых марковских моделей), которая синтезирует пение из мелодии и текста в формате MusicXML. Система выпущена как открытое ПО (модифицированная лицензия BSD) и работает с минимальным объёмом памяти. Разработчики Sinsy позднее основали университетский стартап Techno-Speech, Inc. и создали коммерческое ПО для синтеза пения «CeVIO».

В некоторых композициях также используется Synthesizer V от Dreamtonics Co., Ltd. Synthesizer V — это движок синтеза певческого голоса, сочетающий конкатенативный синтез с нейронными сетями для создания более естественного звучания.