En coulisses

Practice with piano accompaniment and a guide vocal that sings the solfege syllables with you. Mute the vocal to sight-sing on your own, then unmute to check your answers.

Les partitions originales de Ladoukhine sont monodiques (mélodie seule), sans accompagnement. Les parties de piano de cette application ont été créées à l'aide de BachBot.

BachBot est un modèle d'apprentissage profond développé par Feynman Liang à l'Université de Cambridge. Il utilise des réseaux LSTM (Long Short-Term Memory) entraînés sur environ 350 chorals de Bach pour générer automatiquement une harmonisation à quatre voix dans le style de Bach.

Toutes les mélodies de Ladoukhine ont été soumises à BachBot pour générer des harmonisations, puis la sortie a été réarrangée manuellement par le développeur. Certaines pièces étaient utilisables telles quelles, d'autres nécessitaient des modifications importantes, mais dans l'ensemble, environ 70 % des accompagnements sont basés sur les harmonisations de BachBot.

Les voix guides sont générées à l'aide de la technologie de synthèse vocale chantée.

Le système principal utilisé est Sinsy, développé à l'Institut de technologie de Nagoya. Sinsy est une technologie de synthèse vocale chantée basée sur les HMM (modèles de Markov cachés) qui peut synthétiser des voix chantées à partir de mélodies et de paroles au format MusicXML. Il est publié en open source (licence BSD modifiée) et fonctionne avec peu de mémoire. Les développeurs de Sinsy ont ensuite fondé Techno-Speech, Inc. et développé le logiciel commercial de synthèse vocale « CeVIO ».

Certains morceaux utilisent également Synthesizer V, développé par Dreamtonics Co., Ltd. Synthesizer V est un moteur de synthèse vocale chantée combinant synthèse concaténative et réseaux neuronaux pour produire des voix plus naturelles.