ピアノ伴奏とガイドボーカル
ピアノ伴奏付きで練習でき、ガイドボーカルがドレミで一緒に歌ってくれます。ボーカルをミュートして視唱し、ミュート解除で答え合わせができます。
ディープラーニングによるピアノ伴奏
ラドゥーヒンの原譜は伴奏のない単旋律(メロディのみ)です。このアプリのピアノ伴奏は、BachBotを活用して作成しました。
BachBotは、ケンブリッジ大学のFeynman Liangが開発したディープラーニングモデルで、J.S.バッハのコラール(約350曲)をLSTM(長短期記憶ネットワーク)で学習し、バッハ風の四声体和声を自動生成します。
ラドゥーヒンの全メロディをBachBotに入力して和声を生成し、その出力を開発者が手作業で編曲し直しました。BachBotの出力がそのまま使える曲もあれば、大幅な修正が必要な曲もありましたが、全体の約7割でBachBotの和声がベースになっています。
歌声合成
ガイドボーカルは歌声合成技術を使用して生成しています。