ピアノ伴奏とガイドボーカル
ピアノ伴奏付きで練習でき、ガイドボーカルがドレミで一緒に歌ってくれます。ボーカルをミュートして視唱し、ミュート解除で答え合わせができます。
ディープラーニングによるピアノ伴奏
ラドゥーヒンの原譜は伴奏のない単旋律(メロディのみ)です。このアプリのピアノ伴奏は、BachBotを活用して作成しました。
BachBotは、ケンブリッジ大学のFeynman Liangが開発したディープラーニングモデルで、J.S.バッハのコラール(約350曲)をLSTM(長短期記憶ネットワーク)で学習し、バッハ風の四声体和声を自動生成します。
ラドゥーヒンの全メロディをBachBotに入力して和声を生成し、その出力を開発者が手作業で編曲し直しました。BachBotの出力がそのまま使える曲もあれば、大幅な修正が必要な曲もありましたが、全体の約7割でBachBotの和声がベースになっています。
歌声合成
ガイドボーカルは歌声合成技術を使用して生成しています。
主に使用しているのは名古屋工業大学で開発されたSinsyです。SinsyはHMM(隠れマルコフモデル)を採用した歌声合成技術で、MusicXML形式のメロディと歌詞を入力すると歌声を合成できます。オープンソース(修正BSDライセンス)で公開されており、少ないメモリでも動作するのが特徴です。なお、Sinsyの開発者らは後に大学発ベンチャーのテクノスピーチ社を立ち上げ、商用歌声合成ソフト「CeVIO」を開発しています。
一部の楽曲ではDreamtonics社が開発するSynthesizer Vも使用しています。Synthesizer Vは連結合成とニューラルネットワークを組み合わせた歌声合成エンジンで、より自然な歌声を生成できます。