幕后技术

Practice with piano accompaniment and a guide vocal that sings the solfege syllables with you. Mute the vocal to sight-sing on your own, then unmute to check your answers.

深度学习钢琴伴奏

拉杜欣的原谱为无伴奏的单声部(仅旋律)。本应用中的钢琴伴奏是借助BachBot制作的。

BachBot是剑桥大学的Feynman Liang开发的深度学习模型,使用LSTM(长短期记忆网络)对约350首巴赫众赞歌进行学习,自动生成巴赫风格的四声部和声。

将拉杜欣的全部旋律输入BachBot生成和声,然后由开发者手工重新编曲。有些曲目可以直接使用BachBot的输出,有些则需要大幅修改,但总体上约70%的伴奏以BachBot的和声为基础。

歌声合成

引导人声使用歌声合成技术生成。

主要使用的是名古屋工业大学开发的Sinsy。Sinsy是基于HMM(隐马尔可夫模型)的歌声合成技术,能够根据MusicXML格式的旋律和歌词输入合成歌声。它以开源形式(修改版BSD许可证)发布,特点是占用内存少。Sinsy的开发者后来创办了大学初创企业Techno-Speech公司,开发了商用歌声合成软件「CeVIO」。

部分曲目还使用了Dreamtonics公司开发的Synthesizer V。Synthesizer V是一款结合拼接合成与神经网络的歌声合成引擎,能够生成更加自然的歌声。