基于变分自动编码器的跨语句语音合成方法、系统及设备

本发明提供一种基于变分自动编码器的跨语句语音合成方法、系统及设备，通过将跨语句信息与用以增强韵律的变分自动编码器有机结合，提出了基于变分自动编码器的跨语句语音合成系统，通过条件化声学特征、说话人信息和当前及周围语句中获得的文本特征，来估计每个音素潜在韵律特征的后验概率分布；该系统包括跨语句表征模块和韵律增强模块，通过使用多头注意力层生成音素级别的跨语句表征，并将跨语句表征模块的输出作为韵律增强模块的特定语句的先验条件，以改进标准变分自动编码器。本申请不仅提升了合成语音的自然度，改善了合成语音的韵律变化，同时解决了推理时系统所采样的标准高斯先验和语音的真实先验之间不一致的问题。
上海科技大学
李阳 | 郁程 | 孙芳蕾 | 田政 | 汪军 | 张超 | 孙广智 | 蒋桦