李宏毅语音课程-RNN-T模型

发布时间 2023-05-29 17:19:52作者: wieneralan

rnn-t decoder:给一个输入h,输出多个字符 直到输出空字符Φ。接着输入下一个MCCC特征

实际会在输出字符的后面会 加一个 RNN(最上面的蓝色块)。把原来的RNN剔除(中间黄色块)。

原因:1. 增加的RNN相当于一个语言模型LM,可以提前从text中训练。2. 方便RNN-T的训练。

 

 训练时:穷举所有alignment