ai_pytorch_transformer

###基本概念 self-attention最经典的公式 q：query，用来匹配其他单元 k：key，用来被其他单元匹配 v：value，需要被提取的信息 位置编码positon 绝对位置信息：每个词的embedding向量内部顺序 相对位置信息：每个词和每个词之间的顺序（作用于自注意力机制） 目 ......