接上文【NLP】Transformer模型原理(1)

六、零层的transformer

观看涵盖与本节类似内容的视频:0 层理论

在进入更复杂的模型之前,简要考虑一下“零层”变压器很有用。这样的模型获取一个令牌,嵌入它,解嵌它以生成预测下一个令牌的对数: