HuggingFace
- 镜像网站
- 模型库
NLP中的自回归模型和自编码模型
- 自回归：根据上文内容预测下一个可能的单词，或者根据下文预测上一个可能的单词。只能利用上文或者下文的信息，不能同时利用上文和下文的信息。
- 自编码：对输入的句子随机Mask其中的单词，然后预训练过程的主要任务之一是根据上下文单词来预测这些被Mask掉的单词。同时根据上下文预测单词。
- Sequence-to-Sequence：是encoder和decoder的结合。
安装环境
视频
BERT架构
- 输入的修改
- 预训练任务1
- 预测任务2
- 总结
李沐课程