文本#
- 使用视觉注意力生成图像描述
- 基于注意力的神经机器翻译
- 使用 RNN 进行文本分类
- 循环神经网络(RNN)文本生成
- 理解语言的 Transformer 模型
- 设置输入流水线(input pipeline)
- 位置编码(Positional encoding)
- 遮挡(Masking)
- 按比缩放的点积注意力(Scaled dot product attention)
- 多头注意力(Multi-head attention)
- 点式前馈网络(Point wise feed forward network)
- 编码与解码(Encoder and decoder)
- 创建 Transformer
- 配置超参数(hyperparameters)
- 优化器(Optimizer)
- 损失函数与指标(Loss and metrics)
- 训练与检查点(Training and checkpointing)
- 评估(Evaluate)
- 总结
- Warm-start embedding layer matrix
- word2vec
- 单词嵌入向量