TensorFlow 指南

TensorFlow 指南#

TensorFlow 基础知识
- 张量
- 变量
- 自动微分
- 图和 tf.function装饰器
- 模块、层和模型
- 训练循环
Eager Execution
- 设置和基本用法
- 动态控制流
- Eager 训练
- 自动微分高级主题
  - 动态模型
  - 自定义梯度
- 性能
  - 基准
- 使用函数
张量简介
- 基础知识
- 形状简介
- 索引编制
  - 单轴索引编制
  - 多轴索引编制
- 操作形状
- DTypes 详解
- 广播
- tf.convert_to_tensor
- 不规则张量
- 字符串张量
- 稀疏张量
变量简介
- 设置
- 创建变量
- 生命周期、命名和监视
- 放置变量和张量
- 后续步骤
梯度和自动微分简介
- 自动微分和梯度
- 设置
- 计算梯度
- 梯度带
- 相对于模型的梯度
- 控制梯度带监视的内容
- 中间结果
- 性能说明
- 非标量目标的梯度
- 控制流
- gradient 返回 None 的情况
- 未注册梯度
- 零而不是 None
计算图和 tf.function 简介
- 概述
  - 什么是计算图？
  - 计算图的优点
- 安装
- 利用计算图
  - 将 Python 函数转换为计算图
  - 多态性：一个 Function，多个计算图
- 使用 tf.function
- 见证加速
  - 性能和权衡
- Function 何时进行跟踪？
- 后续步骤
模块、层和模型简介
- 设置
- TensorFlow 模块
- Keras 模型和层
后续步骤
基本训练循环
- 创建
- 解决机器学习问题
- 数据
- 定义模型
  - 定义损失函数
  - 定义训练循环
- 使用Keras完成相同的解决方案
- 下一步
高级自动微分
- 设置
- 控制梯度记录
  - 停止记录
  - 重置/从头开始纪录
- 精确停止梯度流
- 自定义梯度
  - SavedModel 中的自定义梯度
- 多个条带
  - 高阶梯度
    - 示例：输入梯度正则化
- 雅可比矩阵
不规则张量
- 设置
- 概述
- 示例用例
- 不规则维度和均匀维度
- 不规则张量和稀疏张量对比
- TensorFlow API
- 重载运算符
- 索引
  - 索引示例：二维不规则张量
  - 索引示例：三维不规则张量
- 张量类型转换
- 评估不规则张量
- 不规则形状
- RaggedTensor 编码
使用稀疏张量
- TensorFlow 中的稀疏张量
- 创建 tf.sparse.SparseTensor
- 操纵稀疏张量
- 将 tf.sparse.SparseTensor 与其他 TensorFlow API 一起使用
- 区分缺失值和零值
- 补充阅读和资源
TensorFlow 上的 NumPy API
- 概述
- 安装
  - 启用 NumPy 行为
- TensorFlow NumPy ND 数组
- TensorFlow NumPy 和 NumPy
- TF NumPy 和 TensorFlow
- 性能比较
- 延伸阅读
张量切片简介
- 安装
- 提取张量切片
- 将数据插入张量
- 补充阅读和资源
tensorflow.keras 指南
- 编写自己的回调函数
- 通过子类化创建新的层和模型
- 自定义 Model.fit 的内容
- 函数式 API
- Keras 中的遮盖和填充
- 使用预处理层
- Keras 中的循环神经网络 (RNN)
- 保存和加载 Keras 模型
- 序贯模型
- 使用内置方法进行训练和评估
- 迁移学习和微调
- 从头编写训练循环
自定义
- 创建运算
- 生成随机数
TensorFlow 核心
- 使用 Core API 和 DTensor 进行分布式训练
- 使用 Core API 进行二元分类的逻辑回归
- 使用 Core API 进行矩阵逼近
- 使用 Core API 进行数字识别的多层感知器
- 使用 Core API 构建优化器
- TensorFlow Core API 快速入门
保存模型
- 训练检查点
- 使用 SavedModel 格式
加速器
- 使用 TensorFlow 进行分布式训练
- 使用 GPU
- 使用 TPU
性能
- 使用 tf.function 时提升性能
- 使用 TensorFlow Profiler 优化 TensorFlow GPU 性能
- 使用 Grappler 优化 TensorFlow 计算图
- 混合精度
- 使用 Profiler 优化 TensorFlow 性能
迁移到 TF2
- 迁移示例：预设 Estimator
  - 安装
  - 示例 1：从 LinearEstimator 迁移
    - TensorFlow 1：使用 LinearEstimator
    - TensorFlow 2：使用 Keras LinearModel
  - 示例 2：从 DNNEstimator 迁移
    - TensorFlow 1：使用 DNNEstimator
    - TensorFlow 2：使用 Keras 创建自定义 DNN 模型
  - 示例 3：从 DNNLinearCombinedEstimator 迁移
    - TensorFlow 1：使用 DNNLinearCombinedEstimator
    - TensorFlow 2：使用 Keras WideDeepModel
  - 示例 4：从 BoostedTreesEstimator 迁移
    - TensorFlow 1：使用 BoostedTreesEstimator
    - TensorFlow 2：使用 TensorFlow Decision Forests
- 迁移检查点保存
  - 安装
  - TensorFlow 1：使用 tf.estimator API 保存检查点
  - TensorFlow 2：使用 Model.fit 的 Keras 回调保存检查点
  - 后续步骤
- 迁移提前停止
  - 安装
  - TensorFlow 1：使用提前停止钩子和 tf.estimator 提前停止
    - TensorFlow 2：使用内置回调和 Model.fit 提前停止
    - TensorFlow 2：使用自定义回调和 Model.fit 提前停止
  - TensorFlow 2：使用自定义训练循环提前停止
  - 后续步骤
- 迁移评估
  - 安装
  - TensorFlow 1：使用 tf.estimator.train_and_evaluate 进行评估
  - TensorFlow 2：评估 Keras 模型
  - 后续步骤
- 迁移容错机制
  - 安装
  - TensorFlow 1：使用 tf.estimator.RunConfig 保存检查点
  - TensorFlow 2：使用回调和 Model.fit 备份和恢复
  - TensorFlow 2：使用自定义训练循环编写手动检查点
  - 后续步骤
- 将 LoggingTensorHook 和 StopAtStepHook 迁移到 Keras 回调
  - 安装
  - TensorFlow 1：使用 tf.estimator API 记录张量和停止训练
  - TensorFlow 2：使用自定义回调和 Model.fit 记录张量和停止训练
  - 后续步骤
- 迁移指标和优化器
  - 安装
  - TF1：具有 Estimator 的 tf.compat.v1.metrics
  - TF2：具有 tf.keras.Model 的 Keras Metrics API
  - 将 TF1.x 优化器迁移到 Keras 优化器
- TF1.x -> TF2 迁移概述
  - TF2 迁移过程
  - 运行符号转换脚本
  - 移除 tf.contrib 的用法
  - 让 TF1.x 模型前向传递在启用 TF2 行为的情况下运行
  - 升级训练、评估和导入/导出代码
  - （可选）迁移 tf.compat.v1 符号
  - 资源和延伸阅读
- 迁移模型检查点
  - 概述
  - 安装
  - 从 TF1 到 TF2 的变化
  - 如何在模型迁移期间保持检查点兼容性
  - Estimator 中的 TF2 检查点
  - 检查点 Keras
  - 代码段
  - 检查点转换
    - 将 TF1 检查点转换为 TF2
    - 将 TF2 检查点转换为 TF1
  - 相关指南
- 从 Estimator 迁移到 Keras API
  - 安装
  - TensorFlow 1：使用 tf.estimator.Estimator 进行训练和评估
  - TensorFlow 2：使用内置 Keras 方法进行训练和评估
  - TensorFlow 2：使用自定义训练步骤和内置 Keras 方法进行训练和评估
  - 后续步骤
- 将 tf.feature_column 迁移到 Keras 预处理层
  - 输入处理
  - 独热编码整数 ID
  - 归一化数字特征
  - 对数字特征进行分桶和独热编码
  - 使用词汇表对字符串数据进行独热编码
  - 使用词汇表嵌入字符串数据
  - 对加权分类数据求和
  - 嵌入加权分类数据
  - 完整的训练示例
    - 使用特征列
    - 使用 Keras 预处理层
  - 特征列对应关系表
  - 后续步骤
- 调试 TensorFlow 2 迁移的训练流水线
  - 调试工作流
  - 安装
    - 单前向传递验证
    - 几个步骤的模型训练数值等价性验证
      - 单元测试
  - 调试工具
- 迁移单工作进程多 GPU 训练
  - 安装
  - TensorFlow 1：使用 tf.estimator.Estimator 进行单工作进程分布式训练
  - TensorFlow 2：使用 Keras 进行单工作进程训练
  - 后续步骤
- 在 TF2 工作流中使用 TF1.x 模型
  - 使用范围
  - 安装
  - track_tf1_style_variables 装饰器
  - 用法示例
  - 在装饰调用中嵌套 tf.Variable、tf.Module、tf.keras.layers 和 tf.keras.models
  - 到原生 TF2 的增量迁移
  - 处理建模 shim 未涵盖的 TF1.x 到 TF2 行为更改
- 迁移多工作进程 CPU/GPU 训练
  - 安装
  - TensorFlow 1：使用 tf.estimator API 进行多工作进程分布式训练
  - TensorFlow 2：使用分布策略进行多工作进程训练
  - 后续步骤
- 迁移 SavedModel 工作流
  - 安装
  - TensorFlow 1：保存和导出 SavedModel
  - TensorFlow 2：保存和导出 SavedModel
    - 保存并导出使用 tf.Module 定义的 SavedModel
    - 保存并导出使用 Keras 定义的 SavedModel
  - 加载 SavedModel
  - GraphDef 和 MetaGraphDef
  - 从 TensorFlow 1 到 TensorFlow 2 的变化
  - TensorFlow Serving 迁移指南
  - 后续步骤
- 将 SessionRunHook 迁移到 Keras 回调
  - 安装
  - TensorFlow 1：使用 tf.estimator API 创建自定义 SessionRunHook
  - TensorFlow 2：为 Model.fit 创建自定义 Keras 回调
  - 后续步骤
- 迁移 TensorBoard：TensorFlow 的呈现工具包
  - 安装
  - TensorFlow 1：TensorBoard 与 tf.estimator 一起使用
  - TensorFlow 2: TensorBoard 与 Keras 回调和 Model.fit 一起使用
- 后续步骤
- TensorFlow 1.x 对比 TensorFlow 2 - 行为和 API
  - 主要变更的简略摘要
  - API 清理
  - Eager Execution
  - 没有更多的全局变量
  - 函数，而非会话
  - 适应 TF 2.x 行为变更
  - TensorShape API 行为变更
    - 因 TensorShape 变更而导致的潜在错误
  - 按值比较张量相等性
    - 哈希张量和变量
  - 资源和延伸阅读
- 将您的 TFLite 代码迁移到 TF2
  - TF 到 TFLite 转换代码的更改
  - 示例
- 延伸阅读
- 从 TPU embedding_column 迁移到 TPUEmbedding 层
  - 安装
  - TensorFlow 1：使用 TPUEstimator 在 TPU 上训练嵌入
  - TensorFlow 2：使用 TPUStrategy 在 TPU 上训练嵌入向量
  - 后续步骤
- 从 TPUEstimator 迁移到 TPUStrategy
  - 安装
  - TensorFlow 1：使用 TPUEstimator 在 TPU 上驱动模型
  - TensorFlow 2：使用 Keras Model.fit 和 TPUStrategy 在 TPU 上驱动模型
  - 后续步骤
- 自动重写 TF 1.x 和 compat.v1 API 符号
  - 兼容性模块
  - 推荐的升级流程
  - 使用符号重写 tf_upgrade_v2 脚本
  - 详细报告
  - “安全”模式
  - 注意事项
- 验证正确性和数值等价性
  - 安装
  - 第 1 步：验证变量是否只创建一次
    - 问题排查
  - 第 2 步：检查变量计数、名称和形状是否匹配
    - 问题排查
  - 第 3 步：重置所有变量，在停用所有随机性的情况下检查数值等价性
  - 第 4 步：对齐随机数生成，检查训练和推断中的数值等价性
  - 第 3b 或 4b 步（可选）：使用既有检查点进行测试
  - 附加测试和问题排查
Estimator
- 设置
- 优势
- Estimator 功能
- 预制 Estimator 程序结构
- 自定义 Estimator
- 从 Keras 模型创建 Estimator
- 从 Keras 模型创建 Estimator
- Estimator 中的 SavedModel
- 在 Estimator 中使用 tf.distribute.Strategy（有限支持）
  - 目前支持的策略
  - 示例和教程
扩展
- DTensor 概念
- 高效的 TensorFlow 2
- 扩展程序类型
- 使用 JAX2TF 导入 JAX 模型
- Keras：TensorFlow 的高级 API
- 自动将代码升级到 TensorFlow 2
TensorFlow 版本兼容性
- 语义化版本控制 2.0
- 兼容范围
- 不兼容范围
- SavedModel（计算图和检查点）的兼容性
  - GraphDef 兼容性
- 扩展 TensorFlow 时的计算图和检查点兼容性