迁移到 TF2

• 迁移示例：预设 Estimator
  • 安装
  • 示例 1：从 LinearEstimator 迁移
    • TensorFlow 1：使用 LinearEstimator
    • TensorFlow 2：使用 Keras LinearModel
  • 示例 2：从 DNNEstimator 迁移
    • TensorFlow 1：使用 DNNEstimator
    • TensorFlow 2：使用 Keras 创建自定义 DNN 模型
  • 示例 3：从 DNNLinearCombinedEstimator 迁移
    • TensorFlow 1：使用 DNNLinearCombinedEstimator
    • TensorFlow 2：使用 Keras WideDeepModel
  • 示例 4：从 BoostedTreesEstimator 迁移
    • TensorFlow 1：使用 BoostedTreesEstimator
    • TensorFlow 2：使用 TensorFlow Decision Forests
• 迁移检查点保存
  • 安装
  • TensorFlow 1：使用 tf.estimator API 保存检查点
  • TensorFlow 2：使用 Model.fit 的 Keras 回调保存检查点
  • 后续步骤
• 迁移提前停止
  • 安装
  • TensorFlow 1：使用提前停止钩子和 tf.estimator 提前停止
    • TensorFlow 2：使用内置回调和 Model.fit 提前停止
    • TensorFlow 2：使用自定义回调和 Model.fit 提前停止
  • TensorFlow 2：使用自定义训练循环提前停止
  • 后续步骤
• 迁移评估
  • 安装
  • TensorFlow 1：使用 tf.estimator.train_and_evaluate 进行评估
  • TensorFlow 2：评估 Keras 模型
  • 后续步骤
• 迁移容错机制
  • 安装
  • TensorFlow 1：使用 tf.estimator.RunConfig 保存检查点
  • TensorFlow 2：使用回调和 Model.fit 备份和恢复
  • TensorFlow 2：使用自定义训练循环编写手动检查点
  • 后续步骤
• 将 LoggingTensorHook 和 StopAtStepHook 迁移到 Keras 回调
  • 安装
  • TensorFlow 1：使用 tf.estimator API 记录张量和停止训练
  • TensorFlow 2：使用自定义回调和 Model.fit 记录张量和停止训练
  • 后续步骤
• 迁移指标和优化器
  • 安装
  • TF1：具有 Estimator 的 tf.compat.v1.metrics
  • TF2：具有 tf.keras.Model 的 Keras Metrics API
  • 将 TF1.x 优化器迁移到 Keras 优化器
• TF1.x -> TF2 迁移概述
  • TF2 迁移过程
  • 运行符号转换脚本
  • 移除 tf.contrib 的用法
  • 让 TF1.x 模型前向传递在启用 TF2 行为的情况下运行
    • 跟踪变量和损失
    • 适应其他行为变更
    • 验证您的结果
  • 升级训练、评估和导入/导出代码
    • 将 TF1.x 优化器转换为 Keras 优化器
    • 升级数据输入流水线
    • 保存和加载模型
  • （可选）迁移 tf.compat.v1 符号
  • 资源和延伸阅读
• 迁移模型检查点
  • 概述
  • 安装
  • 从 TF1 到 TF2 的变化
  • 如何在模型迁移期间保持检查点兼容性
    • 当变量名称匹配时
      • TF2 中的变量名称
    • 维护分配映射
      • 使用 init_from_checkpoint 加载
      • 使用 tf1.train.Saver 加载
      • 使用 tf.train.load_checkpoint 加载
    • 维护 TF2 检查点对象
  • Estimator 中的 TF2 检查点
  • 检查点 Keras
  • 代码段
    • 在 TF2 中保存 TF1 检查点
    • 在 TF2 中加载 TF1 检查点
    • 在 TF1 中保存 TF2 检查点
    • 在 TF1 中加载 TF2 检查点
  • 检查点转换
    • 将 TF1 检查点转换为 TF2
    • 将 TF2 检查点转换为 TF1
  • 相关指南
• 从 Estimator 迁移到 Keras API
  • 安装
  • TensorFlow 1：使用 tf.estimator.Estimator 进行训练和评估
  • TensorFlow 2：使用内置 Keras 方法进行训练和评估
  • TensorFlow 2：使用自定义训练步骤和内置 Keras 方法进行训练和评估
  • 后续步骤
• 将 tf.feature_column 迁移到 Keras 预处理层
  • 输入处理
  • 独热编码整数 ID
  • 归一化数字特征
  • 对数字特征进行分桶和独热编码
  • 使用词汇表对字符串数据进行独热编码
  • 使用词汇表嵌入字符串数据
  • 对加权分类数据求和
  • 嵌入加权分类数据
  • 完整的训练示例
    • 使用特征列
    • 使用 Keras 预处理层
  • 特征列对应关系表
  • 后续步骤
• 调试 TensorFlow 2 迁移的训练流水线
  • 调试工作流
  • 安装
    • 单前向传递验证
    • 几个步骤的模型训练数值等价性验证
      • 单元测试
  • 调试工具
    • tf.print
    • pdb
    • 使用 TensorBoard 呈现计算图
    • TensorFlow Profiler
    • MultiProcessRunner
• 迁移单工作进程多 GPU 训练
  • 安装
  • TensorFlow 1：使用 tf.estimator.Estimator 进行单工作进程分布式训练
  • TensorFlow 2：使用 Keras 进行单工作进程训练
  • 后续步骤
• 在 TF2 工作流中使用 TF1.x 模型
  • 使用范围
  • 安装
  • track_tf1_style_variables 装饰器
  • 用法示例
    • 使用 tf.compat.v1.get_variable 构建的层
    • 使用 tf.compat.v1.layers 构建的模型
    • 捕获批次归一化更新和模型 training 参数
    • 基于变量范围的变量重用
    • Eager Execution 和 tf.function
    • 分布策略
  • 在装饰调用中嵌套 tf.Variable、tf.Module、tf.keras.layers 和 tf.keras.models
    • （预先存在的用法）tf.keras.layers 和 tf.keras.models
    • 增量迁移：tf.Variables 和 tf.Modules
    • 变量名称指南
    • 在装饰方法中使用 tf.compat.v1.make_template
  • 到原生 TF2 的增量迁移
    • 关于 Slim 和 contrib.layers 的注意事项
    • 在忽略检查点兼容性的情况下迁移到原生 TF2
    • 在迁移到原生 TF2 期间保持检查点兼容性
  • 处理建模 shim 未涵盖的 TF1.x 到 TF2 行为更改
• 迁移多工作进程 CPU/GPU 训练
  • 安装
  • TensorFlow 1：使用 tf.estimator API 进行多工作进程分布式训练
  • TensorFlow 2：使用分布策略进行多工作进程训练
  • 后续步骤
• 迁移 SavedModel 工作流
  • 安装
  • TensorFlow 1：保存和导出 SavedModel
    • 1. 使用 SavedModelBuilder 将计算图保存为 SavedModel
    • 2. 为应用构建 SavedModel
    • 3. 将 Estimator 推断计算图导出为 SavedModel
  • TensorFlow 2：保存和导出 SavedModel
    • 保存并导出使用 tf.Module 定义的 SavedModel
    • 保存并导出使用 Keras 定义的 SavedModel
  • 加载 SavedModel
    • TensorFlow 1：使用 tf.saved_model.load 加载 SavedModel
    • TensorFlow 2：加载使用 tf.saved_model 保存的模型
    • TensorFlow 2：加载使用 Keras 保存的模型
  • GraphDef 和 MetaGraphDef
  • 从 TensorFlow 1 到 TensorFlow 2 的变化
    • SavedModel
    • 签名
    • Session.run
  • TensorFlow Serving 迁移指南
  • 后续步骤
• 将 SessionRunHook 迁移到 Keras 回调
  • 安装
  • TensorFlow 1：使用 tf.estimator API 创建自定义 SessionRunHook
  • TensorFlow 2：为 Model.fit 创建自定义 Keras 回调
  • 后续步骤
• 迁移 TensorBoard：TensorFlow 的呈现工具包
  • 安装
  • TensorFlow 1：TensorBoard 与 tf.estimator 一起使用
  • TensorFlow 2: TensorBoard 与 Keras 回调和 Model.fit 一起使用
• 后续步骤
• TensorFlow 1.x 对比 TensorFlow 2 - 行为和 API
  • 主要变更的简略摘要
  • API 清理
    • tf.compat.v1：旧版和兼容性 API 端点
    • 同形异义 API
    • 其他 API 变更
  • Eager Execution
  • 没有更多的全局变量
  • 函数，而非会话
  • 适应 TF 2.x 行为变更
    • 使用 tf.function
      • 模式 1：多次运行计划仅进行一次的 Python 对象操纵和变量创建
      • 模式 2：本应在 TF1.x 中每一步都重新计算的符号张量在切换到 Eager 时意外缓存了初始值。
      • 模式 3：TF1.x 代码直接依赖张量并按名称查找张量
      • 模式 4：TF1.x 会话选择性地仅运行生成计算图的一部分
    • 集合移除
    • ResourceVariables 而非 ReferenceVariables
    • Control Flow v2
  • TensorShape API 行为变更
    • 因 TensorShape 变更而导致的潜在错误
  • 按值比较张量相等性
    • 哈希张量和变量
  • 资源和延伸阅读
• 将您的 TFLite 代码迁移到 TF2
  • TF 到 TFLite 转换代码的更改
  • 示例
    • 安装
    • 1. 将 TF1 SavedModel 转换为 TFLite 模型
      • 之前：使用 TF1 进行转换
      • 之后：使用 TF2 进行转换
    • 2. 将 TF1 Keras 模型文件转换为 TFLite 模型
      • 之前：使用 TF1 进行转换
      • 之后：使用 TF2 进行转换
    • 3. 将 TF1 冻结的 GraphDef 转换为 TFLite 模型
      • 之前：使用 TF1 进行转换
      • 之后：使用 TF2 进行转换
• 延伸阅读
• 从 TPU embedding_column 迁移到 TPUEmbedding 层
  • 安装
  • TensorFlow 1：使用 TPUEstimator 在 TPU 上训练嵌入
  • TensorFlow 2：使用 TPUStrategy 在 TPU 上训练嵌入向量
  • 后续步骤
• 从 TPUEstimator 迁移到 TPUStrategy
  • 安装
  • TensorFlow 1：使用 TPUEstimator 在 TPU 上驱动模型
  • TensorFlow 2：使用 Keras Model.fit 和 TPUStrategy 在 TPU 上驱动模型
  • 后续步骤
• 自动重写 TF 1.x 和 compat.v1 API 符号
  • 兼容性模块
  • 推荐的升级流程
  • 使用符号重写 tf_upgrade_v2 脚本
    • 安装
    • 读取帮助
    • TF1 代码示例
    • 单个文件
    • 目录树
  • 详细报告
  • “安全”模式
  • 注意事项
• 验证正确性和数值等价性
  • 安装
  • 第 1 步：验证变量是否只创建一次
    • 问题排查
  • 第 2 步：检查变量计数、名称和形状是否匹配
    • 问题排查
  • 第 3 步：重置所有变量，在停用所有随机性的情况下检查数值等价性
  • 第 4 步：对齐随机数生成，检查训练和推断中的数值等价性
    • 跟踪顺序
    • 验证推断
    • 验证训练
  • 第 3b 或 4b 步（可选）：使用既有检查点进行测试
  • 附加测试和问题排查