分布式训练# 使用 tf.distribute.Strategy 进行自定义训练 下载 Fashion MNIST 数据集 创建分布变量和计算图的策略 设置输入流水线 创建模型 定义损失函数 特殊情况 定义跟踪损失和准确率的指标 训练循环 上述示例中需要注意的事项 恢复最新的检查点并进行测试 迭代数据集的其他方式 使用迭代器 在 tf.function 内部迭代 跨副本跟踪训练损失 指南和示例 后续步骤 将 DTensor 与 Keras 一起使用 概述 安装 确定性伪随机数生成器 创建数据并行网格 使用布局创建 Keras 层 加载数据集并构建输入流水线 定义模型的训练逻辑 指标和优化器 训练模型 为现有模型代码指定布局 子类化模型 序贯模型和函数式模型 使用 DTensor 进行分布式训练 文本特征向量 安装 下载数据集 准备数据 使用 DTensor 构建神经网络 Dense 层 布局推导 BatchNorm 将层放置到一起 将数据移动到设备 数据并行训练 创建数据并行网格 将训练数据打包到 DTensor 训练步骤 检查点 训练循环 模型并行训练 空间并行训练 SavedModel 和 DTensor 后续步骤 分布式输入 分布式数据集 tf.distribute.Strategy.experimental_distribute_dataset 用法 属性 批处理 分片 预提取 tf.distribute.Strategy.distribute_datasets_from_function 用法 属性 批处理 分片 预提取 分布式迭代器 用法 使用 Python 式 for 循环结构 使用 iter 创建显式迭代器 使用 element_spec 属性 数据预处理 Keras 预处理层与 TensorFlow Transform tf.distribute 最佳做法 针对 Keras 预处理层用户的额外说明： 使用 Model.fit 进行预处理 使用自定义训练循环进行预处理 部分批次 警告 将 experimental_distribute_values_from_function 用于任意张量输入 如果您的输入来自生成器，则使用 tf.data.Dataset.from_generator Keras 的分布式训练 概述 安装 下载数据集 定义分布式策略 设置输入流水线 创建模型并实例化优化器 定义回调 训练并评估 保存模型 其他资源 使用 Keras 和 MultiWorkerMirroredStrategy 的自定义训练循环 概述 安装 数据集和模型定义 多工作进程配置 描述您的集群 笔记本中的环境变量和子进程 MultiWorkerMirroredStrategy 在工作进程之间对数据进行自动分片 定义自定义训练循环并训练模型 检查点保存和恢复 完整代码一览 深入了解多工作进程训练 了解更多 利用 Estimator 进行多工作进程训练 概述 创建 输入函数 多工作器配置 定义模型 MultiWorkerMirroredStrategy 训练和评估模型 优化训练性能 更多的代码示例 利用 Keras 来训练多工作器（worker） 概述 选择正确的策略 设置 数据集和模型定义 在单个工作进程上进行模型训练 多工作进程配置 具有作业和任务的集群 笔记本中的环境变量和子进程 训练模型 深入了解多工作进程训练 数据集分片和批（batch）大小 评估 性能 容错 ModelCheckpoint 回调 模型保存和加载 检查点保存和恢复 BackupAndRestore 回调 其他资源 使用 ParameterServerStrategy 进行参数服务器训练 概述 支持的训练方法 具有作业和任务的集群 使用 Model.fit API 进行参数服务器训练 使用自定义训练循环进行参数服务器训练 教程设置 集群设置 进程内集群 实例化 ParameterServerStrategy 变量分片 使用 Model.fit 进行训练 输入数据 模型构建和编译 回调和训练 直接使用 ClusterCoordinator（可选） 使用自定义训练循环进行训练 设置数据 构建模型 定义训练步骤 向远程工作进程分派训练步骤 有关数据集创建的更多信息 评估 内联评估 启用精确一次评估 边车评估 现实世界中的集群 设置 "TF_CONFIG" 环境变量 如果您对所有任务使用相同的二进制文件 处理任务失败 工作进程故障 参数服务器或协调器故障 提取 RemoteValue 错误报告 性能改进 已知限制 ParameterServerStrategy 通用 Model.fit 细节 自定义训练循环细节 使用分布策略保存和加载模型 概述 保存和加载模型 Keras API tf.saved_model API 我应使用哪种 API？ 从本地设备保存/加载 警告
