TVM v0.19.0 文档#

对 TVM v0.19.0 分支进行解读和探索。TVM v0.19.0 包含 relay 模块。

• TVM FFI
• TVM 插件
  • Python 调用 C++
    • 拓展 TVM C++ 功能
    • Python 端加载 C++ 端动态库
    • 使用 tvm._ffi._init_api() 管理 TVM 插件
    • 其他 C++ 打包函数的例子
      • 加法偏函数
      • C++ 外部设备的例子
      • 回调 C++ 端外部函数
      • 提取外部 C++ 函数
  • C++ 调用 Python
  • TVM 模块插件
  • 创建 TVM 的 NDArray 的子类
    • tvm_ext.ivec_create
    • tvm_ext.NDSubClass
  • 注册插件
    • DLTensor 兼容性
• TVM v0.19.0 代码生成
  • 外部代码生成
    • 多节点子图
    • 外部 gcc 单个算子
    • 外部 gcc
  • module 导出
    • CSourceModuleCreate
    • 动态库导出
    • 静态库导出
• PyTorch 翻译为 ONNX
  • ONNX 模型精简
    • ONNX GatherND
    • onnx L2 范数
    • torch2onnx：Scatter
    • ScatterElements
    • onnx ScatterND
    • torch2onnx SequenceConstruct
    • torch转ONNX：Unsqueeze
    • torch转ONNX：Upsample
    • BN+conv
    • onnx conv+reshape
    • torch.Tensor.expand() 转换
    • onnx flatten
    • ONNX HardSwish
    • torch 索引转换
    • torch.Tensor.repeat() 转换
    • Resize
    • torch 切片转换
    • torch转ONNX：split
• relay 前端
  • PyTorch Relay 前端
    • PyTorch 算子
      • PixelShuffle
    • PyTorch resnet18 Relay
    • PyTorch Relay 前端测试
  • ONNX Relay 前端
    • 算子列表
      • reshape
    • HardSigmoid
      • 转换为 Relay 模型
      • 构建模板
    • 测试 ONNX relay 模型
  • TensorFlow Relay 前端
    • Graph
      • 直接使用图（已弃用）
    • Tensorflow1 前端
      • TensorFlow 数据布局变换
      • TF1 变换为 PyTorch 模型
    • Tensorflow(pb) 转 ONNX
    • Tensorflow 前端之 TF-slim
      • TensorFlow1 推理
      • 升级 TF1 为 TF2
        • 检查点迁移
        • SavedModel
          • TensorFlow 1：保存和导出 SavedModel
          • TensorFlow 2：保存和导出 SavedModel
          • 保存并导出使用 Keras 定义的 SavedModel
        • 加载 SavedModel
          • TensorFlow 1：使用 tf.saved_model.load 加载 SavedModel
          • TensorFlow 2：加载使用 tf.saved_model 保存的模型
      • TensorFlow1 pb 推理
      • TensorFlow2 推理
      • TensorFlow2 Keras 推理
        • 转换为 ONNX 模型
        • 转换为 TFLite 模型
    • tf2onnx 概述
  • Caffe Relay 前端
    • caffe 环境
      • 构建 caffe docker 环境
      • 直接使用 docker 环境中的 /opt/caffe/python/caffe
    • caffe relay 网络
      • caffe Mobilenetv2
      • caffe Alexnet
      • caffe Resnet50
      • caffe Inceptionv4
    • Caffe Relay 算子测试
      • caffe BatchNorm
      • caffe concat
      • caffe Convolution
      • caffe crop
      • caffe Deconvolution
      • caffe Dropout
      • caffe Eltwise
      • caffe Flatten
      • caffe InnerProduct
      • caffe LRN
      • caffe Permute
      • caffe Pooling
      • caffe Power
      • caffe PReLU
      • caffe ReLU
      • caffe Reshape
      • caffe Scale
      • caffe Sigmoid
      • caffe Slice
      • caffe Softmax
      • caffe TanH
      • caffe Reduction
      • caffe Embed
• MSC
  • MSC 简介
    • 核心概念
  • MSC 计算图
    • MSCGraph 简介
      • 构建 MSC 计算图
      • MSCJoint
      • MSCTensor
    • Codegen 模块
  • MSC 运行器
    • TorchRunner
      • 构建并运行 TorchRunner
    • TVMRunner
      • 构建并运行 TVMRunner
    • TensorflowRunner
  • MSC 管道
    • MSC 编译流程
      • 基础检查（baseline）
      • 优化（optimize）
      • 编译（compile）
      • 总结
    • MSCManager
    • TorchDynamic
  • MSC 工具
    • MSCTools 设计特点
    • 剪枝
      • 蒸馏
    • 量化
      • 蒸馏
    • 追踪
    • MSC 工具测试
      • MSCGym
  • 插件
    • MSC Plugin
  • 测试
    • MSC 基础 pass
      • 为 relax 测试 SetExprLayout
      • 为 relay 测试 SetExprName
      • 为 relax 测试 SetExprName
    • 前端模型转换
      • MSCGraph 与 PyTorch 模型互转
      • 转换为 relay
      • 转换为 relax
    • 翻译 relax 代码
    • 翻译 Relay 代码
    • 翻译 tensorflow 代码
      • 测试 tensorflow1 转译器对池化的支持情况
      • 测试 tensorflow1 转译器对卷积的支持情况
      • 测试 tensorflow1 转译器对 biasadd 的支持情况
      • 其他测试
    • 翻译 tensorrt 代码
    • 翻译 PyTorch 代码
  • MSC demo
• 解读 tvm.relay.quantize()
  • 量化配置
  • 预热阶段
    • 参数绑定
    • 模型简化
  • 量化 QPartitionExpr
    • 自定义分区
  • 量化分区
    • nn.relu 和 nn.max_pool2d 分区
    • dense+add+relu 分区
  • 量化注解
  • SimulatedQuantize
  • TVM 自动量化校准 C++ 代码解读
  • TVM Relay 自动量化校准
  • 自动量化实现
    • 自动量化实现常用函数和类
      • QRealizeExprNode & QRealizeExpr
      • QRealizeIntExprNode & QRealizeIntExpr
      • QRealizeIntExprNode::Realize & QRealizeIntExpr::QRealizeIntExpr
      • 自动量化 ForwardOp
    • GetFixedPointMultiplierShift
    • MulAndDiv
    • UnifyDTypeScale
    • CastDtypeInputRealize
  • partition_conversions
  • topi.qnn
  • relay.qnn.quantize
  • relay.qnn.dequantize
  • relay.qnn.requantize
  • 测试 relay.qnn.simulated_quantize
    • QNN 模拟量化功能测试
    • 测试动态通道的QNN模拟量化功能
    • 测试动态数据类型的QNN模拟量化功能
  • 测试 relay.qnn.simulated_dequantize
• 编译器
  • 合并编译器区域
    • 处理菱形区域
    • 计算图示例
    • 测试条件语句
  • MergeComposite
    • 简单的合并
    • 分支合并
    • 重用调用合并
    • 合并多个模式
    • 合并可选模式
    • 依序合并
    • 并行合并
    • 多输入子图
    • 合并 TupleGetItem
    • with 检查
    • diamond 不合并的情况
    • 查询张量类型
    • 不会因 einsum 算子而导致错误
  • 计算图分区
    • 测试外部 C 编译器处理单一算子
    • 测试外部 C 编译器处理默认算子
    • 测试外部编译器处理经过清理的算子
    • 测试外部 C 编译器处理多个函数
    • 测试外部 C 编译器
    • 测试函数提升
    • 测试函数提升内联
    • 测试常量传播
    • 测试多输出
    • 测试混合单输出和多输出
    • 测试一个输出被多次使用的情况
    • 测试重复输出的情况
    • 测试重复合并和 TupleGetItem 的情况
    • 测试常量元组
    • 测试扁平化元组输出
    • 测试元组输出的执行
    • 测试外部优化
    • 测试保留类型导入
    • 测试不绑定常量
  • 混合精度
• TVM 解读(临时)
• VTA：开源、模块化的深度学习加速器栈
  • VTA 环境配置
  • VTA 介绍
  • VTA 指令
  • VTA 教程
    • VTA 入门
      • 加载 VTA 参数
      • FPGA 编程
      • 准备数据
      • 计算声明
        • Input 占位符
        • Copy Buffers
        • ALU 加法
        • Casting 结果
      • 调度计算
        • 默认调度
        • Buffer 作用域
        • DMA 传输
        • ALU 运算
      • TVM 计算
        • 保存 Module
        • 载入 Module
      • 运行函数
      • 验证 Correctness
      • 获取 ALU 数据搬运情况
    • 简单的矩阵乘法
      • RPC 设置
      • 计算声明
        • 数据布局
        • 矩阵乘法
        • Casting 结果
      • 调度计算
        • 默认调度
        • Buffer 作用域
        • DMA 传输
        • 张量化
      • TVM 计算
      • 运行函数
      • 验证正确性
    • 编译深度学习模型
      • 在 VTA 上部署预训练的视觉模型
        • 安装依赖
        • 定义 platform
        • 获取远程执行
        • 构建 graph executor 推理
        • 进行图像分类推理
          • 执行推理并收集执行统计信息
      • 在 VTA 上部署预训练的 Darknet 视觉检测模型
        • 安装依赖
        • 定义平台和模型目标
        • 获取执行远程
        • 构建推理 graph executor
        • 执行图像检测推理
    • 优化 Tensor 算子
      • 分块矩阵乘法
        • RPC 设置
        • 声明计算
        • 调度计算
        • 分块计算
          • lowering 复制到 DMA 传输
          • Lowering 计算到 VTA Compute Intrinsics
        • TVM 计算和验证
        • 小结
      • 2D 卷积优化
        • RPC 设置
        • 声明计算
        • 调度计算
          • 分块计算
          • 重排轴
          • 虚拟线程
          • Lowering Copies 到 DMA Transfers
          • Lowering 计算到 VTA 计算 Intrinsics
        • TVM 计算和验证
    • 自动调优
      • 自动调优 VTA 上的 ALU fused op
        • 编译网络
        • 设置调优选项
      • 在 VTA 上调优卷积神经网络
        • 安装依赖
        • 编译神经网络
        • 启动 RPC Tracker
        • 注册设备到 RPC Tracker
        • 设置调优选项
        • 开始调优
        • 样例输出
  • 基准测试
    • GEMM 算子
    • dense
    • conv2d
    • group conv2d
    • conv2d_transpose
• 其他专题
  • YOLO
    • YOLO Relay 推理
      • 测试 YOLO PyTorch 前端
      • YOLO 输入预处理
      • 测试 YOLO ONNX Relay 前端
      • 测试 YOLO TorchScript Relay 前端
    • YOLO11 Relax 推理
      • ONNX 推理
      • 测试 YOLO ONNX Relax 前端
      • 测试 YOLO TorchScript Relax 前端
    • YOLO11 Relax 优化
      • ONNX 推理
      • 测试 YOLO ONNX Relax 前端
    • 裁剪 YOLOv8n 以探索计算图分割