教程# TVM 入门 TVM 环境配置 Vulkan 支持 TVM 样例 构造或导入模型 执行优化转换 构建和通用部署 IRModule 创建 IRModule 从现有模型导入 使用 Relax NN 模块编写 通过 TVMScript 创建 IRModule的属性 IRModule 上的变换 通用部署IRModule 在 CPU 上部署 在 GPU 上部署 在其他后端上部署 端到端模型优化样例 准备阶段 整体流程概述 将模型转换为 IRModule IRModule 优化 构建和部署 自定义优化 可组合IRModule优化 准备 Relax 模块 库调度 调度过程之后 自动调优 DLight 规则 部署优化后的模型 总结 优化大语言模型 构建模型架构 将模型导出为 Relax IRModule 定义优化管道 准备模型权重 部署编译后的模型 标记化 创建KVCache 嵌入 Prefill 解码 交叉编译与RPC 在设备上构建 TVM 运行时 在设备上设置 RPC 服务器 在本地机器上声明和交叉编译内核 通过 RPC 远程运行CPU内核 通过 RPC 远程运行 OpenCL 内核 小结 TensorIR TensorIR 构建 使用 TVMScript 构建 TensorIR 标准格式 使用语法糖的简洁写法 与Python变量交互 具有动态形状的TensorIR函数 使用张量表达式创建TensorIR 创建静态形状函数 创建动态形状函数 元张量函数变换 初始化调度 循环平铺(Tiling) 利用局部性 重写约简 跟踪转换 Relax 安卓开发 TVM 安卓开发简介 Android TVM RPC 为 Android 目标构建模型 安卓目标平台的 TVM 运行时 安卓资讯 MSC MSC 简介 动机 参考级解释 核心概念: 编译过程: 计算图 MSCJoint MSCTensor Codegen 模块 总结 MSC pipeline MSC 编译流程 基础检查(baseline) 优化(optimize) 编译(compile) 总结 MSCRunner 构建并运行 TorchRunner 构建并运行 TVMRunner MSCRunner.build() 构建 runnable 对象 MSCRunner.run() 执行数据 MSCRunner 测试 RuntimeManager MSCWrapper MSC 工具 MSCTools 设计特点 MSCTool流程 make plan apply plan MSC 工具测试 MSCProcessor MSCGym MSC Plugin 翻译 Relay 代码 翻译 relax 代码 翻译 PyTorch 代码 翻译 tensorflow 代码 测试 tensorflow1 转译器对池化的支持情况 测试 tensorflow1 转译器对卷积的支持情况 测试 tensorflow1 转译器对 biasadd 的支持情况 其他测试 翻译 tensorrt 代码 前端模型转换 MSCGraph 与 PyTorch 模型互转 转换为 relay 转换为 relax MSC 基础 pass 为 relax 测试 SetExprLayout 为 relay 测试 SetExprName 为 relax 测试 SetExprName 基于搜索的自动量化 基于搜索的自动量化概述 定点乘法 relay 定点乘法 relay 逐通道定点乘法 解构 TVM 量化 自定义 TVM 自动量化 定义融合规则 为融合函数添加 QPartitionExpr 算子 消除计算图中的函数表达式 注解计算图 模拟量化 量化实现 测试自定义的 TVM 量化