TVM 解读

• 项目配置
  • 配置 TVM 环境（ubuntu 平台）
    • TVM 环境搭建方案
• Relax
  • Relax RemoveRedundantReshape: 消除冗余的 reshape
• Relay 前端
  • common
    • AttrCvt
    • Span 设置
      • 测试 Span pass 开关
      • 测试内建元组 Span
      • 测试内建列表 Span
      • 测试 relay.var Span
      • 测试 relay.const Span
      • 测试 relay.Call Span
      • 测试 relay.Tuple Span
      • 测试 relay.TupleGetItem Span
      • 测试 relay.Let Span
      • 测试 relay.If Span
      • 测试 relay.Function Span
    • PyTorch 前端常见问题
      • torch._C._jit_pass_onnx_function_substitution 用途
  • ONNX 前端接口
    • OnnxOpConverter
    • BatchNorm
    • 解析 ONNX GraphProto
    • from_onnx()
  • PyTorch 前端接口
    • PyTorch Span
      • PyTorch 重命名
      • 导出 PyTorch C 图格式
    • PyTorch pass
      • torch._C._jit_pass_lower_all_tuples
    • Torch unsqueeze & unsqueeze_
• tvm.arith 解读
  • tvm.arith.analyzer 解读
    • 解读 StructuralEqual
      • BaseValueEqual
      • ObjectPathPairNode 和 ObjectPathPair
      • StructuralEqual
      • SEqualReducer
      • SEqualHandlerDefault
      • Python 接口：structural_equal
    • 解读 ExprDeepEqual
    • canonical_simplify()
      • canonical_simplify() mul+sum
      • canonical_simplify() plit_index
      • canonical_simplify() div
      • canonical_simplify() fp16_const_fold
      • tvm.arith.Analyzer.canonical_simplify() floormod
      • canonical_simplify() canonical_mixed
      • canonical_simplify() reduce_combiner
      • canonical_simplify() reduce
      • canonical_simplify() if_then_else
      • canonical_simplify() complex_cases
      • canonical_simplify() cast
      • canonical_simplify() normalize_min_value_expr
      • canonical_simplify() proddiv
      • canonical_simplify() floormod_two
      • canonical_simplify() le
    • tvm.arith.analyzer.ConstIntBound
    • simplify()
      • simplify() reshape_flattened
      • simplify() symbolic_comparison
      • simplify() vscale_comparison_with_sve_target
      • simplify() vscale_comparison_without_sve_target
      • simplify() vscale_non_comparison
      • simplify() regression_simplify_inf_recursion
    • rewrite_simplify()
      • rewrite_simplify() Vector
• 解读 tvm.target
  • 解读 GenericFunc
  • generic_func()
  • 解读 override_native_generic_func()
• 解读 tvm.ir
  • 解读 EnvFunc
  • 源代码映射
    • SourceName 解读
      • SourceNameNode
      • SourceName
    • 解读 Span
      • SpanNode
      • Span
      • SequentialSpanNode
      • SequentialSpan
    • 解读 Source
      • SourceNode
      • Source
    • 解读 SourceMap
      • SourceMapNode
      • SourceMap
  • 中间表示中的类型节点
  • 解读 tvm.ir.structural_hash
• 解读 tvm/script
  • 解读 tvm/script/parser/core
    • 解读 tvm/script/parser/core/diagnostics.py
      • 解析 Source
    • 解读 tvm.script.parser.evaluator
• 运行时(C++)
  • TVM Runtime api
  • TVM Runtime base
  • tvm::runtime::Object
    • TypeIndex
    • Object
    • 对象系统常用宏
  • tvm::runtime::ObjectPtr
  • tvm::runtime::ObjectRef
    • as
  • 内存机制
    • make_object
    • make_inplace_array_object
    • ObjAllocatorBase
    • SimpleObjAllocator
  • 解读 packed_func
    • PackedFuncObj
    • PackedFuncSubObj
    • PackedFunc
    • TypedPackedFunc
  • make_node()
  • TVM 宏
  • env_func
    • EnvFuncNode 和 EnvFunc
    • TypedEnvFunc
    • EnvFunc 的实现
  • repr
    • ReprPrinter
    • Dump
  • node functor
    • NodeFunctor
    • TVM_STATIC_IR_FUNCTOR
  • 数据类型
• TVM FFI
  • tvm._ffi
  • tvm._ffi.libinfo
  • _init_api()
  • TVM 常用数据结构
    • DLDeviceType
    • DLDevice
    • DLDataTypeCode
    • DLDataType
    • DLTensor
    • DLManagedTensor
    • TVMValue
    • TVMArgs
  • register_object
    • register_object 示例
  • Relay 表达式
    • TempExprNode 和 TempExpr
    • TempExpr 示例
• 解读张量表达式
  • tvm.te.tag.tag_scope()
    • tag_scope conv
  • te tensor 计算
• 解读 tvm.topi
  • saturate (有 bug)
  • 浮点数到定点的转换(TOPI)
• tvm.tir 解读
  • tvm.tir.expr
    • Ramp
  • 补码
    • 背景：使用无符号数字进行计算
  • 解读 q_multiply_shift()
    • Q 表示法
      • Q 表示法的定义
      • Q 表示法的数学运算
      • Q 数加法
      • Q 数减法
      • Q 数乘法
      • Q 数除法
    • 定点数示例
      • 为什么使用定点表示法？
      • 定点乘法简介
      • 符号扩展
      • 定点加法
      • 避免溢出的防护位
    • 定点表示法的乘法示例
      • 无符号数的无符号乘法
      • 二进制补码的重要特征
      • 无符号数乘以有符号数
      • 有符号数乘以有符号数
    • 浮点数转定点数（C++）
    • 浮点转定点
  • tvm.tir.analysis
    • 计算分配内存
      • 计算每个 scope 内存分配
      • 计算混合 scope 的内存分配
      • full_mod_calculator
  • StorageRewrite
  • 解读 tvm.tir.transform.LowerDeviceStorageAccessInfo
    • 将 CPU 可见的缓冲区分配替换为 LetStmt
• TVM op
  • op IR
    • op 属性
    • op 临时属性
    • op 注册
  • 为算子添加类型关系
    • 自定义算子类型推断
    • 推断广播 custom_op 的类型
    • 推断 custom_op 的类型关系
    • 处理推断 custom_op 的类型关系的异常事件
  • nn.pad
• 数据布局
  • InferCorrectLayoutOutput
• 属性
  • 对象属性辅助函数
    • TVM_DECLARE_ATTRS 和 TVM_ATTR_FIELD
    • NullValue 和 NullValue<DataType>
    • AttrError
    • AttrFieldInfoNode
    • AttrFieldInfo
    • BaseAttrsNode
    • Attrs
      • TestAttrs 示例
    • DictAttrs 和 DictAttrsNode
    • AttrsWithDefaultValues 和 WithAttr
    • WithAttrs 和 WithoutAttr
    • 属性实现细节
      • AttrNopEntry
      • AttrNormalVisitor
      • AttrsSEqualVisitor 和 AttrsSHashVisitor
      • AttrInitEntry
      • SetValue 和 SetIntValue
      • AttrInitVisitor
      • 其他属性模板函数
    • AttrsNode 和 BaseAttrsNode
• TVM 表达式
  • 解读类型推断
    • 测试单态 let 类型推断
    • 测试单个算子类型推断
    • 其他类型推断
    • 测试参数约简以推断返回类型
  • 表达式
    • BaseExprNode 和 BaseExpr
    • PrimExprNode 和 PrimExpr
      • PrimExpr 的子类
    • RelayExprNode 和 RelayExpr
      • RelayExprNode 成员函数
    • GlobalVarNode 和 GlobalVar
    • 表示范围和整数字面量
    • PackedFuncValueConverter
  • 添加 relay 算子
  • 解读 ExprFunctor
    • ExprFunctor
    • ExprVisitor
      • MixedModeVisitor
    • ExprMutator
      • MixedModeMutator
    • ExprRewriter
    • PostOrderRewrite
    • PostOrderVisit
    • ExpandDataflow 和 ExpandANormalForm
• TVM 节点反射
  • NodeGetAttr、NodeListAttrNames 和 MakeNode
• TVM 变换
  • 变换概述
  • TVM Pass Infra
    • 函数级 Pass
    • 模块级 Pass
  • TVM Pass Instrument
  • 简化推理
  • 解读 FoldScaleAxis
  • 定制 Pass
  • fold-explicit-padding
    • 简化 conv padding
    • 简化 pool padding
    • 折叠 pad_qconv2d
  • AnnotateSpans
  • 解读 TVM 变换
    • 解读 InferTypeLocal()
    • DefuseOps
    • 除法转乘法
    • Relay 模块级 Pass
      • module_pass 作为类装饰器
    • Relay 函数级 Pass
    • Relay Sequential pass
      • 测试 seq pass
      • 带作用域的 pass
      • 嵌套型 pass
    • Relay PrintIR
    • Relay Pass Instrument
    • 测试 Pass
      • split args
      • Pass Instrument
        • 禁用 pass
      • Pass 去函数化
    • 算子融合测试
• 源码映射机制
  • 源码映射
    • SourceName 和 SourceNameNode
    • SpanNode 和 Span
    • SequentialSpanNode 和 SequentialSpan
    • SourceNode 和 Source
    • SourceMapNode 和 SourceMap
  • 构建源信息
  • relay.Span 示例
• NameSupply
• 内存计划
  • add 内存计划
• UMA 开发
  • UMAPartitioner
    • 测试 partition_table
  • 快速入门 UMA
• Relay
  • 解读 DFPatternCallback
  • 解读 tvm.relay.quantize
    • 量化配置
    • 预热阶段
      • 参数绑定
      • 模型简化
    • 量化 QPartitionExpr
      • 自定义分区
    • 量化分区
      • nn.relu 和 nn.max_pool2d 分区
      • dense+add+relu 分区
    • 量化注解
    • SimulatedQuantize
    • TVM 自动量化校准
    • 自动量化实现
      • 自动量化实现常用函数和类
        • QRealizeExprNode & QRealizeExpr
        • QRealizeIntExprNode & QRealizeIntExpr
        • QRealizeIntExprNode::Realize & QRealizeIntExpr::QRealizeIntExpr
        • 自动量化 ForwardOp
      • GetFixedPointMultiplierShift
      • MulAndDiv
      • UnifyDTypeScale
      • CastDtypeInputRealize
    • partition_conversions
  • 类型推断
  • ToMixedPrecision 解读
  • 解读 _test_type_solver
    • 广播的类型推断(solver)
    • 其他类型推断(solver)
    • 不兼容的类型推断
    • 测试在布局转换过程中整数的兼容性
  • FForwardRewrite
  • tvm::relay::transformForwardRewrite
  • tvm::relay::RewriteAnnotatedOps()
  • Relay 后端
    • Relay 后端解释器
    • aot-executor-codegen
  • 构建 Relay 模型
  • graph executor
  • cpp-build-module
  • graph-partitioning
  • analysis-get-calibration_data
    • 测试简单计算图校准数据
    • 测试 DNNL 校准数据
    • src/relay/analysis/get_calibration_data.cc
  • memory-passes
  • AnnotateUsedMemory
    • AnnotateUsedMemory C++ 源码
    • python 端 AnnotateUsedMemory
      • 注解简单原语函数内存
      • 注解混合数据类型的原语函数内存
      • 注解 concatenate 内存
      • 注解其他数据
• QNN
  • FTVMQnnCanonicalize
    • CanonicalizeOps()
  • FTVMQnnLegalize()
  • tvm.relay.qnn.op.softmax()
• 测试模块
  • 运行时错误
    • 测试 op 翻译
  • 测试深度回调
• 解读代码生成
  • C-host 代码生成简介
    • add c-host 代码生成
    • add_pipeline c host 代码生成
    • tir.reinterpret c host
    • tir.ceil c host
    • tir.floor c host
    • tir.round c host
    • subroutine c host
    • tvm.tir.call_intrin() c host
  • 代码生成：静态初始化
  • 代码生成：VM 基础
  • 代码生成：extern
    • add_pipeline extern
    • 简单 pack buffer extern
    • pack_buffer_intermediate extern
• tvm.contrib
  • Verilator 集成
    • Verilator 代码生成测试