包装 PyTorch 模型进行量化

包装 PyTorch 模型进行量化#

这个例子展示了 MSC 如何运行 PTQ(Post-Training Quantization,训练后量化)、QAT(Quantization Aware Training,量化感知训练)以及带有蒸馏的 PTQ…

这个例子使用了 resnet50,请在运行示例之前下载 pt 文件。

import set_env
import torch
import torch.optim as optim

from tvm.contrib.msc.pipeline import TorchWrapper
from tvm.contrib.msc.core.tools import ToolType
from tvm.contrib.msc.core.utils.message import MSCStage
from _resnet import resnet50
from utils import *
https://drive.google.com/file/d/17fmN8eQdLpq2jIMQ_X0IXDPXfI9oVWgq/view?usp=sharing
trainloader, testloader = get_dataloaders(args.dataset, args.train_batch, args.test_batch)