torch.ao.quantization.observer#

ObserverBase

observer 的基模块

_ObserverBase

所有 qint/quint8 观测者的内部公共基类。

MinMaxObserver

根据运行的最大值和最小值计算量化参数的观测器模块。

MovingAverageMinMaxObserver

基于最小值和最大值的移动平均计算量化参数的观测器模块。

PerChannelMinMaxObserver

基于逐通道运行的最小值和最大值计算量化参数的观测者模块。

MovingAveragePerChannelMinMaxObserver

基于逐通道运行的最小值和最大值计算量化参数的观测者模块。

HistogramObserver

该模块记录张量值的运行直方图以及最小/最大值。

FixedQParamsObserver

在训练时间内用固定的量化参数仿真量化和去量化的观测者。

PlaceholderObserver

观测者不做任何事情,只是把它的配置传递给量化模块的 .from_float()

RecordingObserver

该模块主要用于调试,并在运行时记录张量值。

NoopObserver

观测者不做任何事情,只是把它的配置传递给量化模块的 .from_float()

ReuseInputObserver

当我们想从产生输入张量的算子中重用观测者时,就会使用这个观测者,通常用于像 reshape 这样的算子,例如

default_debug_observer

默认 debug-only 观测者。

default_dynamic_quant_observer

动态量化的默认观测者。

default_float_qparams_observer

浮点零点的默认观测者。

default_float_qparams_observer_4bit

用于浮点零点和 4 bit 激活的默认观测者。

default_observer

静态量化的默认观测者,通常用于调试。

default_per_channel_weight_observer

默认的 per-channel 权重观测者,通常用于支持 per-channel 权重量化的后端,如 fbgemm

default_placeholder_observer

默认占位符观测者,通常用于量化 torch.float16

default_weight_observer

默认权重观测者。

default_reuse_input_observer

Default observer for operators like reshape that reuses the observer of input to the operator

警告

请使用 quant_minquant_max 来指定观测者的范围。 reduce_range 将在未来的 PyTorch 版本中弃用。

默认观测者 qscheme 只能选择以下选项之一:

  • torch.per_tensor_affine

  • torch.per_tensor_symmetric

  • torch.per_channel_affine

  • torch.per_channel_symmetric

默认观测者 dtype 只能选择以下选项之一: qint8quint8quint4x2