基本概念
模型量化技术可以通过减少深度神经网络模型参数的位宽和中间过程特征图的位宽，从而达到压缩加速深度神经网络的目的，使量化后的网络能够部署在资源有限的边缘设备上。
问题定义
神经网络模型的量化问题可以被定义为以下的优化问题：
对于神经网络模型 G \mathcal{G} G t t t W = { w 1 , ⋯ , w t } \mathcal{W} = \{\mathbf{w}_1, \cdots, \mathbf{w}_t\} W = { w 1 , ⋯ , w t } m m m A = { a 1 , ⋯ , a m } \mathcal{A} = \{\mathbf{a}_1, \cdots, \mathbf{a}_m\} A = { a 1 , ⋯ , a m } F = { q 1 ( w 1 ; b 1 ) , ⋯ , q t + m ( a m ; b t + m ) } \mathcal{F} = \{q_1(\mathbf{w}_1; b_1), \cdots, q_{t+m}(\mathbf{a}_m; b_{t+m})\} F = { q 1 ( w 1 ; b 1 ) , ⋯ , q t + m ( a m ; b t + m )} q i q_i q i i i i b b b G \mathcal{G} G Q \mathcal{Q} Q F \mathcal{F} F Q \mathcal{Q} Q L ( Q ) L(\mathcal{Q}) L ( Q )
min F , W ∣ L ( Q ) − L ( G ) ∣
\min_{\mathcal{F,W}} |L(\mathcal{Q}) - L(\mathcal{G})|
F , W min ∣ L ( Q ) − L ( G ) ∣
量化计算原理
以线性非对称量化为例，浮点数量化为有符号定点数的计算原理如下：
x int = clip ( ⌊ x s ⌉ + z ; − 2 b − 1 , 2 b − 1 − 1 )
\mathbf{x}_{\text{int}} = \operatorname{clip}(\lfloor \cfrac{\mathbf{x}}{s} \rceil + z; -2^{b-1}, 2^{b-1}-1)
x int = clip (⌊ s x ⌉ + z ; − 2 b − 1 , 2 b − 1 − 1 ) 其中，x \mathbf{x} x x int \mathbf{x}_{\text{int}} x int s s s z z z b b b b b b clip \operatorname{clip} clip
clip ( x ; a , c ) = { a , x < a x , a ≤ x ≤ c c , x > c
\operatorname{clip}(x; a, c) = \begin{cases}
a, & x < a \\
x, & a \leq x \leq c \\
c, & x > c
\end{cases}
clip ( x ; a , c ) = ⎩ ⎨ ⎧ a , x , c , x < a a ≤ x ≤ c x > c 从定点数转换为浮点数称为反量化过程，具体定义如下：
x ≈ x ^ = s ( x int − z )
\mathbf{x} \approx \hat{\mathbf{x}} = s({\mathbf{x}_{\text{int}} - z})
x ≈ x ^ = s ( x int − z ) 设置量化范围为 ( q min , q max ) (q_{\min},q_{\max}) ( q m i n , q m a x ) ( c min , c max ) (c_{\min},c_{\max}) ( c m i n , c m a x ) s s s z z z
s = q max − q min c max − c min = q max − q min 2 b − 1 z = c max − ⌊ q max s ⌉ 或 z = c min − ⌊ q min s ⌉
\begin{aligned}
s &= \cfrac{q_{\max} - q_{\min}}{c_{\max} - c_{\min}} = \cfrac{q_{\max} - q_{\min}}{2^{b} - 1} \\
z &= c_{\max} - \lfloor \cfrac{q_{\max}}{s} \rceil \text{ 或 } z = c_{\min} - \lfloor \cfrac{q_{\min}}{s} \rceil
\end{aligned}
s z = c m a x − c m i n q m a x − q m i n = 2 b − 1 q m a x − q m i n = c m a x − ⌊ s q m a x ⌉ 或 z = c m i n − ⌊ s q m i n ⌉ 其中截断范围是根据量化的数据类型决定的，如 INT8 的截断范围为 [ − 128 , 127 ] [-128, 127] [ − 128 , 127 ]
量化误差
量化误差来源于舍入误差和截断误差，即 ⌊ ⋅ ⌉ \lfloor \cdot \rceil ⌊ ⋅ ⌉ [ − s 2 , s 2 ] [-\cfrac{s}{2}, \cfrac{s}{2}] [ − 2 s , 2 s ] x x x s s s s s s
线性对称量化和线性非对称量化
线性量化中定点数之间的间隔是均匀的，例如 INT8 线性量化将量化范围均匀等分为 256 个数。线性对称量化中零点是根据量化数据类型确定并且零点 z z z z z z
对称量化是非对称量化的简化版本，理论上非对称量化能够更好的处理数据分布不均匀的情况，因此实践中大多采用非对称量化方案。
图 1 线性对称量化和线性非对称量化
Per-Layer 量化和 Per-Channel 量化
图 2 Per-Layer 量化和 Per-Channel 量化
注意
Per-Channel 量化中只针对权重进行 Per-Channel 量化，激活值和中间值仍为 Per-Layer 量化。
量化算法
量化比例因子 s s s z z z
Max 量化算法是通过计算浮点数中的最大值和最小值直接确定量化范围的最大值和最小值。可知，Max 量化算法不会产生截断误差，但对异常值很敏感，因为大异常值可能会导致舍入误差过大。
q min = min V q max = max V
\begin{aligned}
q_{\min} &= \min \mathsf{V} \\
q_{\max} &= \max \mathsf{V} \\
\end{aligned}
q m i n q m a x = min V = max V 其中 V \mathsf{V} V
KL-Divergence 量化算法计算浮点数和定点数的分布，通过调整不同的阈值来更新浮点数和定点数的分布，并根据 KL 散度最小化两个分布的相似性来确定量化范围的最大值和最小值。KL-Divergence 量化算法通过最小化浮点数和定点数之间的分布差异，能够更好地适应非均匀的数据分布并缓解少数异常值的影响。
arg min q min , q max H ( Ψ ( V ) , Ψ ( V i n t ) )
{\arg\min}_{q_{\min}, q_{\max}} H(\Psi(\mathsf{V}), \Psi(\mathbf{V}_{int}))
arg min q m i n , q m a x H ( Ψ ( V ) , Ψ ( V in t )) 其中H ( ⋅ , ⋅ ) H(\cdot, \cdot) H ( ⋅ , ⋅ ) Ψ ( ⋅ ) \Psi(\cdot) Ψ ( ⋅ ) V i n t \mathbf{V}_{int} V in t
MSE 量化算法通过最小化浮点数与量化反量化后浮点数的均方误差损失，确定量化范围的最大值和最小值，在一定程度上缓解大异常值带来的量化精度丢失问题。由于MSE 量化算法的具体实现是采用暴力迭代搜索近似解，速度较慢，内存开销较大，但通常会比 Max 量化算法具有更高的量化精度。
arg min q min , q max ∣ ∣ V − V ^ ( q min , q max ) ∣ ∣ F 2
{\arg\min}_{q_{\min}, q_{\max}} ||\mathsf{V} - \hat{\mathbf{V}}(q_{\min}, q_{\max})||_F^2
arg min q m i n , q m a x ∣∣ V − V ^ ( q m i n , q m a x ) ∣ ∣ F 2 其中 V ^ ( q min , q max ) \hat{\mathbf{V}}(q_{\min}, q_{\max}) V ^ ( q m i n , q m a x ) V \mathbf{V} V ∣ ∣ ⋅ ∣ ∣ F ||\cdot||_F ∣∣ ⋅ ∣ ∣ F
Percentile 量化算法通过统计学方法计算浮点数的百分位数来确定量化范围，能有效排除异常值干扰。
q min = percentile ( V , p low ) q max = percentile ( V , p high )
q_{\min} = \text{percentile}(\mathsf{V}, p_{\text{low}}) \\
q_{\max} = \text{percentile}(\mathsf{V}, p_{\text{high}})
q m i n = percentile ( V , p low ) q m a x = percentile ( V , p high ) 该公式中变量定义如下：
V \mathsf{V} V
p low p_{\text{low}} p low p low = 5 % p_{\text{low}}=5\% p low = 5%
p high p_{\text{high}} p high p high = 95 % p_{\text{high}}=95\% p high = 95%
q min q_{\min} q m i n
q max q_{\max} q m a x
该方法的优势在于：
