线性回归

线性回归#

参考:linear-regression

线性回归基于几个简单的假设:

  1. 假设因变量 x\mathbf{x} 和自变量 yy 的关系是线性的:即 yy 可以表示为 x\mathbf{x} 的加权和,通常允许包含观测值的一些噪声。

  2. 假设任何噪声都比较正常,如噪声遵循正态分布。

设定预测结果为 y^\hat{y},特征向量 xRd\mathbf{x} \in \mathbb{R}^d 和权重 wRd\mathbf{w} \in \mathbb{R}^d,偏置项 bRb \in \mathbb{R},则线性回归可以表示为

y^=wx+b \hat{y} = \mathbf{w}^\top \mathbf{x} + b

这里 x\mathbf{x} 对应单个样本特征。对于 nn 个样本特征集合 XRn×d\mathbf{X} \in \mathbb{R}^{n \times d},预测值 y^Rn\hat{\mathbf{y}} \in \mathbb{R}^n 可以通过矩阵-向量乘法表示为:

y^=Xw+b {\hat{\mathbf{y}}} = \mathbf{X} \mathbf{w} + b