线性回归#

参考：linear-regression

线性回归基于几个简单的假设：

1. 假设因变量 $\mathbf{x}$ 和自变量 $y$ 的关系是线性的：即 $y$ 可以表示为 $\mathbf{x}$ 的加权和，通常允许包含观测值的一些噪声。

2. 假设任何噪声都比较正常，如噪声遵循正态分布。

设定预测结果为 $\hat{y}$，特征向量 $\mathbf{x}\in {\mathbb{R}}^d$ 和权重 $\mathbf{w}\in {\mathbb{R}}^d$，偏置项 $b\in \mathbb{R}$，则线性回归可以表示为

$$\hat{y}={\mathbf{w}}^{\mathrm{\top }}\mathbf{x}+b$$

这里 $\mathbf{x}$ 对应单个样本特征。对于 $n$ 个样本特征集合 $\mathbf{X}\in {\mathbb{R}}^{n\times d}$，预测值 $\hat{\mathbf{y}}\in {\mathbb{R}}^n$ 可以通过矩阵-向量乘法表示为：

$$\hat{\mathbf{y}}=\mathbf{X}\mathbf{w}+b$$