线性回归#
线性回归基于几个简单的假设：
假设因变量 \(\mathbf{x}\) 和自变量 \(y\) 的关系是线性的：即 \(y\) 可以表示为 \(\mathbf{x}\) 的加权和，通常允许包含观测值的一些噪声。
假设任何噪声都比较正常，如噪声遵循正态分布。
设定预测结果为 \(\hat{y}\)，特征向量 \(\mathbf{x} \in \mathbb{R}^d\) 和权重 \(\mathbf{w} \in \mathbb{R}^d\)，偏置项 \(b \in \mathbb{R}\)，则线性回归可以表示为
\[
\hat{y} = \mathbf{w}^\top \mathbf{x} + b
\]
这里 \(\mathbf{x}\) 对应单个样本特征。对于 \(n\) 个样本特征集合 \(\mathbf{X} \in \mathbb{R}^{n \times d}\)，预测值 \(\hat{\mathbf{y}} \in \mathbb{R}^n\) 可以通过矩阵-向量乘法表示为：
\[
{\hat{\mathbf{y}}} = \mathbf{X} \mathbf{w} + b
\]