Stanford机器学习笔记——Linear Regression

2017-09-06

#MachineLearning

1. 单一变量线性回归

假设：

h_{θ} (x) = θ_{0} + θ_{1} x

则 cost function 为：

J (θ_{0}, θ_{1}) = \frac{1}{2 m} \sum_{i = 1}^{m} (h_{θ} (x^{(i)}) - y^{(i)})^{2}

目标是：

m i n_{(θ_{0}, θ_{1})} J (θ_{0}, θ_{1})

同时更新 $θ_{0}$ 和 $θ_{1}$ ：

θ_{j} := θ_{j} - α \frac{\partial}{\partial θ_{j}} J (θ_{0}, θ_{1})

即：

\begin{matrix} θ_{0} := θ_{0} - α \frac{1}{m} \sum_{i = 1}^{m} (h_{θ} (x^{(i)}) - y^{(i)}) \\ θ_{1} := θ_{1} - α \frac{1}{m} \sum_{i = 1}^{m} (h_{θ} (x^{(i)}) - y^{(i)}) x^{(i)} \end{matrix}

其中 $α$ 为学习速率：

$α$ 过小，梯度下降缓慢
$α$ 过大，则可能跳过最小值，导致收敛失败，甚至发散

2. 多变量线性回归

假设：

h_{θ} (x) = θ^{T} x = θ_{0} x_{0} + θ_{1} x_{1} + θ_{2} x_{2} + . . . + θ_{n} x_{n}

则 cost function 为：

J (θ) = \frac{1}{2 m} \sum_{i = 1}^{m} (h_{θ} (x^{(i)}) - y^{(i)})^{2}

目标是：

m i n_{(θ)} J (θ)

更新 $θ$ ：

θ_{j} := θ_{j} - α \frac{\partial}{\partial θ_{j}} J (θ)

即对于 $j = 0, 1, 2, . . ., n$ ：

θ_{j} := θ_{j} - α \frac{1}{m} \sum_{i = 1}^{m} (h_{θ} (x^{(i)}) - y^{(i)}) x_{j}^{(i)}

假设有 m 个样本，每个样本有 n 个特征，即：

X = [\begin{matrix} 1 & x_{1}^{(1)} & . . . & x_{n}^{(1)} \\ 1 & x_{1}^{(2)} & . . . & x_{n}^{(2)} \\ . . . & . . . & . . . & . . . \\ 1 & x_{1}^{(m)} & . . . & x_{n}^{(m)} \end{matrix}], θ = [\begin{matrix} θ_{0} \\ θ_{1} \\ . . . \\ θ_{n} \end{matrix}], y = [\begin{matrix} y^{(1)} \\ y^{(2)} \\ . . . \\ y^{(m)} \end{matrix}]

则每次梯度下降运行后：

θ := θ - α \frac{1}{m} X^{T} (X θ - y)

3. 特征标准化

x^{'} = \frac{x - \overset{―}{x}}{σ}

其中 $σ$ 为标准差：

σ = \sqrt{\frac{1}{m - 1} \sum_{i = 1}^{m} {(x^{(i)} - \overset{―}{x})}^{2}}

4. Normal Equation

θ = (X^{T} X)^{- 1} X^{T} y

可以简单理解为，理想情况下：

X θ = y

因此：

\begin{matrix} X θ = y \\ X^{T} X θ = X^{T} y \\ (X^{T} X)^{- 1} X^{T} X θ = (X^{T} X)^{- 1} X^{T} y \\ θ = (X^{T} X)^{- 1} X^{T} y \end{matrix}

对比梯度下降和 Normal Equation：

	梯度下降	Normal Equation
选择 $α$	需要	不需要
多次迭代	需要	不需要
n 比较大	良好运行	复杂度高，效率低