ML ML 0

Week1

Cost Function损失函数

Squared error function/Mean squared function均方误差: $$J(θ)=\frac{1}{2m}\sum_{i=1}^m(h_θ(x_i)-y_i)^2$$
Cross entropy交叉熵: $$J(θ)=-\frac{1}{m}\sum_{i=1}^m[y^{(i)}*logh_θ(x^{(i)})+(1-y^{(i)})*log(1-h_θ(x^{(i)}))]$$

Gradient Descent梯度下降

$$θ_j:=θ_j+α\frac{∂}{∂θ_j}J(θ)$$
对于线性模型，其损失函数为均方误差，故有（这里输入训练数据x为m*n矩阵, 线性参数 $$θ$$ 为n*1， $$x_i$$ 代表训练矩阵中的第i行， $$x_{ik}$$ 代表第i行第k列）：
$$\frac{∂}{∂θ_j}J(θ)= \frac{∂}{∂θ_j}(\frac{1}{2m}\sum_{i=1}^m(h_θ(x_i)-y_i)^2)$$

$$= \frac{1}{2m}\frac{∂}{∂θ_j}(\sum_{i=1}^m(h_θ(x_i)-y_i)^2)$$

$$= \frac{1}{2m}\sum_{i=1}^m( \frac{∂}{∂θ_j}(h_θ(x_i)-y_i)^2 )$$

$$= \frac{1}{m}\sum_{i=1}^m( (h_θ(x_i)-y_i) \frac{∂}{∂θ_j}h_θ(x_i) ) //链式求导法式$$

$$= \frac{1}{m}\sum_{i=1}^m( (h_θ(x_i)-y_i) \frac{∂}{∂θ_j}x_iθ )$$

$$= \frac{1}{m}\sum_{i=1}^m( (h_θ(x_i)-y_i) \frac{∂}{∂θ_j}\sum_{k=0}^{n}x_{ik}θ_k )$$

对于j>=1:

$$= \frac{1}{m}\sum_{i=1}^m( (h_θ(x_i)-y_i) x_{ij} )$$

$$= \frac{1}{m} (h_θ(x)-y) x_{j}$$

Week2

Multivariate Linear Regression

$$h_θ(x) = θ_0x_0 + θ_1x_1 + θ_2x_2 + ... + θ_nx_n$$

$$= [θ_0x_0^{(1)}, θ_0x_0^{(2)}, ..., θ_0x_0^{(m)}] + [θ_1x_1^{(1)}, θ_1x_1^{(2)}, ..., θ_1x_1^{(m)}] + ... + [θ_nx_n^{(1)}, θ_nx_n^{(2)}, ..., θ_nx_n^{(m)}]$$

$$= [θ_0x_0^{(1)}+θ_1x_1^{(1)}+...+θ_nx_n^{(1)}, \ \ \ θ_0x_0^{(2)}+θ_1x_1^{(2)}+...+θ_nx_n^{(2)}, \ \ \ θ_0x_0^{(m)}+θ_1x_1^{(m)}+...+θ_nx_n^{(m)}]$$

$$= θ^Tx$$

其中，
$$x=\begin{vmatrix} x_0 \\ x_1 \\ x_2 \\ ... \\ x_n \end{vmatrix} = \begin{vmatrix} x_0^{(1)} & x_0^{(2)} & ... & x_0^{(m)} \\ x_1^{(1)} & x_1^{(2)} & ... & x_1^{(m)} \\ x_2^{(1)} & x_2^{(2)} & ... & x_2^{(m)} \\ ... & ... & ... & ...\\ x_m^{(1)} & x_m^{(2)} & ... & x_n^{(m)} \\ \end{vmatrix} , θ=\begin{vmatrix} θ_0 \\ θ_1\\ θ_2\\ ...\\ θ_n \end{vmatrix}$$

m为训练数据组数，n为特征个数（通常，为了方便处理，会令 $$x_0^{(i)}=1, i=1,2,...,m）$$ 。

Feature Scaling & Standard Normalization

$$x_i := \frac{x_i-μ_i}{s_i}$$
其中， $$μ_i$$ 是第i个特征数据x_i的均值，而 $$s_i$$ 则要视情况而定：

• Feature Scaling: $$s_i$$ 为 $$x_i$$ 中最大值与最小值的差（max-min）；
• Standard Normalization: $$s_i$$ 为 $$x_i$$ 中数据标准差（standard deviation）。