“ML”的版本间的差异
来自个人维基
小 （→Gradient Descent梯度下降） |
|||
| 第8行： | 第8行： | ||
<math>α\frac{∂}{∂θ_j}J(θ)= \frac{∂}{∂θ_j}(\frac{1}{2m}\sum_{i=1}^m(h_θ(x_i)-y_i)^2)</math> | <math>α\frac{∂}{∂θ_j}J(θ)= \frac{∂}{∂θ_j}(\frac{1}{2m}\sum_{i=1}^m(h_θ(x_i)-y_i)^2)</math> | ||
:<math>= \frac{1}{2m}\frac{∂}{∂θ_j}(\sum_{i=1}^m(h_θ(x_i)-y_i)^2)</math> | :<math>= \frac{1}{2m}\frac{∂}{∂θ_j}(\sum_{i=1}^m(h_θ(x_i)-y_i)^2)</math> | ||
| + | :<math>= \frac{1}{2m}\frac{∂}{∂θ_j} \sum_{i=1}^m(x_iθ-y_i)^2 </math> | ||
| + | :<math>= \frac{1}{m}\frac{∂}{∂θ_j} \sum_{i=1}^mx_{ij}θ_j </math> | ||
2018年12月21日 (五) 11:50的版本
Cost Function损失函数
Squared error function/Mean squared function均方误差: J(θ)=12mm∑i=1(hθ(xi)−yi)2
Cross entropy交叉熵: J(θ)=−1mm∑i=1[y(i)∗loghθ(x(i))+(1−y(i))∗log(1−hθ(x(i)))]
Gradient Descent梯度下降
θj:=θj+α∂∂θjJ(θ)
对于线性模型，其损失函数为均方误差，故有：
α∂∂θjJ(θ)=∂∂θj(12mm∑i=1(hθ(xi)−yi)2)
- =12m∂∂θj(m∑i=1(hθ(xi)−yi)2)
- =12m∂∂θjm∑i=1(xiθ−yi)2
- =1m∂∂θjm∑i=1xijθj
