“ML”的版本间的差异
来自个人维基
小 （→Gradient Descent梯度下降） |
小 （→Gradient Descent梯度下降） |
||
| 第8行： | 第8行： | ||
<math>α\frac{∂}{∂θ_j}J(θ)= \frac{∂}{∂θ_j}(\frac{1}{2m}\sum_{i=1}^m(h_θ(x_i)-y_i)^2)</math> | <math>α\frac{∂}{∂θ_j}J(θ)= \frac{∂}{∂θ_j}(\frac{1}{2m}\sum_{i=1}^m(h_θ(x_i)-y_i)^2)</math> | ||
:<math>= \frac{1}{2m}\frac{∂}{∂θ_j}(\sum_{i=1}^m(h_θ(x_i)-y_i)^2)</math> | :<math>= \frac{1}{2m}\frac{∂}{∂θ_j}(\sum_{i=1}^m(h_θ(x_i)-y_i)^2)</math> | ||
| + | :<math>= \frac{1}{2m}\sum_{i=1}^m( \frac{∂}{∂θ_j}(h_θ(x_i)-y_i)^2 )</math> | ||
| + | :<math>= \frac{1}{m}\sum_{i=1}^m( (h_θ(x_i)-y_i) \frac{∂}{∂θ_j}h_θ(x_i) ) //链式求导法式</math> | ||
| + | :<math>= \frac{1}{m}\sum_{i=1}^m( (h_θ(x_i)-y_i) \frac{∂}{∂θ_j}x_iθ ) </math> | ||
| + | |||
:<math>= \frac{1}{2m}\frac{∂}{∂θ_j} \sum_{i=1}^m(x_iθ-y_i)^2 </math> | :<math>= \frac{1}{2m}\frac{∂}{∂θ_j} \sum_{i=1}^m(x_iθ-y_i)^2 </math> | ||
| − | :<math>= \frac{1}{m}\frac{∂}{∂θ_j} \sum_{i=1}^mx_{ij}θ_j </math> | + | :<math>= \frac{1}{m}\frac{∂}{∂θ_j} \sum_{i=1}^mx_{ij}θ_j //链式求导法式</math> |
2018年12月21日 (五) 12:14的版本
Cost Function损失函数
Squared error function/Mean squared function均方误差: J(θ)=12mm∑i=1(hθ(xi)−yi)2
Cross entropy交叉熵: J(θ)=−1mm∑i=1[y(i)∗loghθ(x(i))+(1−y(i))∗log(1−hθ(x(i)))]
Gradient Descent梯度下降
θj:=θj+α∂∂θjJ(θ)
对于线性模型，其损失函数为均方误差，故有：
α∂∂θjJ(θ)=∂∂θj(12mm∑i=1(hθ(xi)−yi)2)
- =12m∂∂θj(m∑i=1(hθ(xi)−yi)2)
- =12mm∑i=1(∂∂θj(hθ(xi)−yi)2)
- =1mm∑i=1((hθ(xi)−yi)∂∂θjhθ(xi))//链式求导法式
- =1mm∑i=1((hθ(xi)−yi)∂∂θjxiθ)
- =12m∂∂θjm∑i=1(xiθ−yi)2
- =1m∂∂θjm∑i=1xijθj//链式求导法式
