“ML”的版本间的差异
来自个人维基
小 |
小 |
||
| 第11行： | 第11行： | ||
:<math>= \frac{1}{m}\sum_{i=1}^m( (h_θ(x_i)-y_i) \frac{∂}{∂θ_j}h_θ(x_i) ) //链式求导法式</math> | :<math>= \frac{1}{m}\sum_{i=1}^m( (h_θ(x_i)-y_i) \frac{∂}{∂θ_j}h_θ(x_i) ) //链式求导法式</math> | ||
:<math>= \frac{1}{m}\sum_{i=1}^m( (h_θ(x_i)-y_i) \frac{∂}{∂θ_j}x_iθ ) </math> | :<math>= \frac{1}{m}\sum_{i=1}^m( (h_θ(x_i)-y_i) \frac{∂}{∂θ_j}x_iθ ) </math> | ||
| + | :<math>= \frac{1}{m}\sum_{i=1}^m( (h_θ(x_i)-y_i) \frac{∂}{∂θ_j}\sum_{k=0}^nx_{ik}θ_k ) </math> | ||
| + | 对于j>=1: | ||
:<math>= \frac{1}{m}\sum_{i=1}^m( (h_θ(x_i)-y_i) x_{ij} ) </math> | :<math>= \frac{1}{m}\sum_{i=1}^m( (h_θ(x_i)-y_i) x_{ij} ) </math> | ||
:<math>= \frac{1}{2m}\frac{∂}{∂θ_j} \sum_{i=1}^m(x_iθ-y_i)^2 </math> | :<math>= \frac{1}{2m}\frac{∂}{∂θ_j} \sum_{i=1}^m(x_iθ-y_i)^2 </math> | ||
:<math>= \frac{1}{m}\frac{∂}{∂θ_j} \sum_{i=1}^mx_{ij}θ_j //链式求导法式</math> | :<math>= \frac{1}{m}\frac{∂}{∂θ_j} \sum_{i=1}^mx_{ij}θ_j //链式求导法式</math> | ||
2018年12月21日 (五) 12:24的版本
Cost Function损失函数
Squared error function/Mean squared function均方误差: [math]J(θ)=\frac{1}{2m}\sum_{i=1}^m(h_θ(x_i)-y_i)^2[/math]
Cross entropy交叉熵: [math]J(θ)=-\frac{1}{m}\sum_{i=1}^m[y^{(i)}*logh_θ(x^{(i)})+(1-y^{(i)})*log(1-h_θ(x^{(i)}))][/math]
Gradient Descent梯度下降
[math]θ_j:=θ_j+α\frac{∂}{∂θ_j}J(θ)[/math]
对于线性模型，其损失函数为均方误差，故有：
[math]α\frac{∂}{∂θ_j}J(θ)= \frac{∂}{∂θ_j}(\frac{1}{2m}\sum_{i=1}^m(h_θ(x_i)-y_i)^2)[/math]
- [math]= \frac{1}{2m}\frac{∂}{∂θ_j}(\sum_{i=1}^m(h_θ(x_i)-y_i)^2)[/math]
- [math]= \frac{1}{2m}\sum_{i=1}^m( \frac{∂}{∂θ_j}(h_θ(x_i)-y_i)^2 )[/math]
- [math]= \frac{1}{m}\sum_{i=1}^m( (h_θ(x_i)-y_i) \frac{∂}{∂θ_j}h_θ(x_i) ) //链式求导法式[/math]
- [math]= \frac{1}{m}\sum_{i=1}^m( (h_θ(x_i)-y_i) \frac{∂}{∂θ_j}x_iθ ) [/math]
- [math]= \frac{1}{m}\sum_{i=1}^m( (h_θ(x_i)-y_i) \frac{∂}{∂θ_j}\sum_{k=0}^nx_{ik}θ_k ) [/math]
对于j>=1:
- [math]= \frac{1}{m}\sum_{i=1}^m( (h_θ(x_i)-y_i) x_{ij} ) [/math]
- [math]= \frac{1}{2m}\frac{∂}{∂θ_j} \sum_{i=1}^m(x_iθ-y_i)^2 [/math]
- [math]= \frac{1}{m}\frac{∂}{∂θ_j} \sum_{i=1}^mx_{ij}θ_j //链式求导法式[/math]
