逻辑回归
特征向量——以图片为例
对于一张彩色64x64 的图片，我们可以将其表示为一个维度为64x64x3=12288的向量，其中每个元素代表一个像素点的颜色值。这样的向量称为特征向量。12288指向量的维度，也称为特征数,用n表示。
常用符号
- m：训练样本的数量
- x：特征向量
- y：标签
- (x,y)：一个训练样本
- (x(i),y(i))：第i个训练样本
- X：所有训练样本的特征向量组成的矩阵，维度为(n,m)
- Y：所有训练样本的标签组成的矩阵，维度为(1,m)
逻辑回归模型
给定一个输入特征向量x和一幅图片对应，需要一个算法预测图片中是否有猫。我们可以用一个函数来表示这个算法，这个函数 $\hat{y}$ 表示对y的预测值，即
\[\hat{y}=P(y=1|x)\]$\hat{y}$应该是一个0到1之间的数，因为它是一个概率值
| 其中$x$是特征向量，$y$是标签，$P(y=1 | x)$表示在给定$x$的情况下$y=1$的概率。这个函数就是逻辑回归模型。 |
约定逻辑回归的参数$w$,$w$也是一个维度为(n,1)的向量
参数$b$是一个实数
sigmod函数
\[\hat{y}=\sigma(w^Tx+b)=\frac{1}{1+e^{-(w^Tx+b)}}\] \[\sigma(z)=\frac{1}{1+e^{-z}}\]logistic回归的损失函数
Loss function:
\[L(\hat{y},y)=-(ylog\hat{y}+(1-y)log(1-\hat{y}))\]Cost function:
\[J(w,b)= \frac{1}{m} \sum_{i=1}^{m}L(\hat{y}^{(i)},y^{(i)})=- \frac{1}{m}\sum_{i=1}^{m}(y^{(i)}log\hat{y}^{(i)}+(1-y^{(i)})log(1-\hat{y}^{(i)}))\]梯度下降
\[w:=w-\alpha\frac{\partial J(w,b)}{\partial w}\]找到合适的w和b使得$J(w,b)$最小，这里的$\alpha$是学习率，用来控制每次迭代的步长。
w = w - alpha * dw #dw代码中是w的梯度导数