损失函数和优化

k邻居分类可以帮助我们对相应的图像进行线性分类

我们需要量化w的缺点，所以会引出损失函数

svm处理器同时处理多个in，

我们只需要关心正确的分数比不正确的分数大就行

不论如何摇晃图像，关心的是正确的判断值总是会比不正确的判断值高出一分，只要满足这一条件，保证正确的判断就行

损失函数是为了告诉算法，你所期望的是哪一种类型的错误改正

如果我们对于输入的w翻倍，最后的值也会翻倍

我们所期待的理论上并不是纯粹的对于损失值取0

如图所示：一条非常摇摆的曲线确实能够很好的完成对于多个点的分类，但是与此同时，如果出现一些新的点，那么原本的分类器表现往往不尽人意，我么可能比起那条蓝色的线，更加期待得到紫色的那条线的结果

正则向：

为了解决这个问题，引入正则向的概念，从而帮助我们模型训练一个较为简单的模型，通常我们应该选择较为简单的竞争选择

迫使一条较为摇摆的线倾向于直线

通过软性的惩罚对原模型进行调整

l1和l2选择主要在于w的需求

l1本身更加倾向于分散式的数据

l1倾向于稀疏

我们对于其的分类本身分数并没有做出过多的规范，我们主要只是希望能够使不正确的类得分比错误的类得分高就行

首先进行幂函数的取正，然后通过标准化使其的和为1

寻找损失函数

梯度下降法

在每一点上都对局部的形状进行区域梯度下降

超参数主哟集中在步长这个值

在神经网络技术出现前

主要人们关注的是区域梯度直方图

对象梯度直方图

对于定向梯度进行相关分类