总结

知识点

CIFAR-10数据集，5w训练，1w测试，10class，32x32像素

距离度量方法：

L1范数：$ d_1 (I_1, I_2) = \sum_p \lvert I_1^p - I_2^P\rvert$

L2范数：$d_2(I_1, I_2 = \sqrt{\sum_p(I_1^p - I_2^p)^2}$

设置超参数较好的方法：

１．将数据分成训练集，验证集和测试集，使用多组超参数在训练集中运行，并在验证集上进行验证， 并且使用在验证集中表现最好的，放入测试集中运行，看看效果(要保证验证集和测试集完全分隔)

这样得到的数据才是应该写入报告的测试结果，才能展现出训练的算法在未知数据中的表现

２. 交叉验证法：(小数据集中常见)，将数据集分成多个小份，每次换超参数时使用不同的一份作为验证集

线性分类器为什么可以看成一种模板匹配方法：

线性分类器中的权重矩阵W就是找到一种使得对于各个训练数据与权重得到的结果中样本对应的类的值较大的一个方法，这就好像寻找并匹配数据中存在的分布，使得模板与数据相乘后符合这样的分布。