神经网络

zhouhuiya

一般来说，调整神经网络参数W和b是需要大量的数据的，所以我们需要训练数据，对于有监督学习，训练数据会分为数据（X）和标签(Y_label)两个部分，在训练完之后，我们需要查看网络训练的好不好，也就是查看网络在训练集上的准确率。
另外，在训练集上的准确率高不能反映网络训练的好坏，需要在测试集上进行验证，即需要拿网络从来没有用过的数据去测试它，然后网络在测试集上的准确率。只有测试准确率高，才能说明网络训练的好。
另外，我们在进行网络设计的时候，网络的层数，卷积核的大小等等参数刚开始也无从下手，不知道怎么去确定，这些参数叫做超参数。一般我们会用数据进行训练来不断尝试这些超参数的好坏，这里用到的数据叫验证集（注意，在验证超参数的好坏的时候，不能用训练集的数据，因为训练集已经参与了网络参数的调整过程），所以，一般流程如下：在用训练集训练完之后，用验证集去判断哪个超参数最好，选择最好的那组超参数，然后用测试集去测试网络训练的准确度。
验证集一般从从训练集里面划分，例如把训练集划分为10，其中随机9分作为训练集，1份作为验证集，接着任选其余9份作为训练集，1份作为验证集，如此循环，反复去验证某一组超参数最优。
过拟合及抑制方法
过拟合
  当网络学习能力比较强，训练集的数据少，训练的次数多的时候，可能会导致网络学习的过于细枝末节，造成了网络在训练集上准确率很高，在测试集上准确率急剧下降。 这个现象就是过拟合。
  例如，现在我们只想对是非人类进行判断，一个简单的是非问题。当训练集只有5张图片且5个人全是带着帽子或者眼镜。网络通过反复学习后，可能出现的情况就是，它认为必须带帽子或者眼镜的人才被认为是人，换句话说，网络的泛化能力就不行了，它没有学到人类的通用特征，而是学到了一些更细枝末节的东西，然后它以这些细节去评判是非人类，这样在测试时准确率当然会急剧下降。
————————————————
版权声明：本文为CSDN博主「小研一枚」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_35027690/article/details/103490445