神经网络

权值初始化的方法主要有：常量初始化（constant）、高斯分布初始化（gaussian）、positive_unitball初始化、均匀分布初始化（uniform）、xavier初始化、msra初始化、双线性初始化（bilinear）

激活函数是神经网络中一个至关重要的概念，决定了某个神经元是否被激活，判断该神经元获得的信息是否有用，并决定该保留还是该去掉此神经元。本文作者 Vandit Jain 对激活函数的相关知识进行了一个较为全面的总结。

相信我们都做过一些图片分类或者是其他分类的项目，我们知道神经网络是在w和b参数调节基础上，使得x与y达到对应输出的效果。比如最经典的Mnist手写字体识别，给一张图片模型判断后将会输出数字结果.....

人工神经网络(简称：神经网络)的思路是利用计算模拟生物神经网络的信息处理的能力，来进行数据分析。它是人工智能研究的范畴，更是属于机器学习算法领域。是一种分析数据的模型。

神经网络根据中间功能层的不同分为不同的神经网络。主要有三种： 全连接神经网络(FNN) ；卷积神经网络（CNN） ；循环神经网络(RNN)

Dropout是在《ImageNet Classification with Deep Convolutional》这篇论文里提出来为了防止神经网络的过拟合。它的主要思想是让隐藏层的节点在每次迭代时(包括正向和反向传播)有一定几率(keep-prob)失效。

神经网络中损失函数后一般会加一个额外的正则项L1或L2，也称为L1范数和L2范数。正则项可以看做是损失函数的惩罚项，用来对损失函数中的系数做一些限制。

当一个CNN网络做forward时，对于硬件资源的利用情况，称之为利用率。

SGD（Stochastic Gradient Descent）就是最常见的随机梯度下降。向着参数的梯度的负方向改变（梯度方向是增加的方向）。相比于普通SGD，Momentum update在深度网络中收敛更好。

作者：Lilian Weng
编译：ronghuaiyang

<strong>导读</strong>

如果你和我一样，不明白为什么深度神经网络可以推广到样本外的数据点，而不会过拟合，请继续阅读。

如果你像我一样，有传统机器学习的经验进入深度学习领域，你可能会经常思考这样一个问题：由于一个典型的深度神经网络有这么多的参数，训练误差很容易达到完美，那么它一定会遭受大量的过拟合。如何将其推广到样本外数据点？

在理解为什么深层神经网络可以泛化的过程中，我想起了一篇关于系统生物学的有趣的论文——《生物学家能修理收音机吗?》。如果一位生物学家打算用她在生物系统上工作的方法来修理一台无线电设备的话，可能会很困难。由于无线电系统的全部机制还没有被揭示出来，小的局部功能可能会给出一些提示，但它很难显示系统内的所有交互，更不用说整个工作流程了。无论你是否认为它与DL相关，它都是一本非常有趣的读物。

我想在这篇文章中讨论一些关于深度学习模型的泛化性和复杂性度量的论文。希望它能帮助你理解为什么DNN可以泛化。