神经网络

本次所讲的内容为Batch Normalization，简称BN，来源于《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》，是一篇很好的paper。

从直观上来看，一个不规则的卷积核(其shape可以自动学习)似乎更适应输入的pattern。 但考虑更多方面，比如学习效率、操作复杂度这些因素。个人认为，不规则卷积目前不是一个很有应用价值的工作。

神经网络中激活函数的真正意义是什么？激活函数的意义是“让神经网络具备强大的拟合能力”。

神经网络能否代替决策树算法？两者是不同的应用场景。传统的机器学习比如SVM和树算法，要求数据是结构化数据，比如离散或者连续的好几个特征，特征通常都是数值类型，并且具有一定统计意义。

算法中的learning rate a（学习率）、iterations(梯度下降法循环的数量)、L（隐藏层数目）、n（隐藏层单元数目）、choice of activation function（激活函数的选择）都需要你来设置，这些数字实际上控制了最后的参数W和b的值，所以它们被称作超参数。

在神经网络里面，会经常用到activation function，不管是CNN还是RNN亦或是其他带有神经元的网络，activation function都扮演着重要角色。刚接触神经网络的时候，脑子里总会浮现很多问题。为什么会有这么多activation function?为何这个函数就比另一个效果好？这么多函数，我们该使用哪一个？

由于人工神经网络的快速发展，它已经成为模式识别的强有力的工具。神经网络的运用展开了新的领域，解决其它模式识别不能解决的问题，其分类功能特别适合于模式识别与分类的应用。多层前向BP网络是目前应用最多的一种神经网络形式，它具备神经网络的普遍优点，但它也不是非常完美的, 为了更好的理解应用神经网络进行问题求解, 这里对它的优缺点展开一些讨论。

神经网络做分类等问题的核心原理是使用升维/降维、 放大/缩小、旋转、平移、弯曲这5大类操作完成扭曲变换，最终能在扭曲后的空间找到轻松找到一个超平面分割空间。

NNLM是从语言模型出发(即计算概率角度)，构建神经网络针对目标函数对模型进行最优化，训练的起点是使用神经网络去搭建语言模型实现词的预测任务，并且在优化过程后模型的副产品就是词向量。

深度学习是使用现代硬件的人工神经网络的应用。它使开发，训练和使用比过去更大（更多层）的神经网络成为可能。研究人员提出了数千种类型的特定神经网络，它们往往是对现有模型的修改或调整。有时也会有全新的方法。作为一名从业者，我建议你等到模型出现后普遍适用后再使用。因为很难从每天或每周发布的大量出版物的中梳理出效果良好的那个。