神经网络

通过神经网络解决多分类问题时，最常用的一种方式就是在最后一层设置n个输出节点，无论在浅层神经网络还是在CNN中都是如此......

我们知道，深度学习神经网络是模仿人类大脑神经元的运行方式而来的。在每一层中，来自上一层（或者输入源）的信号经由神经元处理，将结果和前向信号传递给下一层的神经元。

当机器学习技术用于“关键任务”时，可接受的误差范围变得非常低。在我们用模型进行自动驾驶、协助医生等场景时，我们必须确保模型所做的预测是有效的.随着模糊系统成为我们生活中越来越重要的一部分，测量预测不确定性变得越来越重要。不过好消息是：有几种技术可以测量神经网络中的不确定性，其中一些非常容易实现！

本文简要介绍了提升神经网络性能的方法，如检查过拟合、调参、超参数调节、数据增强。神经网络是一种在很多用例中能够提供最优准确率的机器学习算法。但是，很多时候我们构建的神经网络的准确率可能无法令人满意，或者无法让我们在数据科学竞赛中拿到领先名次......

神经网络中损失函数后一般会加一个额外的正则项L1或L2,也成为L1范数和L2范数。正则项可以看做是损失函数的惩罚项，用来对损失函数中的系数做一些限制。

卷积神经网络四种卷积类型：一般卷积；扩张的卷积；转置卷积；可分离的卷积。

感知机可以说是最古老的分类方法之一了，在1957年就已经提出。今天看来它的分类模型在大多数时候泛化能力不强，但是它的原理却值得好好研究。因为研究透了感知机模型，学习支持向量机的话会降低不少难度。同时如果研究透了感知机模型，再学习神经网络，深度学习，也是一个很好的起点。这里对感知机的原理做一个小结。

本文阐述深度学习中使用的一些初始化技术。任何甚至没有机器学习背景的人都必须知道我们需要学习权重或超参数来制作模型。这些参数控制着我们的算法在看不见的数据上的表现。要学习模型，我们需要初始化参数，应用损失函数然后对其进行优化。

计算机具有高储量的硬盘和强大的CPU和GPU。但是智能手机却没有，为了弥补这个缺陷，我们需要技巧来让智能手机高效地运行深度学习应用程序。深度学习是一个令人难以置信的灵活且强大的技术，但运行的神经网络可以在计算方面需要非常大的电力，且对磁盘空间也有要求。这通常不是云空间能够解决的问题，一般都需要大硬盘服务器上运行驱动器和多个GPU模块。

网络参数确定原则：①、网络节点；②、初始权值的确定；③、最小训练速率；④、动态参数；⑤、允许误差；⑥、迭代次数；⑦、Sigmoid参数；⑧、数据转换。