深度学习

深度学习的基本原理是基于人工神经网络，信号从一个神经元进入，经过非线性的激活函数，传入到下一层神经元；再经过该层神经元的激活，继续往下传递，如此循环往复，直到输出层。正是由于这些非线性函数的反复叠加，才使得神经网络有足够的能力来抓取复杂的模式，在各个领域取得不俗的表现。

为了让神经网络在训练过程中学习到有用的信息，这意味着参数梯度不应该为0。而我们知道在全连接的神经网络中，参数梯度和反向传播得到的状态梯度以及入激活值有关。那么参数初始化应该满两个条件......

在本文中，我将分享有关深度学习的25个问题，希望能够帮助你为面试做好准备。

卷积神经网络（CNN） 具有局部互联、权值共享、下采样（池化）和使用多个卷积层的特点。使用多个卷积层 能够提取更深层次的特征，组合特征实现从低级到高级、局部到整体的特征提取。

机器学习领域有个很重要的假设：IID独立同分布假设，就是假设训练数据和测试数据是满足相同分布的，这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。那BatchNorm的作用是什么呢？BatchNorm就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的。

深度学习算法现在是图像处理软件库的组成部分。在他们的帮助下，可以学习和训练复杂的功能；但他们的应用也不是万能的。

作为机器学习最重要的一个分支，深度学习近年来发展迅猛，在国内外都引起了广泛的关注。然而深度学习的火热也不是一时兴起的，而是经历了一段漫长的发展史。接下来我们了解一下深度学习的发展历程。

本篇博客主要介绍深度学习中需要掌握的函数，包括一次函数、二次函数、单位阶跃函数、指数函数、sigmoid函数等概念

前文中了解到，神经网络由多个神经单元组成，而本篇博客将会了解到深度学习由多个神经网络组成，并且分为 输入层、隐藏层和输出层，隐藏层涉及到的知识点最多，是本文的重点。

阅读《深度学习的数学》书中第一部分提到了关于 神经元、神经单元、激活函数以及一个非常具有代表性的 Sigmoid 函数，本博客的目的既是对此做一个总结