神经网络的激活函数总结
激活函数是神经网络的一个重要组成部分。如果不用激活函数（即相当于激活函数为f(x)=x），在这种情况下，网络的每一层的输入都是上一层的线性输出，因此，无论该神经网络有多少层，最终的输出都是输入的线性组合，与没有隐藏层的效果相当，这种情况就是最原始的感知机。
神经网络
关于神经网络的需要注意的概念总结
对于神经网络的入门概念来说最重要的是一些相关的理解性概念：反向传播、激活函数、正则化以及BatchNomalizim等。其实反向传播归根结底就是一个每一次训练的动态更新的的过程，其遵循的原理是数学中的求导以及链式法则；理解了反向传播，也就能够理解梯度消失等相关的情况以及概念......
《常用算法之智能计算 (二) 》：神经网络计算
神经网络计算（Neural Network Computing NNC）是通过对人脑的基本单元——神经元的模拟，经过输入层、隐层、输出层等层次结构，对数据进行调整、评估和分析计算，得到的一类具有学习、联想、记忆和模式识别等功能的智能算法。要想比较深入的理解神经网络计算，就必须对神经网络系统有一定的理解，本文对其进行一些简单介绍。
训练神经网络不对头？试试这37个建议！
相信大家都遇到过这种情况，训练的时候没什么问题，测试的时候就不对劲了，想找问题，感觉无处入手，那么今天，给你37个建议，看看再说吧。
【神经网络】循环神经网络(RNN)的长期依赖问题
时间序列数据是在不同时间点上统计同一指标，并按照时间先后排列成的一个集合。时间序列的主要作用是了解一个指标的长期趋势和预测未来。循环神经网络（Recurrent Neural Network或RNN )就是一类用于处理序列数据的神经网络。RNN的状态，不仅受输入影响，还受前一时刻状态的影响。
“深度学习”和“多层神经网络”的区别
"深度学习"是为了让层数较多的多层神经网络可以训练，能够work而演化出来的一系列的 新的结构和新的方法。
新的网络结构中最著名的就是CNN，它解决了传统较深的网络参数太多，很难训练的问题，使用了“局部感受野”和“权植共享”的概念，大大减少了网络参数的数量。关键是这种结构确实很符合视觉类任务在人脑上的工作原理。
新的结构还包括了：LSTM，ResNet等。
新的方法就多了：新的激活函数：ReLU，新的权重初始化方法（逐层初始化，XAVIER等），新的损失函数，新的防止过拟合方法（Dropout, BN等）。这些方面主要都是为了解决传统的多层神经网络的一些不足：梯度消失，过拟合等。
从广义上说深度学习的网络结构也是多层神经网络的一种。
传统意义上的多层神经网络是只有输入层、隐藏层、输出层。其中隐藏层的层数根据需要而定，没有明确的理论推导来说明到底多少层合适。
而深度学习中最著名的卷积神经网络CNN，在原来多层神经网络的基础上，加入了特征学习部分，这部分是模仿人脑对信号处理上的分级的。具体操作就是在原来的全连接的层前面加入了部分连接的卷积层与降维层，而且加入的是一个层级。
神经网络纹理合成和损失函数风格转移
稳定可控的神经网络纹理合成和采用直方图损失函数的风格转移
<a href="https://arxiv.org/pdf/1701.08893.pdf">Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses</a>
<font size="3" color="blue"><strong>摘要</strong></font>
快速了解深度学习的工作原理
人工智能（AI）和机器学习（ML）是目前最热门的话题。
术语“AI”每天无处不在。经常听到有抱负的开发者说他们想要学习人工智能。还听到高管们说他们希望在他们的服务中实施AI。但很多时候，很多人都不明白AI是什么。
阅读完本文后，您将了解AI和ML的基础知识。更重要的是，您将了解最受欢迎的ML类型深度学习是如何工作的。
<font size="3"><strong>背景</strong></font>
了解深度学习如何运作的第一步是掌握重要术语之间的差异。
<font size="3"><strong>人工智能与机器学习</strong></font>
人工智能是人类智能在计算机中的复制。
当AI研究首次开始时，研究人员正试图复制人类智能以执行特定任务 - 比如玩游戏。
他们介绍了计算机需要尊重的大量规则。计算机有一个特定的可能操作列表，并根据这些规则做出决策。
机器学习是指机器使用大型数据集而不是硬编码规则进行学习的能力。