深度学习

预处理的时候0中心化，最好数据增强一下，找预训练模型，ReLU激活函数，3*3卷积核，xavier初始化，sgd+momentum或者adam比较好用，bn(可以调大学习率，收敛很快)，dropout(有bn可以去掉，最好加上，会训练慢一些)，batch_size大一点，另外，多尺度训练效果拔群,前几层卷积核可以多一些。

法国博主Jean-Louis Queguiner撰写了这篇《给我8岁的女儿解释深度学习》，以用深度学习技术搭建识别手写数字的神经网络为例，用清晰的方式，解释了深度学习的原理。

正如大多数人所知道的，GPU的处理速度之快得益于它可以高效地处理矩阵乘法和卷积，但是大家并不一定知道真正的理由。GPU如此快速的真正原因是内存带宽和不必要的并行。

机器学习中经典假设中往往假定训练样本各类别是同等数量即各类样本数目是均衡的，但是真实场景中遇到的实际问题却常常不符合这个假设。一般来说，不平衡样本会导致训练模型侧重样本数目较多的类别，而“轻视”样本数目较少类别，这样模型在测试数据上的泛化能力就会受到影响。

我们以图像形式说明下欠拟合、正常拟合、过拟合的场景，左图为欠拟合，此时算法学习到的数据规律较弱，有较差的预测效果，中图为正常拟合的形态，模型能够兼顾预测效果和泛化能力，右图是过拟合的情形，此时模型对训练集有较好的预测效果，但是因为其过度拟合于训练数据，所以对未见过的数据集有较差的预测效果，也就是我们通常说的低泛化能力。

在本章中，我们将介绍如何使用深度学习来解决计算机视觉、语音识别、自然语言处理以及其他商业领域中的应用。首先我们将讨论在许多最重要的AI 应用中所需的大规模神经网络的实现。接着，我们将回顾深度学习已经成功应用的几个特定领域。

深度学习在图像分类、物体检测、图像分割等计算机视觉问题上都取得了很大的进展，被认为可以提取图像高层语义特征。基于此，衍生出了很多有意思的图像应用。

深度学习是机器学习的一个分支，拥有很多的相似性，但是却也不同，深度神经网络结构在自然语言处理、计算机视觉、生物信息学和其他领域解决了各种各样的问题。深度学习经历了一场巨大的最近研究的重现，并且在很多领域中已经展现出最先进的成果。

在跟深度模型打交道的过程中，使用 DNN 解决了一些分类的问题。目前 DNN 好像是非常流行的一种学习方法。但是，如果要问我什么是 DNN，DNN 到底为什么这么受欢迎，它到底有哪些优势？以下是我个人的一些看法和回答。

防止过拟合的方法主要有：正则化；dropout；增加训练数据；提前停止训练过程。