深度学习

集成学习（ensemble learning）是机器学习中一类学习算法，值训练多个学习器并将它们组合起来使用的方法。这类算法通常在实践中会取得比单个学习器更好的预测结果。

过拟合是指学习时选择的模型所包含的参数过多，以至于出现这一模型对已知数据预测的很好，但对未知数据预测的很差的现象。过拟合的是由数据和模型两方面原因共同造成的，最直接防止过拟合的方法是无限增大训练集的大小，让训练集样本与真实数据分布尽可能接近，但这么做实在是不太现实......

在讲深度学习中优化算法之前，我想有必要对模型优化中常见的挑战有一个总览式的了解，这对于优化算法的理解还是有颇有裨益的。本篇博客是基于古德费洛的《Deep Learing》第8章和杨云的《深度学习实战》第五章总结归纳的。

经常会被问到你用深度学习训练模型时怎么样改善你的结果呢？然后每次都懵逼了，一是自己懂的不多，二是实验的不多，三是记性不行忘记了。所以写这篇博客，记录下别人以及自己的一些经验。

在学习深度学习的时候，会经常遇到信息论相关的概念，而信息论，作为信息时代的基石，其重要性不言而喻，而对于深度学习和机器学习，信息论也是绕不开的，今天给大家分享一些信息论相关的内容，作为学习深度学习和机器学习的同学来说，这些是一定要会的哦！

深度学习19种损失函数，你认识几个？

Batch 的选择，首先决定的是下降的方向。如果数据集比较小，完全可以采用全数据集 （ Full Batch Learning ）的形式，这样做至少有 2 个好处：其一，由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。其二，由于不同权重的梯度值差别巨大，因此选取一个全局的学习率很困难。

对于一个分类的问题的简化，我们可以先训练一个Basic classfier，然后将其共享给following classfier，通过多层的分类器进行特征的提取，用较少的数据就可以训练好网络。而在deep的模型当中，Basic classfier是由神经网络自己学到的，然后通过更多层的网络可以使得classfier逐渐学到更加深层次的特征。这就是deep network能够work的原因。

在深度神经网络中，超参数的调整是一项必备技能，通过观察在训练过程中的监测指标如损失loss和准确率来判断当前模型处于什么样的训练状态，及时调整超参数以更科学地训练模型能够提高资源利用率。下面将分别介绍并总结不同超参数的调整规则。

安全专家与网络罪犯间的战争已成猫鼠游戏，肩负信息保护责任的安全专家与意图破坏数据完整性的网络罪犯势成水火，技术比拼与战术对抗，道高一尺，魔鬼一丈。数字连接性的增加和商业领域整个价值链中几乎所有过程的自动化，催生出了敏捷性这种东西，也发展出了相当高端的威胁，极大地增加了网络安全风险。