深度学习

想做计算机视觉？深度学习是最近的发展方向。大规模数据集加上深度卷积神经网络（CNN）的表征能力使得超精确和稳健的模型成为可能。由于计算机视觉领域广泛而复杂，因此解决方案并不总是很清晰。计算机视觉中的许多标准任务都需要特别考虑：分类，检测，分割，姿势估计，增强和恢复以及动作识别。

深度神经网络是连接主义系统，通过它通过学习例子来完成任务，而不需要事先了解这些任务。它们可以很容易地扩展到数百万个数据点，并且可以通过随机梯度下降进行优化。CNN是DNN的变体，能够适应各种非线性数据点。起始层学习更简单的特征，如边和角，后续层学习复杂的特征，如颜色，纹理等。

去年开始，工作中需要做许多有关 AI 科普的事情。很长时间里一直在想，该如何给一个没有 CS 背景的人讲解什么是深度学习，以便让一个非技术的投资人、企业管理者、行业专家、媒体记者乃至普通大众明白深度学习为什么会特别有效，理解 AI 是如何帮助人们解决具体问题的。

我们在学习人工智能的时候，不管是机器学习还是深度学习都需要经历一个调参的过程，参数的好坏直接影响这模型效果的好坏。今天我们介绍下在深度学习中，调参的技巧主要分为哪些。

近年来深度学习在图像识别、语音识别等领域得到了广泛的应用，取得了优异的效果，但深度学习网络的结构设计没有一般规律可循。本文基于卷积神经网络和递归卷积神经网络模型探究了深度学习网络不同层级间参数分布对网络性能的影响。

设计人员将大量高度并行的计算加载到硬件上，尤其是最初为快速图像渲染而开发的图形处理单元（GPU）。这些芯片特别适合于计算密集型“训练”阶段，该阶段使用许多经过验证的例子来调整系统参数。在“推理”阶段，其中部署深度学习处理的输入，需要更大的存储器访问和快速响应，目前已经可以使用GPU实现。

在机器学习的模型中，如果模型的参数太多，而训练样本又太少，训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题，过拟合具体表现在：模型在训练数据上损失函数较小，预测准确率较高；但是在测试数据上损失函数比较大，预测准确率较低。

NLP的工程化，不是一个个算法的累积，也不是一个个任务的独立优化，而应该是系统工程，综合考虑语言、计算、场景等多种因素，不断演进融合，寻求效果满意解的过程。根据赫伯特.西蒙（图灵奖和诺贝尔奖双料得主）的有限理性模型，受到所处环境的高度复杂性和有限的信息加工能力限制，因此NLP应用落地时，我们不可能遵循”最优化“的策略，而应该以获取当前可接受的“满意解"为目标。

深度学习在视觉领域取得了巨大的成功，即便如此，深度学习在视觉上仍然有很多的局限性，这篇文章从深度学习的历史开始说起，阐述了深度学习在视觉上的局限性，并给出了一些可能的方案。

IoU是一种测量在特定数据集中检测相应物体准确度的一个标准。IoU是一个简单的测量标准，只要是在输出中得出一个预测范围(bounding boxex)的任务都可以用IoU来进行测量。为了可以使IoU用于测量任意大小形状的物体检测，我们需要：① ground-truth bounding boxes（人为在训练集图像中标出要检测物体的大概范围）②我们的算法得出的结果范围。