神经网络

使用全连接层的网络来分类图像是很奇怪的，因为这样的一个网络架构不考虑图像的空间结构。所以一个很直接的考虑就是引入图像的一种空间关系来构建神经网络，也就是这里要介绍的卷积神经网络（CNN）。

卷积操作是卷积神经网络提取特征的主要手段之一，当前各种卷积操作层出不穷，根据场景各有优势。本文将对常见的几种卷积操作的特性进行简要对比。

6月28日，清华大学计图(Jittor)团队发布了可微渲染库Jrender 2.0新版本，正式支持可微体渲染！近期学术界已有大量工作基于可微体渲染完成，其中备受关注的NeRF[1]应用，在Jrender的加速下训练、测试速度增幅可达2倍！

本博客主要内容为图书《神经网络与深度学习》和National Taiwan University (NTU)林轩田老师的《Machine Learning》的学习笔记，因此在全文中对它们多次引用。

本文将讨论如何选择神经网络的超参数。

神经网络之父Geoffrey Hinton也曾感叹自己的学术生涯就像神经网络技术一样起起伏伏。但所幸的是，他并没有就此放弃了对神经网络的研究，反而与许多志同道合的研究者们不断突破、证明自己最初的想法。

RNN最大的不同之处就是在层之间的神经元之间也建立的权连接，相比一般的神经网络来说，他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义，RNN就能够很好地解决这类问题。

在一篇中着核心要素简述了LSTM算法的原理，本篇中将在本人做过一些前置处理的数据集上实现LSTM的一个实际应用案例。

当我们处理与事件发生的时间轴有关系的问题时，比如自然语言处理，文本处理，连续几天的天气状况，语音识别，机器翻译等。在考虑这些和时间轴相关的问题时，传统的神经网络就无能为力了，因此就有了RNN。这里介绍RNN基本原理是为了铺垫我们的重点LSTM网络。