⼤数据导论习题_⼤数据基础--深度学习（刘鹏《⼤数据》课后
习题答案）
1.简述⼈⼯神经⽹络定义。
⼈⼯神经⽹络简称神经⽹络(NN)，是基于⽣物学中神经⽹络的基本原理，在理解和抽象了⼈脑结构和外界刺激响应机制后，以⽹络拓扑知识为理论基础，模拟⼈脑的神经系统对复杂信息的处理机制的⼀种数学模型。
zhouyumin
⼈⼯神经⽹络从信息处理⾓度，抽象了⼈脑神经元⽹络，模拟神经元信息处理机制，建⽴起⼀个简单的模型，模型之间按照不同的连接⽅式组成不同的⽹络。从基本的功能来说，⼈⼯神经⽹络与⽣物意义上的神经⽹络是基本相似的。
2.简述神经⽹络架构。
古穿今之安居乐业⼀般的神经⽹络是层级结构，每层神经元与下⼀层神经元相互连接，同层神经元及跨层神经元之间相互连接，每层神经元的输出作为下⼀层神经元的输⼊，这种⽹络被称为前馈神经⽹络。多层神经⽹络中除了输⼊层，每个神经元都是⼀个多输⼊单输出信息处理单元。
国家法定假日3.简述误差逆传播算法。
逆误差传播(BP)的反馈机制：输⼊层将数据传⼊隐藏层，隐藏层通过数据之间的联系强度(权重)和传递规则(激活函数)将数据传到输出层。输出层处理传⼊数据，得到⼀个输出结果。若实际输出和期望不符，则⽐较两者得到⼀个误差。再利⽤误差对⽹络进⾏逆推，对⽹络中的连接权重进⾏反馈修正，从⽽完成整个学习。
BP的学习规则：使⽤最速下降法(即梯度下降法)，通过反向传播不断调整⽹络的权值和阈值，获得⽹络的最⼩误差平⽅和(正向传播的输出值与样例值的差的平⽅和)，从⽽到最接近正确结果的权值和偏置。
4.⼤数据与深度学习之间有什么样的关系？
随着CPU和GPU计算能⼒的⼤幅提升，深度学习拥有了更⾼效的硬件平台作为⽀撑。⼤数据时代的海量数据解决了早期神经⽹络由于训练样本不⾜出现的过拟合、泛化能⼒差问题。因此，⼤数据需要深度学习，深度学习的发展⼜需要⼤数据⽀撑。黄河的作文
5.简述⼈⼯智能的未来发展。
未来应该是⼀个⼈⼯智能的世界。⼀朵花可能拥有智能，根据主⼈的⼼情来开放；每个⼈都有⼀个智能伴侣，让我们更加理性地购物；甚⾄还能帮助信徒决定他们的⼈⽣信仰等。未来的⼈⼯智能将很多领域代替⼈类，并能服务我们⼈类⾃⾝，处理我们的⽇常⽣活。
6.⽬前影响⼒⽐较⼤的深度学习模型有哪些？
少先队员申请书怎么写?(1)卷积神经⽹络
(2)深度置信⽹络
(3)循环神经⽹络
7.⾃动编码器主要有哪两种变体？
(1)稀疏编码器(Sparse AutoEncoder)。前提是当隐层节点数少于输⼊的时候，将相当于⼀个降维的过程，类似pca；在AutoEncoder的中间隐层加上L1的Regulations限制，就得到了Sparse AutoEncoder，L1主要⽤来约束每⼀层节点中⼤部分为0，少数为1。
(2)降噪⾃动编码(Denoising AutoEncoder)。最具代表性的就是去噪⾃编码器，应⽤范围⼴，其中去噪⾃编码器只需要去掉噪声，并保证隐层节点⼩于输⼊层节点；Masking Noise的⾃编码器只需要将⾼斯噪声改为随机遮挡噪声；VAE(Variational AutoEncoder)相对⽐较复杂，VAE中间节点的分布有强假设，拥有额外的损失项，且会使⽤特殊的SGVB算法进⾏训练，⽬前VAE在⽣成模型中发挥了很⼤作⽤。
8.卷积神经⽹络主要有哪些特点？
(1)局部感受区域，在卷积神经⽹络中，神经元只对视野中的某⼀区域产⽣响应，被称为局部响应区域。
(2)权值共享，⼀个卷积层中所有神经元均由同⼀个卷积核对不同区域数据响应⽽得到的，即共享同⼀个卷积核。
(3)降采样，⼀般在卷积后⾯会进⾏降采样操作，对卷积层提取的特征进⾏聚合统计。
9.降采样操作常⽤的类型有哪些？
(1)卷积层(Convolutional Layer)。卷积层是卷积神经⽹络中的核⼼部件。
(2)池化层(Pooling Layer)。卷积神经⽹络中另⼀个重要的概念就是池化，实现⾮线性降采样操作。将输⼊数据分成若⼲不重叠的矩形块，对每⼀个矩形块中的数据进⾏⾮线性操作得到单个数值。
(3)全连接层(Fully Connected Layer)。经过若⼲卷积层和池化层之后，卷积神经⽹络的⾼层通过全连接层实现。
10.简述循环神经⽹络的架构。
循环神经⽹络中存在环形结构，隐藏层内部的神经元是互相连接的，可以存储⽹络的内部状态，其中包含序列输⼊的历史信息，实现了对时序动态⾏为的描述。
11.分别简述CNTK、MXNet、Theano、Torch深度学习软件的特点。
Torch的主要特点：
(1)很多实现索引、切⽚、移调的程序。
(2)通过LuaJIT的C接⼝。
(3)快速、⾼效的CPU⽀持。
又怂又可爱的游戏名字(4)可嵌⼊、移植到iOS、Android和FPGA的后台。
DeepLearning4j主要特点：
(1)依赖于⼴泛使⽤的编程语⾔Java。
(2)集成了Cuda内核，⽀持CPU和分布式GPU。
(3)可专门⽤于处理⼤型⽂本集合。
(4)Canova向量化各种⽂件形式和数据类型。
12.简述深度学习在现实⽣活中的应⽤。
(1)语⾳识别
(2)图像分析
(3)⾃然语⾔处理