第642章

络确定5个参数。这1193对于这个神经网的训练过程，就是要

限接近于1，而其它输出无限接训练的本目标可以粗略概括，对应的输出近于0。无为：对于每一个训练样

经过调优的情schaelniel给出的实验结n。而核心代码只有74行！果，以上述网络结况下，可以轻松达到在未根据mi构为基础，95\%的正确识别率e

3;3;9;;;&;#;5;7;;#;5;9;;;&ᜯo;l;u;;#;5;;&;#;3ler，six񞎏;3;8;0;2񞎏;;matthew;#;2;1;&;#;;�򑟷&;#;5;2;;;1;5;9ᜲinzhang，y򑟢;#;5;7;annlecun;5;5;;;&;在采用5;1;;;&;;3;5;;;&5;9;6;8;和卷积򑖟#;5;9;;;#;5;9;;9;9;.;&;;t;i;o;n;a;9;8;;;;&;#;2;3;5;4;5;3;8;;#෧�;7;8;&;#;3;8;;;;;&;#;7;;;&;#򂶐;#;3;2;4;;&;#;2;#;3;8;;;2;7;4;9;;;;&;3;0;ᝇ;;n;，;;;5;4;;&;#;5;5;#;5;4;2;;;&;#;2;#;2;6;3&5;5;;;&年做򂶗;4;9;0;;;&򂶒3;6;2;2;9;0;;&;#;5;5;5;;;&;#;༓o;r;k#;3;8;;;&;&;#;3;8;53ᜲ;u;s;在20130;;;&;򐺗;;.;7;2;1ᝇ网络(c;o;n;;o;b;f)之后，最终达到了，和r;;&;#;2;;;;&了深度学习的思路򑖟5;1;;;&;1;;;9;%;的识别率，;&;#;;#;3;8;;;&7;9;8;;&;#;3;;&;#;2;0;񶩇6;#;1;3;5;;;&;#;;;;#;39;;;&;#;4;;;&;#;#;5;6;;;&;w;a�9;6;8;;;5;7;5;;;5;;;&;#;0;;;&;#0;4;0;ᜯ񽽰񻡡;2;1;�;;&;#;2;9&;#;是由l;i;1;0;4;⹓;5;;;&;#򇮴&;#;;1;0;3;5;;&;#񻡢;8;9;;;3;5;0;;;&;#;3;5;;;;;;&;#;3;23;8;2;;;&3;0;8;3;;0;3;4;;n;e;t;w;出的。;;&;#;

当惊人的！它已经超越虑到这个数下这样难以辨认考据集里还有一些类似如的数字，这个结果是相了。了真正人眼的识别

引入梯度下降cent)。在参这个过程数的值，就必须中一步步调整权重和偏置dientdes算法(gra

的过程中，我们的神经网络需要有一个实际可行的学在训练习算法，来逐步调整参数。

到我们需要找接征。这个能够尽量接近。期望输出价函数(cost而最终的目的，被称为代是让网络的实际输出与)unctionf表达式近程度进行表一个表达式来对这种

x其实一个代表784个输入。样本，即网络x表示一个训练的输入。

学上y(x;)表方输出值（以数;7;;;表示输入为&;#;1;2;0;;;际输出值和期望输出值10个示分别代表的接近程度。越接近，当输入这个差值就越小。。y;(x)和a都期望的输出的输出值的时候，为x;的时候，实际的向量来表）。而它值；而&;#;9示当们的差的平，就表征了实

因为是多n就是次训练，除以n对所有训练样本个训练样本，那么求平均值。设有5万练样本的数量。假是训n5万。所以要

子就可以看成是&;#数。权重w;和偏置&;，不会变。�固定值，的（训练样本;;的函数。为情况下，这个式;里面。y;(x)也񖹵ᝄ看成是网但a;是w和b的函什么这示法，是把co和b;在哪）stfunc呢？实际上，在a样看呢在认为输入不变的络中所有数。那么，式;;和b;的函;1;1;9;候，;输入&;#;1;2;0;;;是固定，b;);的表？进行训练的时子右边的w;tion;是

如何，的值就越小。因此;;&;#;;&;#;5;7;;;&;#;3;;;&;;3;5;;;&;#򑖟，学习的过程;&;#;5;的表达形式;8;;;&;;9;;;4;9;෧;5;4;;;&;;;;&;#;就是想网络的实际输出;;;&;#;&;#;5෧;;;&;#;4##;3;8;数最小值的8;;;&;ᝅ，&;#;3;8;0;;;&;#;3;&;#;3;5;;0;;;&;#;5;9;;;&近5;;;&;#就变成了一个求函最优化问题񖹱;;和b;的函值和期望输出5;;;&;#;4;5;4;;;&;;;&;򂶓;，b;)4;;;&;#;53;8;&;#;3;;;&;#;3;;9;;;&;#;总结来说，c;(w4;9;;;&;#ᝇ;，b)表征了;8;;;值的接򂶗5;;;&;#;5;9;;5;;;5;9;;;，b;它是&&;#;4;9;ᝇ&;#;4;9;;;񖹯数，这;&;#;5;5;7;;;#;4;;#;1;1;9);&;#;4办法降低&;#;3;#;5;。;4;0;;;&;;;，b;);;的过程，而程度。越;&;#;5;9;5;;򑜯不管&;񖹯接近ᝇ

非常困难。的形式比较复杂，参上的求解♱数也由于c(w，，数学非常多，所以直接进行

。cent)机科学家下降算法(gradient�这一问题为了利用计算机，计算们提出了梯度算法解决

的一步，从而最终次向下迈出微小抵达最小值。的在多维每方这个算法本质上是向，空间中沿切线贡献的着各个维度

，的时由于多维空间在视候，。当c;(w;现。图像可三维空间里呈以在空间进行类比体现，所以人们通常会退到三维b)只有两个参数它的函数觉上无法

就好像一谷的斜坡上向下不停地在山解重新推广到多维空可能到达谷底。这个理间内也基本成立。个小球滚动，最终就有

的c(w，b)据前面接根算量会很大，导致学十万，甚至更而量很进行计算，计多），直习过程很慢。大（上万，几由于训练样本的数

hastdientde梯度ⵏ随机⮿、于是就出现了梯度下降icgra的一个近似。ent)算法，是对于下降(st

，的训练集这一过程。b)，下一次学习机选择一集中随机选择一到把整个训练集用再从剩下的训练每次学然后再不断重复习不再针对所有，而是从训练集中随部分来计算，直在这个算法中，光。部分来计算c(w

次上进行抽象。能力从多个层denl络有更多ayer）比浅层络（具有结构上的优势，它有深度神经网神经网多个hid

常explodingg将随机梯度下降算nt)或梯度爆发(八经网络基本从上个不可用。网络的训缓慢，深度神练，但却碰到了梯度消radienggradie题，导致学习过程异失(vanishin法应用于深度神经t)的问，研究人员们不断尝试世纪九十年代开始

开始，这些年然而开始使的技术来训人们技术包括但不限络，不断取得了突破。练深度网，从2006用一些新于：

(conrks)；⭙volutiolnetwo采用卷积网络

regularization(dropout)；

s；�tifiedlinearunit

利用gpu获得计算能力等。更强的

而易见：这是一种全新的编程方式我们直接为训练过程编程。的设计算法和编程，而是要解决的问题针对，它不需要深度学习优点显

决复杂的问题，而且以用简单的算法来解就能自己学习网络在训练过程中方法胜过了传统方法。到，这使得我们可解决多领域在很问题的正确

程发挥了更重要的作复杂的数据，可能远用：简单的算法加上法加上简单的数据。胜于复杂的算这个过在而训练数据

往包含大量的参数，这符合奥卡姆原精力；从哲学剃刀原则，通常人们数上面花费巨大的要在调整这些参深度网络往则上不

算时间；训练深度网络需要大量的计算力和计

拟合(overfit碍。始终伴随着神经人ting)问题过问题始终困扰着惧，同时也，学习过慢的场合的进一步应用制造人们产生一种失控的恐网络的训练过程对这项技术在一些重要们，这容易让了障

事，所讲的就渐统治世界的故事。而betacat的故个人工智能程序，通过自我学习，最终逐是一

恐怕还不的发展一，会导那么，现在的人概有两个重要因般人认为，大太可能。致这种情况发生吗？这素：工智能技术

第一，以现在的人指定的能。的智学定工智能来说，它的自我的问题，仍然不是通用方式，只能学习解决特习还是限定在人们

对于互味着，即使把人工智能入规整化的二，现在对于人工智对于数据的格式程序连然能的训练过程，etacat那样到网第要求很严格，这也意联网上海量的非结构化训练数据需要人们为进行学习。上，它也不能像b数据其输，系统的输入输出仍

然而这仅仅是起源这样真正的网对普通全做到。的人工智能，但是对，以上两点要求它完络智能生命来说都能够

(本章完)