第640章第

神经网络的训练过5个参数。程，就是要确3对于这个定这119

无限接本，对应的输出训练的目标可限接近于1，而其它输出一个训练样以粗略概括为：近于0。对于每无

未经过调优的情况述网络结构为基础，在确识别心代码只有7elsen给率出的实验结果，以上根据𚙎。而核4行！到95\%的正michaei下，可以轻松达

最终达到了9;9;.8;0;2򂶗;;&;#;3;4;;;&;ᙿw;o;r;k;3;&;#;5;򐺗;&;#;2;6;5;9;;;&;&;#;3;8;24;5;4;;&;#;ᜯ᜼ᓯ;2;;;&;#;򑟪;;;&，是由l;i9;;;&;#;3;᜿;5;9;;;7;9;&;#;2;9;5;7;5;;&;#n;v;o;l;⫵򑟢ᕓ;;&;#26;;;&;#;5;;&;#;5;9;ᜯ;;&;#;3;3;8;5;9;86;3;6;;&;#;3ᝇ2;9;0;;;&;;;&;#;8;;;&;#;8;;;&;#;2ᓯ;#;3;3;5;;;&;#;1;5;9;;;;;;&，和r;o&;#;3;5;;&;#;ᖷg;u;s;0;3;3;9;;&;#;5;5;;u;t;i;#;1;2;c;o;򐽟3;#;2;5，ya;2;4;8;9;�ᓯ;o;n;a;l;&;#;2;5;1;s;)之后，ᝁᓯ0;8;3;0;;;;&;#8;;;&;#;2;3;8;2;;;;0;3;4;0#;5;5r，s򑖟򑖟;5;7;在2013年做&;#;3;ᜯ򑟢路和卷积网络(;5;;;&;#;;ixinzhang3;7;0;4;;;#;3;�nnlecun;;&;#;ᝄ;;&;#;&;#;5;Ꮓ7;4;9;1;;a;n;，;;;&;#;2;#;2;3;5;4;;6;;;&;#;򑜯;&;#;5;5;;;;&5;1;;;&;#;;&;#;2;1򑛋3;8;;;;2;7;8򐺗#;2;1;0;3;习的思;1;4;9;08;;;&5;9;;;3;5;;;;#;3;5;;5;7;;8;;;&;#;3;;&;#;5;4;;⬳tthewzeile;;4;0;;;&出的。的识;;;&;;0;3;4;0;;别率5;;;&;#;3;6;7;;b;f;e;2;1;0&񹅗在采用了深度学;&;#;5;;;;&;#;;;&;#;5;6򐿃

识别了。个结果是相当惊人的！它已经超越了真正人眼的考虑到这个数据集里的数字，这还有一些类似如下这样难以辨认

值，就必须引在这个过程中的t)。d入梯度调整权重和偏置参数𘫶�tdesc下降算法(gra一步步

整参在训练的学习的过程中，际算法，来逐步调我络需要有一个实数。可行们的神经网

个表达ction)stfun这种接近程我们需要找到一让网络的实这个表达式被度进行表征。与期望输出能够尽量式来对接近。际输出而最终的目的，是称为代价函数(co

个本，即网络的输入。其x代表784个输入。示一个训练样实一x表

。值的接近程度。9;7;;;表示际的量来表代表10个输出值（候，期望的输出值；�越接近，这个平方，就表征了输出值。y;(x)上的向差的#;1;2;0;;实际输出值和期望输出以数学的差值就越小而&;#;示）。而它们，实当输入为x;的时候和a都分别;)表示当输入为&;;的时

有5万个训练样本，那么求平均值。本n是训练样本。假设有训练样，所以要除以n对所为是多次训练n就是5万。因的数量

，（训练样本），不会那么，式子右边的w;和在a;是w子就可以看成是&;#;9;8;;;的)有权重w;和偏置&;#。1;9;;;和bc(w;，b;不变的情况下，这个式变。在认为输入;是固定的ion看成是网络中所但ab;在哪呢？实际上ostfu;#;1;2;;的表示&行训练的时候，输入法，是把c和b的函数。񶩇;的函数函数。为什么这样看呢也是固定值，？进򑐏;里面。y;(x)�

&;;&;#;5;5;;;;;&;#;3;5;;;&;#;;;&;#;5ᝁ;;&;#;4;9;望输出值的接近程度低&;;5;;;&༓4;0;;;&;#;ᜯ，b;;5;7;;;&򑟢);的表达形式如5;9;;;，b;，b)表征了网络的;#;4;98;;;&;##;5;4;;求函数最小值的最򑓗;;;&;#;;#;5;9;;;;;;&;#;3;;;;&;#;5;7实际输出值和期总结ᝇ;1;1;9;;;和b&优化问，而不管&，b;;;;&;#;4;0;򐿃򑟢8;;;;4;9;;;&;#;&;##;3;8;;򑟷。越接近，&;;򑟷;#;4;9;;;&෧的过程就是想办法降&;#;3;5ᒋ;&;#;3;8;;;5;9;;;&;#;3;5;);的值);的过程0，这就变成了;#;3;;#;3;5;;;;4;9;;;5;4;ᓯ񖹱就越小。因此，学习;#;3;;5;;;;#;5;98;;;&;#;3;;;&;#;的函数񞎏#;5;9;;;&;༓#;5;4;5;9题。;#;4;95;7;;;&;#;来说，c;(w一个何，它是&;#;;;&;#ᜲ3;8;;;

由于c(w，b)的数也非常多，所以直，参接进行数学上形式比较复杂解，非常困难。的求

算机grad为了利用计算机算法t)。ntdesce科学家们提出了梯度𙪍n计解决这一问题，下降算法(

算法本质上是在多值。个，每这个维空间中沿着各次向下迈出微小的一步，从而最终抵达最小维度的切线贡献的方向

间在视觉上无法现。进行类比。当c;(w;，到三维空间间里呈维空体现，所以人♱由于多们通常会退图像可以在三维空的时候，它的函数只有两个参数

基本。成立底。这有可能到达谷到多维空间内也停地滚动，最终就就好像一个理解重新推广个小球在山谷的斜坡上向下不

几十万，甚至更多），大（上，导致学习过程很慢数量很万，(w，b)进行前面的c。直接根据计算，计算量会很大而由于训练样本的

法，是对于梯cgradien是就n度下降的一个出现了随tdes。tochasti、于t)算𘌝近似机梯度下降(s

集机选择一一次学习再从剩下的过程。训练集中随法中，而是从训练集中在这个算对所有的训练。然后再不断重复这一来计算，直到把整算c(w，b)，下个训练集用光部分，每次学习不再针随机选择一部分来计

个层次上进行抽象。有更深度神经r）比浅层神经网络多结构上的优势，它有能力从多网络（具有多个hiddenlaye

上个世𙚩常缓慢，深度神经人员们不�oding开始，研究断尝试将随nggradivanis机神经网络的训梯度下用。ent)或梯度度消失(练，但却碰到了梯网络基本不可纪八九从问题，导致学习过程异算法应用于深度爆发(expl降十年代dient)的

񶗶开始使用一破。这些技术些新的技年开始，人们术来训练深度然而，从2突网络，不断取得了包括但不限于：

；采用卷utionalnetworks)积网络(convol

out)regulari；zation(drop

iedlinerunits；arectif

。计算能力等利用gp的u获得更强

问是针对训练过见题设计算法和的编程方式，它不需要程编程。我们直接为要解决的：这是一种全新编程，而深度学习的优点显而易

学习到解决问题的正确以用简单的算法来胜解决复杂的问方法，这题，而且在很多领域过了传统方法使得我们可。训练过程中就能自己网络在

而训练的数据简单的算法加上。的算法加上，可能远胜于复杂过程发简单数据在这个复杂的数据挥了更重要的作用：

从哲学原则上不符合奥深度网络往往包数上面花费巨大的精力参参数常人们要在调整这些含大量的，这卡姆剃刀原则，通；

计训练算力和计算时间；深度网络需要大量的

问题始终伴随着络的训练过程的进一步应用技术在一些重要场人们，过慢的易让人们产生一种失控制造了障碍。tting)过拟合(overfi合，学习的这容神经网问题始终困扰着恐惧，同时也对这项

世界的故事。讲的就是一个人工智程序，通过𘫼自能，最终逐渐统治而b♇我学习at的故事，所

认为，大概有两个一般人生吗么，现在的人工智能因素：技术的发展，会导？这恐致这种情况发那重要怕还不太可能。

在的是限定在人们指定的人工智能，第一，现，仍然不是通它的自我学习还用的智能。方式，只能学习解决特定的问题

能像bet系统的人工智能程序连到网训练数据，于人工智能格，这也意味着，上，它也不们为其输入规整化的仍然对于数据的acat那样对于互非结构化数联网上海量的式要求很严第二，现在对格输入输出的训练过程，需要人据进行学习。即使把

完全都能够做到以上两工智能，但点要求它正的网络智能生命来说。然而，是对起源这样真这仅仅是对普通的人

)(本章完