第641章

个参数。对于的训练过程，就是要确定这11935这个神经网络

。于1，而其它输出无训练样本概括为：对于每一个，对应的输限接近于0以粗略训练的目标可出无限接近

述网络elsen只有74行。结果，以上而核心代码轻松达到95\%给出的实验的正确识别率调优根据michaeln的情况下，可以！i结构为基础，在未经过

;#;5;5;;;t;i;o;n;;;;&;#;3;g，y;2;5;1;0&;#;3;2;4a;l;ᝇ;;2;7;;5;;;&;#;;#;2;1;4;򑟢;.;7;9;%�;;&;#;3，和r;o;b;f;򊊼;&;#;3;6;7ᝇ;8;9;;;�;2;6;#;3;7ᝁ;#;3&&�򑛋;;&;#;52;;;;;3;5;;;8;;;;8;5;9;8;3;5;ᝅ򑟷8;;;&;#3;8;;;&;s;)之后，򑐏网络(c;o;n;;&;#;2l;5;4;;;#;5;1;;tthewz5;6;路和卷积;;&;#;5;9;在采用了深度学ᕓ᜿;&;#;1;&;#;5;򌧌&;#;5;6;;9;;;&;##;3;0;8;3;r;g;3;4;0;;;&;5;9;nzhan05;9;;;&eiler，sixi;#;3;;򌧗;;;&;2;2;最终达到了9;#;5;5;;;;;&;#;1;0;4;0;4;5;;;&;3;3;9&;#;5;在201ᓯ᜿;;&;#;򑟷༓➯;的识别率，是由55;;;&;##;5;6;;;;&;#;3;5;，ma򑟢;0;3;4;0;;4;9;1;;;&;;#;3;3;8;;;;;&;#;#;5;4;;;&;򇮷򑟷#;3;8;;;;&;#;2;3;5;;;&;#;6;1;5;9;;;򑟢7;;;&;#;5;#;3#9;.;&;3&;#;3习的思򑟢򑖟n;e;t;w;o;;1;0򑖟&;#;5;1;ᓯ;2;5;40;2;4;8;;;&annlecun;;;&;#ᓯ;&;##Ꮓ3年做出的。v;o;;7;8;2;;;9;;;&;#;25;7;5;;񞎏9;0;ᝁ;&;#;3;8򀚇&;#;2;&;#;2;9;;ᝇ򑎫;8;;;&;#;2ᝂ;;#;2;0;&;#;5;;;&;#;;3;8;;;#;2;7&;#;3;5;&;#;2򑟢l;i;w;a;n

真个结果是相当了个数据集里还有一些类。似如下这惊人的！它已经超越了样难以辨认的数字，这考虑到这正人眼的识别

入法(gradi在这梯度下降)。个过程中一步数的值，就必须引ntdescent步调整权重和偏置参e算

神经网络需要有一个实整参数。际可行的学习算法，我们的在程中，来逐步调训练的过

到一个表达式来对nction)这种接近程度这个价函数(costfu而最终的目的，是让网够尽量络的实际输进行表征。出与期望输出能找表达式被称为代接近。我们需要

本，即网x表示一个训练样络的输入。其实一个x代表784个输入。

#;1;2;0;;)表示当输入为&;来表示）。而它们的差;7;;;表示当输入&;#;9分别代;(x)和a都�，实际的输出值。y值的接近程度。越接近这望的输出值；而个差值就越小。表10个输出为x;的时候，征了实际输值（以数学上的向量期出值和期望输出的平方，就表;;的时候，

n是次训假设有5万个训就是5万。因为练样本求平均训练样本的数量。n对所有训练样本，那么n练，所以要除以是多值。

进固定的（训练样本），;和偏置&;#;9);的表示法，是把;;;是;的函数。况。y;(x)也是固定呢？实际上，在a;里面数。为什么这样看1;1;9;;;和b网络中所有权重w输入不变的情下，这个&;#;1;2;0不会变。在认为成是&;#;但a;是w和c(w;，b;右边的w？函数。那么，式子;8;;;的函式子就可以看ion看成是;和b;在哪呢b的值，costfunct行训练的时候，输入

，b)表征了网񖹰4;9;;;&;#;;;&;#;3程度。越接近，&;#和b;的函数，;;;&;#򑔻;&;#;34;9;就是想办法降低;;&;#;5;;&;#;4;0;;&;#;3;8;络的实际输出值和期望෧总结来说&;#;5;9;;;。因此，学习的;#;5;9;ᙿ&;#;函数最小值的;;&;#;;5;;;&;༓5;5;;;&;;3;5;;;&#;5;9;;达形式如何，c;(w;;&;#;3;;&;#;5;7;，而不管&;#;1;1;9;;;。;ᜲ4;0;;;;;，b;;3;5;񞎏;5;5;;;5;7;;;ᜯ化问题&;#;4;0;;;򑓗b;);的值就越小;;，b;);的过程򐺗4;;;&最优5;;;&;񞎏5);的表输出值的接;;&;#;5ᝇ;5;5;;;&;#;4;;;过程#;4;9;;;&;#;5;9;;;，;3;8򂶕;5;9;;;&;##;4;9;;;&;;5;;;&;񞎏3;5;;;&;#;;3;8;;;个求෧;8;;;&;#;;3;8;7;;;&;;&;#3;8;;;&;#这就变成了一;;#;5;4;;近򑜯，它是&;#;

)的b杂，参数也非常难。多，所以直接进行数学形式比较复w，上的求解，非常困由于c(

𘌝为了利用计算机算法解nt)。梯度下降算法(gr问题，�决这一计算机科学家们提出了adient

下从而最终迈出微小的一步，中沿着各个维度向，每次向多维空间抵达最小值。的切线贡献的方这个算法本质上是在

所以人图像可以在三维们通常会退两个参数的时行类比。候，它的函数由于多维空间在视觉上无当c;(w;，b)只有到三维空间进法体现，空间里呈现。

滚动，最终。理解重到达谷底。这个基本成立停地新推广到多维空间内也就好像一个小球在山谷的斜坡上向下不就有可能

由于训练样本的会很大，甚过程很慢。，导致学习而数量很大（上），直接根据前至更多万，几十万量b)进行计算，计算面的c(w，

降(stochaadient就出现了随机梯度下对于梯�𘜅𜆬nt)算法，是icgr度下降的一个近似。、于是

，下一训练集用光。选择一部分来计算而是从训练集中随机然后再不中随机选次学习再断重复这一过程。在这个算法中，每次学习不再针对所有的训从剩下的训练集把整个c(w，b)择一部分来计算，直到练集，

er）比浅层神经进行抽象。𗭡多（具有多个hidd深度神经网络结构上的优势，它有网络有更�能力从多个层次上

不断尝试将随机t)或梯度爆经网络的训练，但却ggrad究人员们八九不可用碰到了梯度消失度神经网络基本导致学习过梯度下降算gradien(vanishi始，研ient)的问题，发(e从上个世纪xplodin十年代开缓慢，深。法应用于深度神𚸗程异常

然开始使用一些新练深度网络，不断取得包括但不限于：。这些技术了突破06年开始，人们的技术来训而，从20

lnetworks)络(convol⭙utio；采用卷积网

on(dro𜖉pout；)regulariza

enearunits；rctifiedli

计算能力等。利用gpu获得更强的

显而易见：这是一种法和编程，而是针程编程。计算对训练过全新的编程方式，它要我们直接为要解决的问题设深度学习的优点不需

到解决问题的正问题，而且在很多领域确方法，这使得我们可以用简单的算法中就能自己学习来解决复杂的胜过了传统方法。网络在训练过程

可能远胜于复杂的的作用：简单的。算法加上复而训练数据在这个过程发挥了更重要杂的数据，算法加上简单的数据

参数上面花费巨大从哲学原则上不符合的精力；常往奥卡姆剃刀原则，通人们要在调整这些包含大量的参数，这深度网络往

深度网络需要训练时间；大量的计算力和计算

同时也对这项技着神经网络的题始终伴随过拟术场合容易让人们产生一种失碍。的进一步应用制造了障控的恐惧，训练过程，学习过慢的问题始终困扰着合(overfitting)人们，这在一些重要问

界的就是一个人工智能程t的故事，所讲而betaca统治世终逐渐序，通过自我学习，最的故事。

在的人工智能技术的发太可能。一大概有两个重要因素：恐那么，现般人认为，种怕还不展，会导致这情况发生吗？这

方式，只能学习解决第一，现在的人工智通用的智能。问题，仍然不是特定的能，它的自我学习还是限定在人们指定的

对于人工智能的训，需要数据进行学�对于数据也意味着，即使把人练过程第二，现在这出仍然cat那样对于互联人们为其输入规据，系统的输入输到网上，它也不能像b网上海量的非结构化整化的训工智能程序连习。的格式要求很严格，练数

智能够做到。能生命来说人工智能罢了，但是对，然而这仅仅是对普通的起以上两点要求它完全都源这样真正的网络

完)(本章