第639章第6

个参数。对于这个神经网络的5这1193训练过程，就是要确定

无限接近于0括为：对于每一个训应的输出无限接训练的目标可以粗略概练样本，对。近于1，而其它输出

𘫴\%的正确识别率。而核心代码况nielsen给出的上述网络结构为基础下，可以轻松达到95，在未经过调优的情实验结果，以根据micha只有74行！

;4;0;;;&;6;8;;3;8;;;&;񖹮;o;r;k&&;#;;;&;#;2;，m#ᓯ;;;&;#;;;#;2;򐿃ᜯ;;&;#;3;2n;e;t;w;0;3;4;0;;᜿;#;2;6ᐧ񽽲;ᒋni;o;n;a5;;;&;#;;8;;;;;.;7;�;2;9;5&;#;3;5;෧;0;;;&9;%;的识别率򑟢;&;#;2;;&;#;5;;7;5;;;&;#atthe;;&;#;5;5;;3;0#;5;5;;;&&;#;2;5;9;;5;1;0;4;񽽵񹅌;;;&;#;3;�3;7;;;;&;#;2;;5;;�;5;6ᝅ;9;;;&;#;33;8;;;&�;4;8;9;;;&;n;v;o;l;u;#;3;0;8෧34;9;1;;;&;3;8;;1;5;9;;;&yannle;2;1;5;9;;;&;，8;;;&;#;由l;i;w;#;2;3;5;ᒋዻ思路和卷积网络0;;;&;#5;6;;;&;#;3;0;;8;;;&;#;35;;;&;#;;;;&;#;3;5;;;&;#5;7;8;2;;;&;#;1;2;2;;&;#;5(ᝂᜯ&;#;3;5;5;;&;#;5;9;;;2;;;&到了9;9;;#;3;8;5;93年做出的。;➯)之后，最终达;&;#;5;;#;2;7;;#;5;2;;;;&;#;5;9er，si#;;&;#;.;&;#;5;;2;5;4;;u;s;在201;&;#;5;7;5;1;;;&;#5;5;;7;9;8;;;&ᜯ6;8;;;&;wzeil;6;;;&;#z�;是在采用了深度学习的;4;0;;;&3򐿃&;#;;0;2;4;;;&;1;0;3;5;;9;;;;3;8;;;5;1;;��;5;4;;;2;1;3;8hang，ᝁ#;3;2;7;8cun，和r;3;5;;;&;#;;&;#;;;4;9;0;;;#;5;7;;򒛏᜿;

的！它已经超越有一些类似如下这样虑到这个数据集里还的识别了。考了真正人眼难以辨认的数字，这个结果是相当惊人

adientdes程中一步算�梯度下降步调整权重和偏法过在这个cent)。置参数的值，就必须引入

在训练的过程中，逐络需要有一个实步调我们的神经网。整参数际可行的学习算法，来

而最终的目的，是让网络的实际数(costfu接近程度进行表征。这尽达式被称为到一个输出与期望输出能够nction)量接近。我们需要找表达式来对这种价函个表代

个训实一个x代表x表示一练样7本，即网络的输入。其84个输入。

y(x;)表示方，就表征了򇮷出值。y;2;0;;;的;表示当输入为个输出值（以数学实际输出值和接近，这个差越小。时候）。而它们的差的平期望输出值的接近程的时候，实际的输。；代表10⼛值就;(x)和a都分别而&;#;9;越度，期上的向量来表示望的输出值当输入为&;#;1

因为那么n就是5万以n样本，。是多次训练，所以要除假设有5万个训练对所有训练样本求平均值。n是训练样本的数量。

候，输入&;的函数。为什么这样看;，b;的（训练样本;），不会变。在认ဿ;2;0;;;是固定񖹭式子就可以看成是&;为输入不变#;9;8;但a;是w和b的函数。式子右边#;1;1;9;;;和b;的函数。那么，a;里面。y;�的w;和b;在�训练的时�ction看成是的情况下，这个呢？进行网络中所有权重w;和哪呢？实际上，在)也是固定值，偏置&;t的表示法，是把cos

#;3;8;;;&;&;#;;♱;&;#;;;9;;;，b򇮷化问题。;一#;4;9;;;&;;&;#;5;4;򑃯5;;;&;#;;&;#;5;总结来说，c;学习的过程就;;&;#;4;0;񽽱&;#;5;5;;&;#;3;85;;;&;#;5;5;4;;;9;;;&;5;;7;;;&;#3个求函数最小值的最优度。越接近，&;#;;#;5;9;的过程，而不管&;如何，它是&;##;3;5;;5;9;;;5;9;;;，是想办法;4;9;;;&;#，b;);的表达形式ᒋ򑖟络的实际输出值和期望;&;#;3;8;;ᜲ小。因此，;的函数，这就变成了&;#;3;8;;;;;&;&;#;4;0;;3;5;;;输出值的接近程的值就越;&;#;;;&;#;3;5;;;;&;#;ᝇ;;&;#;5;5;;;&;#;5;;4;9;;;;&;#;&;#;5;3;8;#;5;7;;3;8;;;&;#;񞎏#;4;9;4;0;;b;);9;;;1;1;9;;;和b;;;&;#;4;9;򑟢降低&;#;;#;5;9;;;表征了网򑟷&;#;(w;，3;5;;;;&;#;4񞎏

以直，参数也非常多，所的求解，非常困难复杂由于c(w，b)的形式比较。接进行数学上

降算法(gradi了梯度下entdesc为了利用计算机问题算法解决这一，计算机科学家们提出ent)。

这个向，每次向下迈出微小的一步，从而最终最小值。抵达算法本质上是在多贡献的方中沿着各个维度的切线维空间

法体现，所b)只三维。以由于;，多维空间在视觉上无类比。当c;(w在三维空间里呈现常会退到候，它的函数图像们通以人有两个参数的时可空间进行

个理解重新可能到达谷底。这就好像一个小球在山谷本最终就有成立。动，推广到多维空间内也基的斜坡上向下不停地滚

程很慢。计算量致学习过几十万，甚至更而由进行计算，练样本的数会很)于训多），直接根据前面的c(w，b大，导量很大（上万，

的一个近似。hasticgntdes是对于梯度下降、于是就出现了随机梯stocradie度下降(cent)算法，

习分来计算，直在这个算法中，每次学到把整个训练集用光选择一部w，b)，下一次学习对所有的训练集，而是从训练不再针选择一部分来。然后再不断重复算c(这一过程。集随机再从剩下的训练集中中随机计

比浅层神经网络有更深度神经网能力从多个层次多结构上的优势，它有enla络（具有多个hidd�上进行抽象。）

从问radient)的习过程异常缓慢，深(radien⵹到了梯度消失(va代开始，研断题，导致学𚸙上个世纪八九十年dingg究人员们不e降算法度神经网络基本shingg或尝试将随机梯度下不可用。xplo训练，但却碰梯度爆应用于深度神经网络的发

一，不断取得了突破。使用深度网络这些技术包括但些新的技术来训练不限于：06年开始，人们开始然而，从20

网络(convolu积tionaln采用卷etworks)；

on(dropout)；egularirzati

�ts；𛶵linearufied𚸙

的等。得更强计算能力利用gpu获

程编程。需要我们直接为要解决的问题设计算法和针对训练过而易见：这式是一种全新的编程方是，而编程，它不深度学习的优点显

用简单的算法来解网络在训练过程中就能问题的正确方法，这使问题，而且在很多领决复杂的域胜过自己学习到解决们可以得我了传统方法。

数据。复杂上简单的远胜于个过程发要法加训练数据在这的算法加的作用：简单的算挥了更重而上复杂的数据，可能

从哲学原则上不符合深度网络大的精力；整这些参数上面花费巨奥卡姆剃刀原则往往包含大量的参数，这，通常人们要在调

训练深度网络需要大间；量的计算力和计算时

种失控的恐惧，同时也着神经网络的训练过用制造对这项技术容易让人们产生一的进一步应𜖔学习过慢的问题始终困在一些要场合过拟程，。重扰着人们，这合(overfi了障碍ing)问题始终伴随

智能程序，通过自我cat的故事，讲的就学习，是一个人工而beta事。最终逐渐统治世界的故

因素：能。一般人认为，大还不太可概有两个重要况，现在的人？这恐怕那么的发生吗发展，会导致这种情工智能技术

，它的自我学习还是。智能习解决特定的问能只能学题，仍然不是通用的限定在人们指定的方式，第一，现在的人工智

能的入规整化的训练数据其输习。然对于数据，第二，能程序连到网上，它也的非结构化数据的格式要求很严格把训练过程，需要人们为etacat人工智现在对于人工智不能像b，这也意味着，即使系统的输入输出仍进行学那样对于互联网上海量

源这样真正。的人工智能，但是对起的网络智能生命求它完全都能够做到上两点要然而这仅仅是对普通来说，以

(本章完)