也许你会读到一些流行的科学文章，声称深度学习的工作原理和大脑相似，或者是根据大脑的工作原理来建模的，但事实并非如此。对这个领域的新人来说，如果认为深度学习和神经生物学有什么关系，那就会让人困惑，只会产生反作用。您不需要那种神秘的包装，就像我们的头脑一样，也不需要忘记深度学习和生物学之间的幻想联系。就我们的目的而言，深度学习是从数据中学习的数学框架。

一、深度学习与机器学习的关系

深度学习是机器学习的一个分支:它是一种从数据中学习和表达的新方法，强调从连续层面学习，对应于越来越有意义的表达。深度学习中的深度不是指使用这种方法获得的更深层次的理解，而是指一系列连续的表达层。数据模型包含多少层，称为模型的深度。该领域的其他名称包括分层表示学习(layeredrepresentationslearning)和分层表示学习(hierarchicalresenting)**。

现代深度学习通常包括几十个甚至几百个连续的表达层，都是从训练数据中自动学习的。相反，其他机器学习方法的重点往往是只学习一两层的数据表达，所以有时也叫浅层学习。

这些层次表明，在深度学习中，几乎总是通过所谓的神经网络(neuralnetwork)模型来学习。神经网络的结构是层层叠叠的。神经网络这个术语来源于神经生物学，但是，尽管深度学习的一些核心概念是从人们对大脑的理解中吸取一些灵感而形成的，但是深度学习模型并非大脑模型。无证据表明，大脑的学习机制与现代深度学习模式相同。

深度学习算法学到的意思是什么？让我们看看一个多层网络(见图1-5)如何改变数字图像，以识别图像中包含的数字。

如图1-6所示，该网络将数字图像转换成与原始图像差异越来越大的表示，其中关于最终结果的信息越来越丰富。深度网络可视为多级信息蒸馏操作:信息通过连续过滤器，纯度越来越高(即对任务的帮助越来越大)。

这是深度学习的技术定义:学习数据表示的多层次方法。这个想法很简单，但事实证明，如果非常简单的机制有足够大的规模，就会产生神奇的效果。

二、用三张图来理解深度学习的原理

现在你已经知道机器学习是通过观察很多输入和目标的例子来实现的(比如图像)向目标(比如标签猫)映射的。你也知道深度神经网络是通过一系列简单的数据转换(层)来实现这种输入到目标的映射，这些数据转换是通过观察示例来学习的。我们来看看这个学习过程是怎么发生的。

在神经网络中，每一层对输入数据的具体操作都保存在这一层的权重(weight)中，它的本质就是一串数字。在术语中，每一层实现的转换都是由其权重参数化的(parameterize，见图1-7)。重量有时也被称为这一层的参数。

在这种情况下，学习意味着为神经网络的所有层找到一组权重值，这样网络就可以将每个例子输入到它的目标中，一个接一个地对应它。但重点是:一个深度神经网络可能包含数千万个参数。找到所有参数的正确值可能是一项非常困难的任务，尤其是考虑到修改某个参数值会影响所有其他参数的行为。

如果你想控制一件事，你必须先观察它。为了控制神经网络的输出，你需要能够衡量输出和预期值之间的距离。它是神经网络损失函数(lossfunction)的任务，也称为目标函数(objectivefunction)。损失函数的输入是网络预测值和真实目标值(即你想要网络输出的结果)，然后计算一个距离值来衡量网络在这个例子中的效果(见图)。

深度学习的基本技巧是利用这个距离值作为反馈信号来微调权重值，以减少当前例子对应的损失值(见图)。这种调整由优化器完成，实现了所谓的反向传播算法，这是深度学习的核心算法。下一章将详细解释反向传播的工作原理。

起初，神经网络的权重是随机分配的，所以网络只实现了一系列的随机转换。它的输出结果自然也与理想值相去甚远，相应地，损失值也很高。但是随着网络处理的例子越来越多，权重值也逐渐向正确的方向微调，损失值也逐渐减少。那就是训练循环(trainingloop)，它可以重复足够多的循环(通常是数千个示例)。

例子是几十次迭代)，获得的权重值可以使损失函数最小化。网络损失最小，输出值尽可能接近目标值，这就是训练好的网络。再强调一遍，这是一个简单的机制，一旦规模足够大，就会产生神奇的效果。

三、深度学习的进展

尽管深度学习是机器学习的一个分支领域，但它在21世纪前十年才兴起。在接下来的几年里，它在实践中取得了革命性的进展，在视觉和听觉等感知方面取得了显著的成果。这些问题所涉及的技术在人类看来非常自然和直观，但长期以来机器一直难以解决。

尤其需要强调的是，深度学习取得了以下突破，这些都是机器学习历史上非常困难的领域:

我们仍在探索深度学习能力的边界。除了机器感知和自然语言理解和自然语言理解之外的各种问题，如形式推理。如果成功，这可能表明深度学习可以帮助人类开展科研、软件开发等活动。

四、理智看待深度学习的发展

尽管近几年来深度学习取得了显著成就，但人们似乎对这个领域未来十年所能取得的成就期望过高。尽管一些改变世界的应用(如自动驾驶汽车)已经触手可及，但更多的应用可能在很长一段时间内仍难以实现，例如可信的对话系统，跨越任何语言的机器翻译，以及自然语言的理解。

特别是，我们不应该过于认真地讨论达到人类水平的通用智能(human-levelgeneralintelligence)。短期内期望过高的风险是，如果技术没有实现，研究投资就会停止，长期以来进展缓慢。

这类事情发生过。人们对人工智能非常乐观，然后失望和怀疑，导致资金短缺。这种循环发生过两次，最早始于20世纪60年代的符号主义人工智能。在早期，人们兴奋地预测了人工智能的未来。马文明斯基是符号主义人工智能方法最著名的先驱和支持者之一。他在1967年宣布:在一代人的时间里...它将基本解决创造‘人工智能’的问题。3年后的1970年，他做出了更准确的定量预测:在3到8年间，我们将拥有一台具有人类平均智能的机器。

到2021年，这个目标看上去还很遥远，远远到我们无法预测要花多长时间才能实现。但是，在60年代和70年代初，一些专家认为这个目标就在眼前(就像今天很多人认为的那样)。几年后，由于这些过高的期望没有实现，研究者和政府资金都转向了。