深度学习算法-完整指南

深入了解深度学习的世界。

Credit:

深度学习是与\"机器学习\"有关的下义词，而机器学习又是与人工智能有关的下义词。 在过去的几年中，深度学习这个词出现得太频繁了：最广泛的用例是图像处理。 并且，尽管面部识_ C 6 0 T ~ o . D节点的计算系统，其节点的工作方式更像) L $ v E t Z是人脑中的} p 0 P w ! ^ 1 x神经元。 这些神经元在它们之间进行处理并传递V I m F K 4 ! o信息。 每个神经网络 Z | ) 4 k 3 J 5原因，我们想用树来识别图像。 我们向网络提供任何种类的图像，并产生输出。 由于我们知道图像是否实际上有一棵树，因此我们可以将输出与真实情况进行比较并调整n 0 } 7 @网络。 随着我们传递越来越多的图像，网络将犯越来越少的错误。 现在我们可以给它提供一个未知的图像，它将告诉我们该图像是否包含树。 很酷吧？

深入探讨的伟大文章：以简单的方式解释神经网络和反向传播

＃2前馈神经i J | P网络（FNN）

前馈神经网络通常是完全连接的，这意) o 8 - ] ]味着一层中的每个神经元都与下一层中的所有其他神经元相连。 所描述的结构称为\"多层感知器\"，起源于1958年。单层感知器只能学习线性可分离的模式，而多层感知a 3 d { b H a器则可以学习数据之间的非线性关系。

前馈网络的目标是近似某个函数& . Q Y e 0 [f。 =（x）将输入x映射到类别y。9 t { Z Y L 前馈网络定义一个映射y = f（x;）并学习导致最佳函数逼近的参数的值。

Credit:

这些模型之所以称为前馈，是因为信息通过从x求值的_ _ h I B V函数，通过用于定义f的中间计算，最后到输出y流动。 没有将模型的输出反馈到自身的反馈d } f p连接。 当前馈神经网络扩展为包括反馈连接时，它们称为递归神经网络。

＃3卷积神经网络（CNN）

除了为机器人和自动驾驶汽车的视觉提供动力外，ConvNets还成T O 0 * Y . r I功地识别了人脸，物体和@ ` K交通标志。

在拉丁语卷积中，\"卷积\"是指团结起来。 出于数学目的，卷积是一个函数越过另一个函数时6 , , u u 4 t ~ F两个函数重叠多少的积分度量。 将卷积视为通9 k /许多任务，这是不合适的。 如d * P I a * {果要预测句子中的下一T q E ? + |个单词，最好考虑一下它前面的单词。

RNN之所以称为递归，是因为它们对序列的每个元素执行相同的任务，并且输出取决于先S & f # ] c前的计算。 RNN的另y r w一种解释：这些网络具有\"内存\"，其中考虑了先验信息。

Credit: Mathworld.

上图显示RNN7 X G C j `已部署到完整的网6 r M络。 通过扫描，我们只需写出网络即可完全保持一致性。 例如，如果序列是5个单词的句子，则扫描将由5层组成，每个单词一层。

在RNN中定义计算的公式如下： T w c T

s_t是步骤t中的隐藏状态。 这是网络的\"内存\"。 s_t作为函数取决于先前的状态和当前输入x_t：s_t = f（Ux_t + Ws_ {t-1}）。 函数f通常是非线性的，例如tanh或ReLU。 计算第一= Z ] ! S个隐藏状态所需的s _ {-1}通常初始化为0 ^ w V F I T h零（零向量）。

o_t-在步骤t退出。 例如，如果我们要预测句子中的单词，则输出可能是字典中的概率向量。 o_t = softmax（Vs_t）

图像描述的生成

与卷积神经网络一起，RNN被用作模型的一部分，以生成未标记图像的描述。 组合模型将生成的单词与图像中的特征相结合：

Credit: M) G Sathworld.

也不无所提，最常用的RNN类型是LSTMp & G b，它比* & ? 6 i C ]RNN更好地捕获（存储）长期依O x | e n . c B |赖关系。 但是请放心，LSTM与RNN本质上相同，只是它们具有不同的计算隐藏状态的方式。

LSTM中的内存称为单元格，您可以将其视为接受先前状$ O ^ i 6态h_ {t-h + R1}和当前输入参数x_t作为输入的黑盒。 在内部，这些单元决定要保存的存储器和要擦除的存储器。 然后，它们将先前的状态，当前存` E l储器和输入参数组合在一起。

这些类型的单元在捕获（存储）长期依赖性方面非常有效。

递归神经网络是递归网络的另一种形式，区别在于它们以树状形式构造。 结果，他们可以对训练数据集中的f Y ? X x { 层次结构进行建模。

由于| 2 : ? `它们与二叉树，上下文和基于自然语言的解析器相y j ! % X O关联，因此通常L F G 6环网络慢得多

＃6自? _ * 1 i o t O |动编码器

自动编码器是直接分配神经网络，可在输出处恢复输入信号。 它们内部有一个隐藏层，这是描述模型的代码。 自动编码器设计为无法将输入准确复制到输出。 通常，它们受到代码尺f y v U d l X寸的限制（它小于信号的尺寸），或者为f u 3 } m激活代码而被罚款。 由于| a c v e & ~ 2编码损失而使输入信号恢复H s $了错误，但是为了使错误最小化，网络被迫学习选择最重要的功能。

Credit: Mathworg J : }ld.

自动编码器可用于预训练，例如，当有分类任务且标记对太少f L k = w时。 或降低数据中的维度以供以后可视化。 或者E 0 B x , ) S，当您只需要学习区分输入信号的有用属性时。

此外，它们的某些发展（也将在后面进行描述），例如变分自动编码器（VAE），以及与竞争性生成网络（G( U p q * + - 2AN）的组合，都给出了非常有趣的结果E ( ^，并且现在处于发展的前沿。 生成模型科学。

＃7深度信任网络和受限的玻尔兹曼机器

受限玻尔兹曼机是一个? N ! T A 0 ! n随机神经网络（神经网络意味着我们有类似G ? 0 . _ H神经元的单元，其二进制激活取决于它们所连接的邻居；随机意味着这些激活具有概率性元素），它由以下组成：

一层可见单位（用户知道并设置其状态的电k S ( G | W影首选项）；

一层隐藏的单元（我们尝试学习的潜Y o g 3 r : j ( ,在因素）； 和

偏差单] Z I L k p d元（其状态始终为开，是一种针对每部电影的不同固有流行度进行调整的方式）。

此外，每个g p ) A i 6 K y |可见单元都连接到所有隐藏单元（此连接是X ( P : d 5 w无向的，因此每个隐藏单 h % $ S 9元也都连接到所有可见单元），而偏置单元连接到所有可见单元和所有隐藏单元。

Credit: Mathworld.

为了使学P p ! ,习变得更容易，我们限制了网络( } - j / b，以便没有可见单元连接到任何其他可见单元，也没有隐藏单元连接到任何其他隐藏单元。

可以堆叠多个RBM来形成深h Q $ P _ q J /度信任网络。 它们看起来完全像完全连接的层6 _ k 3 u，但是它们的训练方式不同。

＃2 W D 28生成对抗网络（GAN）

由于GAN能够以日益显着的准确性理解和重新创建视觉内容，因此它已成为在线零售的流行ML模型。 用例包括R P &：

从轮廓填充图像。

从文本生成逼真的图像。

制作产品原型的真实感描述。

将黑白图像转换为彩色图像。

在视频制作中U p K F y ^ ! H，GAN可用于：

在框架内模拟人类行为和运动的模式。

创建深造

生成对抗P / =网络（GAN）有两个部分：

生成器N n ` i i 9 H K学习生成合理的数据。 生成的实例成为鉴别器的负面训练实例。

鉴别者学会H R } v J 4 y 1了将生成者的假数据与真实数据区分开。 $ 2 X 判别器会因产生令人难以置信的结果而惩罚生成器。

建立GAN的第一步是识别所需的最终输出，并根据这些参数收集初始训练数据集。 然后将这些数据随机化并输入到生成器中，直到获得生成输出的基本精度为止。

Credit: Mathworld.

然后，将生成的图像与原始概念的实际数据点一起馈入鉴别器。 鉴别器对信息进行过滤，并返回介于0和1之间的概率来表示每张图像的真实性（1与真实相关，0与伪造相关）。 然后手动 h V o r w ;检查这些值是否成功，并重复进行直到达到所需结果为止。

＃9 Transformer

Transformer也很新，并且由于开始使循环网络过时而被v 9 r { V广泛用于语言应用。它们基于称为注意的概念，该概念用于强制网络将注意力集中在特定的数据点上。

不必使用过于复杂的LSTM单位，而是使用\"注意\"机制根据输q J # !入的重要性对输入的H l m x * K H不同部分进行加权。 注意机制不过是具有权重的另一层而已，其唯一目的k i x g ! c 是以一种优先级为输入片段，而其他优先级为准的方式来调整权重。

实际上，Transformer由多个堆叠] o C 5 W的编$ 6 s e 5 A g l码器（构成编码器层），多个堆叠的解码器（解码器层）和一堆关注层（自我关注和J 7 [ i编码器-解码器关注）组成

Credit:

Transformer设计用于处理诸如机器翻译和文本摘要之类的各种任务的有序% N ! !数据序列，例如自然语言。 如今，BERT和GPT-2是两个最著1 x 0 5 G名的经过预先训练的自然语言系统，用于各种NLP任务中，它们都基于Transformers。

＃10图形神经网络

通常，非结构化数据不太适合深度学习。 而且，在许多实际应用中，数据都是以图形格式进行非结| 5 R构化和组织化的。 考虑社交网络，化合物，知识图O j t T g I | )，空间数据。

Graph Neural Networks的目的是对Graph数据进行建模，这意味着它们可以识别图中节点之间的关系并为其y @ - . n n % # u生成数字表示。 就像嵌入。 因此，它们以后可以在任何其他机器学习模型中用于各种任务，例如聚类，分类等。

(本文翻译自Oleksii K# & r ~ ( M T ?harkovyna的文章《Deep Learning Algorithms — The Complete Guide》，参考：https://towardsdatascience.c