Athony

神经网络学习篇 自写(1)
title: 神经网络学习篇-自写-(1) date: 2018-10-26 21:51:35 BP神经网络学...
扫描右侧二维码阅读全文
18
2019/06

神经网络学习篇 自写(1)

  • title: 神经网络学习篇-自写-(1)
  • date: 2018-10-26 21:51:35

BP神经网络学习

我们给出如下神经网络结构,第一层是输入层(3个神经元), 第二层是隐含层(2个神经元),第三层是输出层。

图片描述1
  • 我们使用以下符号约定,w[l]jkwjk[l]表示从网络第(l−1)th(l−1)th中kthkth个神经元指向第lthlth中第jthjth个神经元的连接权重,比如上图中w221w212即从第1层第一个神经元指向第2层第2个神经元的权重。同理,我们使用b[l]jbj[l]来表示第lthlth层中第jthjth神经元的偏差,用z[l]jzj[l]来表示第lthlth层中第jthjth神经元的线性结果,用a[l]jaj[l]来表示第lthlth层中第jthjth神经元的激活。

因此,第lthlth层中第jthjth神经元的激活为: 图片描述1

现在,我们使用矩阵形式重写这个公式:

定义w[l]w[l]表示权重矩阵,它的每一个元素表示一个权重,即每一行都是连接第ll层的权重,用上图举个例子就是
请输入图片描述

请输入图片描述

更一般地,我们可以把前向传播过程表示:

请输入图片描述

到这里,我们已经说清楚了前向传播的过程,值得注意的是,这里我们只有一个输入样本,对于多个样本同时输入的情况是一样的,只不过我们的输入向量不再是一列,而是m列,每一个都表示一个输入样本。

多样本输入情况下的表示为:
请输入图片描述

其中,此时

请输入图片描述

每一列都表示一个样本,从样本1到m;

w[l]w[l]的含义和原来完全一样,z[l]z[l]也会变成m列,每一列表示一个样本的计算结果。

之后我们的叙述都是先讨论单个样本的情况,再扩展到多个样本同时计算。

最后修改:2019 年 07 月 16 日 10 : 43 AM
如果觉得我的文章对你有用,请随意赞赏

发表评论

© 2018-2019 Copyright   | 浙ICP备18047860号-1| SiteMap