BP网络的一个系统地说明

我们最常用的神经网络就是BP网络，也叫多层前馈网络。BP是back propagation的所写，是反向传播的意思。我以前比较糊涂，因为一直不理解为啥一会叫前馈网络，一会叫BP（反向传播）网络，不是矛盾吗？其实是这样的，前馈是从网络结构上来说的，是前一层神经元单向馈入后一层神经元，而后面的神经元没有反馈到之前的神经元；而BP网络是从网络的训练方法上来说的，是指该网络的训练算法是反向传播算法，即神经元的链接权重的训练是从最后一层（输出层）开始，然后反向依次更新前一层的链接权重。因此二者并不矛盾，只是我没有理解其精髓而已。

随便提一下BP网络的强大威力：
1）任何的布尔函数都可以由两层单元的网络准确表示，但是所需的隐藏层神经元的数量随网络输入数量呈指数级增长；
2）任意连续函数都可由一个两层的网络以任意精度逼近。这里的两层网络是指隐藏层使用sigmoid单元、输出层使用非阈值的线性单元；
3）任意函数都可由一个三层的网络以任意精度逼近。其两层隐藏层使用sigmoid单元、输出层使用非阈值的线性单元。
参考资料：【注】参考自《机器学习》

 

 

=========================================================================

人工神经网络实验系统(BP网络)
一.一些基本常识和原理
[什么叫神经网络?]
人的思维有逻辑性和直观性两种不同的基本方式。逻辑性的思维是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理；这一过程可以写成串行的指令，让计算机执行。然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于以下两点:1.信息是通过神经元上的兴奋模式分布储在网络上;2.信息处理是通过神经元之间同时相互作用的动态过程来完成的。
人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。

[人工神经网络的工作原理]

人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。
所以网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予 (0，1)区间内的随机值，将“A”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能作出正确的判断。
如果输出为“0”(即结果错误)，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“A”模式输入时，减小犯同样错误的可能性。如此操作调整，当给网络轮番输入若干个手写字母“A”、“B”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够作出迅速、准确的判断和识别。一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。
=================================================
荐神经网络研究社区:
人工神经网络论坛
http://www.youngfan.com/forum/index.php
http://www.youngfan.com/nn/index.html(旧版,推荐)
国际神经网络学会(INNS)(英文)
http://www.inns.org/
欧洲神经网络学会(ENNS)(英文)
http://www.snn.kun.nl/enns/
亚太神经网络学会(APNNA)(英文)
http://www.cse.cuhk.edu.hk/~apnna
日本神经网络学会(JNNS)(日文)
http://www.jnns.org
国际电气工程师协会神经网络分会
http://www.ieee-nns.org/
研学论坛神经网络
http://bbs.matwav.com/post/page?bid=8&sty=1&age=0
人工智能研究者俱乐部
http://www.souwu.com/
2nsoft人工神经网络中文站
http://211.156.161.210:8888/2nsoft/index.jsp
=================================================

推荐部分书籍:
人工神经网络技术入门讲稿(PDF)
http://www.youngfan.com/nn/ann.pdf
神经网络FAQ(英文)
http://www.youngfan.com/nn/FAQ/FAQ.html
数字神经网络系统(电子图书)
http://www.youngfan.com/nn/nnbook/director.htm
神经网络导论(英文)
http://www.shef.ac.uk/psychology/gurney/notes/contents.html
===============================================
还找到一份很有参考价值的讲座
<前向网络的敏感性研究>
http://www.youngfan.com/nn/mgx.ppt
是Powerpoint文件，比较大，如果网速不够最好用鼠标右键下载另存.