阅读更多
对于现在流行的深度学习,保持学习精神是必要的——程序员尤其是架构师永远都要对核心技术和关键算法保持关注和敏感,必要时要动手写一写掌握下来,先不用关心什么时候用到——用不用是政治问题,会不会写是技术问题,就像军人不关心打不打的问题,而要关心如何打赢的问题。

程序员如何学习机器学习
对程序员来说,机器学习是有一定门槛的(这个门槛也是其核心竞争力),相信很多人在学习机器学习时都会为满是数学公式的英文论文而头疼,甚至可能知难而退。但实际上机器学习算法落地程序并不难写,下面是70行代码实现的反向多层(BP)神经网络算法,也就是深度学习。其实不光是神经网络,逻辑回归、决策树C45/ID3、随机森林、贝叶斯、协同过滤、图计算、Kmeans、PageRank等大部分机器学习算法都能在100行单机程序内实现(以后考虑分享出来)。

机器学习的真正难度在于它为什么要这么计算,它背后的数学原理是什么,怎么推导得来的公式,网上大部分的资料都在介绍这部分理论知识,却很少告诉你该算法的计算过程和程序落地是怎么样的,对于程序员来说,你需要做的仅是工程化应用,而不需要证明出一项新的数学计算方法。实际大部分机器学习工程师都是利用别人写好的开源包或者工具软件,输入数据和调整计算系数来训练结果,甚至很少自己实现算法过程。但是掌握每个算法的计算过程仍然非常重要,这样你才能理解该算法让数据产生了什么样的变化,理解算法的目的是为了达到什么样的效果。

本文重点探讨反向神经网络的单机实现,关于神经网络的多机并行化,Fourinone提供非常灵活完善的并行计算框架,我们只需要理解透单机程序实现,就能构思和设计出分布式并行化方案,如果不理解算法计算过程,一切思路将无法展开。另外,还有卷积神经网络,主要是一种降维思想,用于图像处理,不在本文讨论范围。

延伸阅读:

神经网络的计算过程
神经网络结构如下图所示,最左边的是输入层,最右边的是输出层,中间是多个隐含层,隐含层和输出层的每个神经节点,都是由上一层节点乘以其权重累加得到,标上“+1”的圆圈为截距项b,对输入层外每个节点:Y=w0*x0+w1*x1+…+wn*xn+b,由此我们可以知道神经网络相当于一个多层逻辑回归的结构。



(图片来自UFLDL Tutorial

算法计算过程:输入层开始,从左往右计算,逐层往前直到输出层产生结果。如果结果值和目标值有差距,再从右往左算,逐层向后计算每个节点的误差,并且调整每个节点的所有权重,反向到达输入层后,又重新向前计算,重复迭代以上步骤,直到所有权重参数收敛到一个合理值。由于计算机程序求解方程参数和数学求法不一样,一般是先随机选取参数,然后不断调整参数减少误差直到逼近正确值,所以大部分的机器学习都是在不断迭代训练,下面我们从程序上详细看看该过程实现就清楚了。

神经网络的算法程序实现
神经网络的算法程序实现分为初始化、向前计算结果,反向修改权重三个过程。

1. 初始化过程
由于是n层神经网络,我们用二维数组layer记录节点值,第一维为层数,第二维为该层节点位置,数组的值为节点值;同样,节点误差值layerErr也是相似方式记录。用三维数组layer_weight记录各节点权重,第一维为层数,第二维为该层节点位置,第三维为下层节点位置,数组的值为某节点到达下层某节点的权重值,初始值为0-1之间的随机数。为了优化收敛速度,这里采用动量法权值调整,需要记录上一次权值调整量,用三维数组layer_weight_delta来记录,截距项处理:程序里将截距的值设置为1,这样只需要计算它的权重就可以了,

2. 向前计算结果
采用S函数1/(1+Math.exp(-z))将每个节点的值统一到0-1之间,再逐层向前计算直到输出层,对于输出层,实际上是不需要再用S函数的,我们这里将输出结果视为0到1之间的概率值,所以也采用了S函数,这样也有利于程序实现的统一性。

3. 反向修改权重
神经网络如何计算误差,一般采用平方型误差函数E,如下:



也就是将多个输出项和对应目标值的误差的平方累加起来,再除以2。实际上逻辑回归的误差函数也是这个,至于为什么要用这个函数来计算误差,它从数学上的合理性是什么,怎么得来的,这个我建议程序员们不想当数学家的话,先不去深究了,现在我们要做的是如何把这个函数E误差取它的最小值,需要对其进行求导,如果有些求导数学基础的话,倒可以尝试去推导下如何从函数E对权重求导得到下面这个公式的:



不会推导也没有关系,我们只需要运用结果公式就可以了,在我们的程序里用layerErr记录了E对权重求导后的最小化误差,再根据最小化误差去调整权重。

注意这里采用动量法调整,将上一次调整的经验考虑进来,避免陷入局部最小值,下面的k代表迭代次数,mobp为动量项,rate为学习步长:
Δw(k+1) = mobp*Δw(k)+rate*Err*Layer

也有很多使用下面的公式,效果上的差别不是太大:
Δw(k+1) = mobp*Δw(k)+(1-mobp)rate*Err*Layer

为了提升性能,注意程序实现是在一个while里面同时计算误差和调整权重,先将位置定位到倒数第二层(也就是最后一层隐含层)上,然后逐层反向调整,根据L+1层算好的误差来调整L层的权重,同时计算好L层的误差,用于下一次循环到L-1层时计算权重,以此循环下去直到倒数第一层(输入层)结束。

小结
在整个计算过程中,节点的值是每次计算都在变化的,不需要保存,而权重参数和误差参数是需要保存的,需要为下一次迭代提供支持,因此,如果我们构思一个分布式的多机并行计算方案,就能理解其他框架中为什么会有一个Parameter Server的概念。

多层神经网络完整程序实现
下面的实现程序BpDeep.java可以直接拿去使用,也很容易修改为C、C#、Python等其他任何语言实现,因为都是使用的基本语句,没有用到其他Java库(除了Random函数)。以下为原创程序,转载引用时请注明作者和出处。
import java.util.Random;
public class BpDeep{
    public double[][] layer;//神经网络各层节点
    public double[][] layerErr;//神经网络各节点误差
    public double[][][] layer_weight;//各层节点权重
    public double[][][] layer_weight_delta;//各层节点权重动量
    public double mobp;//动量系数
    public double rate;//学习系数

    public BpDeep(int[] layernum, double rate, double mobp){
        this.mobp = mobp;
        this.rate = rate;
        layer = new double[layernum.length][];
        layerErr = new double[layernum.length][];
        layer_weight = new double[layernum.length][][];
        layer_weight_delta = new double[layernum.length][][];
        Random random = new Random();
        for(int l=0;l<layernum.length;l++){
            layer[l]=new double[layernum[l]];
            layerErr[l]=new double[layernum[l]];
            if(l+1<layernum.length){
                layer_weight[l]=new double[layernum[l]+1][layernum[l+1]];
                layer_weight_delta[l]=new double[layernum[l]+1][layernum[l+1]];
                for(int j=0;j<layernum[l]+1;j++)
                    for(int i=0;i<layernum[l+1];i++)
                        layer_weight[l][j][i]=random.nextDouble();//随机初始化权重
            }   
        }
    }
    //逐层向前计算输出
    public double[] computeOut(double[] in){
        for(int l=1;l<layer.length;l++){
            for(int j=0;j<layer[l].length;j++){
                double z=layer_weight[l-1][layer[l-1].length][j];
                for(int i=0;i<layer[l-1].length;i++){
                    layer[l-1][i]=l==1?in[i]:layer[l-1][i];
                    z+=layer_weight[l-1][i][j]*layer[l-1][i];
                }
                layer[l][j]=1/(1+Math.exp(-z));
            }
        }
        return layer[layer.length-1];
    }
    //逐层反向计算误差并修改权重
    public void updateWeight(double[] tar){
        int l=layer.length-1;
        for(int j=0;j<layerErr[l].length;j++)
            layerErr[l][j]=layer[l][j]*(1-layer[l][j])*(tar[j]-layer[l][j]);

        while(l-->0){
            for(int j=0;j<layerErr[l].length;j++){
                double z = 0.0;
                for(int i=0;i<layerErr[l+1].length;i++){
                    z=z+l>0?layerErr[l+1][i]*layer_weight[l][j][i]:0;
                    layer_weight_delta[l][j][i]= mobp*layer_weight_delta[l][j][i]+rate*layerErr[l+1][i]*layer[l][j];//隐含层动量调整
                    layer_weight[l][j][i]+=layer_weight_delta[l][j][i];//隐含层权重调整
                    if(j==layerErr[l].length-1){
                        layer_weight_delta[l][j+1][i]= mobp*layer_weight_delta[l][j+1][i]+rate*layerErr[l+1][i];//截距动量调整
                        layer_weight[l][j+1][i]+=layer_weight_delta[l][j+1][i];//截距权重调整
                    }
                }
                layerErr[l][j]=z*layer[l][j]*(1-layer[l][j]);//记录误差
            }
        }
    }

    public void train(double[] in, double[] tar){
        double[] out = computeOut(in);
        updateWeight(tar);
    }
}

一个运用神经网络的例子
最后我们找个简单例子来看看神经网络神奇的效果。为了方便观察数据分布,我们选用一个二维坐标的数据,下面共有4个数据,方块代表数据的类型为1,三角代表数据的类型为0,可以看到属于方块类型的数据有(1,2)和(2,1),属于三角类型的数据有(1,1),(2,2),现在问题是需要在平面上将4个数据分成1和0两类,并以此来预测新的数据的类型。



我们可以运用逻辑回归算法来解决上面的分类问题,但是逻辑回归得到一个线性的直线做为分界线,可以看到上面的红线无论怎么摆放,总是有一个样本被错误地划分到不同类型中,所以对于上面的数据,仅仅一条直线不能很正确地划分他们的分类,如果我们运用神经网络算法,可以得到下图的分类效果,相当于多条直线求并集来划分空间,这样准确性更高。



下面是这个测试程序BpDeepTest.java的源码:
import java.util.Arrays;
public class BpDeepTest{
    public static void main(String[] args){
        //初始化神经网络的基本配置
        //第一个参数是一个整型数组,表示神经网络的层数和每层节点数,比如{3,10,10,10,10,2}表示输入层是3个节点,输出层是2个节点,中间有4层隐含层,每层10个节点
        //第二个参数是学习步长,第三个参数是动量系数
        BpDeep bp = new BpDeep(new int[]{2,10,2}, 0.15, 0.8);

        //设置样本数据,对应上面的4个二维坐标数据
        double[][] data = new double[][]{{1,2},{2,2},{1,1},{2,1}};
        //设置目标数据,对应4个坐标数据的分类
        double[][] target = new double[][]{{1,0},{0,1},{0,1},{1,0}};

        //迭代训练5000次
        for(int n=0;n<5000;n++)
            for(int i=0;i<data.length;i++)
                bp.train(data[i], target[i]);

        //根据训练结果来检验样本数据
        for(int j=0;j<data.length;j++){
            double[] result = bp.computeOut(data[j]);
            System.out.println(Arrays.toString(data[j])+":"+Arrays.toString(result));
        }

        //根据训练结果来预测一条新数据的分类
        double[] x = new double[]{3,1};
        double[] result = bp.computeOut(x);
        System.out.println(Arrays.toString(x)+":"+Arrays.toString(result));
    }
}

小结
以上测试程序显示神经网络有很神奇的分类效果,实际上神经网络有一定优势,但也不是接近人脑的万能算法,很多时候它可能会让我们失望,还需要结合各种场景的数据大量运用去观察其效果。我们可以把1层隐含层改成n层,并调整每层节点数、迭代次数、学习步长和动量系数,以获得一个最优化的结果。但是很多时候n层隐含层的效果并不比1层有明显提升,反而计算更复杂耗时,我们对神经网络的认识还需要多实践多体会。

作者简介:彭渊,在Java技术领域从业十多年,曾撰写多款开源软件,历任淘宝高级专家和华为中间件首席架构师。开源代表作有Fourinone(四不像)分布式核心技术框架、CoolHash并行数据库引擎等,曾出版书籍《大规模分布式系统架构与设计实战》。
责编:周建丁(zhoujd@csdn.net)
  • 大小: 67.7 KB
  • 大小: 16.6 KB
  • 大小: 24.7 KB
  • 大小: 10.1 KB
  • 大小: 14.4 KB
4
0
评论 共 4 条 请登录后发表评论
4 楼 dfsadfaadsf 2016-06-24 20:42
你这个代码里有几个错误。第一个:第22,23有错误,初始化本层的权重数量不对,应该是该层神经元数量和下一层神经元数量。你父级别数量多了一个。第二:第33行,少了对父神经元遍历。你那个数组第二个参数基本是个常量,难怪你初始化权重第二个参数多加一个一,是你这里用length赋值溢出了。
3 楼 Caelebs 2016-05-25 16:59
  
这尼玛啥?
2 楼 darkshadow 2016-02-21 18:57
标题党。。这就是个简单的BPNN,非得说深度学习
1 楼 bewithme 2016-02-18 16:57
我看得都懵逼了

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • Spring Boot进阶(56):数据之美:用ECharts打造炫酷的数据可视化世界!

    SpringBoot如何使用 ECharts 绘制各种花哨的数据图表?一文教会你。

  • 用g.raphael.js高速绘制饼图、柱状图、点状图、折线图(上)

    raphael是一个javascript库,可以用来跨浏览器绘制各种图形,只要是你想得到的图形都可以用raphael绘制出来,而且raphael还可以实现各种常用和常见的动画效果,比如放大、移动、旋转等等。总之只要你想得到的效果,...

  • ASP.NET中数据棒图,饼图,柱状图的实现

    Web中绘制图形的方法大致有:1. VML方式:功能强大,但是非常麻烦...使用控件:Dandus, Aspose.chart,ComponentOne使用方便。虽然有破解,但非开源。ComponetOne: http://blog.csdn.net/ChengKing/category/146827.as

  • 前端使用Echart实现动态图表

    ECharts 是一个使用 JavaScript 实现的开源可视化库,涵盖各行业图表,满足各种需求。ECharts 包含了以下特性:(1)下载的源代码也可以在 ECharts 的官网上直接下载更多丰富的版本,包含了不同主题跟语言,下载地址:...

  • 用gnuplot绘制你的数据

    本文给出一个方便的gnuplot指南,重点是一些术语,能帮助你高效地使用这个工具。 gnuplot是一个自由分发的绘图工具,已经被移植到几乎所有的主要系统上。它有两种工作模式:当你需要调整和美化一幅图使之正确,...

  • 不是吧阿sir,都2020了,不会有人还不知道前端可视化吧

    我们生活在这个数据信息爆炸的里时代,我们开发的每个应用程序都使用或利用了数据来改善我们的各种用户体验。 有时,我们可以给用户提供最佳的数据本身功能。表格和数字图表通常很容易阅读,但很难从大型数据表中...

  • 济南市公安局人口数据备份库项目(数据复制)之二

    4.2.1、数据库同步复制系统部署 (1个Oracle实例) 数据库同步复制环境: 源数据库端: 主机:HP rx5670一台 操作系统:HP UNIX 11.23 数据库:Oracle 9i 存储:HP VA7110一台,日立ASM500一台; ...

  • 优秀的图表JS插件

    1,ichartjs(国产) ichartjs是一款优秀的国产开源插件,作者是王鹤,英文名taylor,毕业于... ichartjs致力于为您的应用提供简单、直观、可交互的体验级图表组件。是WEB/APP图表展示方面的解决方案 。如果你正在开发H

  • js实例 我的收藏

    38.将网页的按钮使能 &lt;SCRIPT LANGUAGE="JavaScript"&gt; function haha() { for(var i=0;i;i++) { if(document.form1.elements[i].name.indexOf("bb")!=-1) document.form1.elements[i].disabled=!document.form1....

  • Javascript如何获取选中项的文本值TEXT不是VALUE

    页面中用的DropDownList控件时,需要用javascript客户端脚本进行验证时,var ddl = document.getElementById("控件名");取得选中的列的文本值ddl.options[ddl.selectedIndex].innerText 取得选中值相对应的valueddl....

  • 55款大数据分析神器:你还在用Excel?

    导读:你都用什么数据分析工具?俗话说的好:工欲善其事,必先利其器!一款好的工具可以让你事半功倍。作者:DC君来源:DataCastle数据城堡(ID:DataCastle...

  • js技巧(我自己看的)

    38.将网页的按钮使能 function haha() {  for(var i=0;i;i++)  {  if(document.form1.elements[i].name.indexOf("bb")!=-1)  document.form1.elements[i].disabled=!document.form1.elements[i]....

  • 最美观最好用的JavaScript数据可视化库都在这里了

    为了帮助你轻松地为你最喜欢的应用程序添加漂亮的数据可视化,这里列出了 最好的 JavaScript 数据可视化库(排名不分先后)。1. D3js star 数:80K D3.js 可能是最流行和使用最广泛的 JavaScript 数据可视...

  • echarts

    数据可视化的展现形式数据可视化有什么用?3.Echarts--商业级数据图表介绍1.什么是Echarts2. Echarts特点4. 项目演示1.项目功能演示2.项目启动与依赖安装5.HelloWord 初体验1.echarts获取前期准备安装2.HelloWord6. ...

  • 有哪些值得推荐的数据可视化工具?

    3.1 类别比较神器:柱状图使用场景/技巧柱状图是使用频率最高的图表,甚至没有之一,使用场景又能被分成以下几个:柱状图使用场景学习传送门:Excel实战篇,让你的图表动起来 - 网易云课堂 3.2 类别比较神器:条形图...

  • Vue-cli 项目中Echarts按需引入

    在项目中如果直接引用已经加载了所有图表和组件的 ECharts 包,体积会比较大,造成资源浪费,最好是能够通过按需引入Echarts模块。...// 引入柱状图 require('echarts/lib/chart/bar'); // 引入提示框和标题组件 re...

  • java 免费图表控件_JAVA制图软件中:10款免费而优秀的图表JS插件

    开发人员很多时候需要使用图表来表现一些数据,而一张图表往往能够比几行密密麻麻的数字表格更能直观地展示数据内容。随着Web技术的发展,从传统只能依靠于flash、IE的vml,各个浏览器尚不统一的svg,到如今规范统一...

  • 快速上手RaphaelJS

    它可以处理SVG、VML格式的矢量图,它使用SVG W3C推荐标准和VML作为创建图形的基础,你可以用Javascript 操作Dom 很容易的创建出复杂的柱状图、走势图、曲线图等各种图表,可以画图,可以画出任意复杂度的图像,以及...

  • js使用技巧

    38.将网页的按钮使能 function haha() { for(var i=0;i;i++) { if(document.form1.elements[i].name.indexOf("bb")!=-1) document.form1.elements[i].disabled=!document.form1.elements[i].disabled; } } &lt;BODY&gt;...

  • asp代码ASP基于WEB个人博客网页设计(源代码+论文+答辩)

    asp代码ASP基于WEB个人博客网页设计(源代码+论文+答辩)本资源系百度网盘分享地址

Global site tag (gtag.js) - Google Analytics