阅读更多

1顶
1踩

互联网

原创新闻 2017年深度学习十大趋势预测

2016-12-15 09:46 by 副主编 mengyidan1988 评论(0) 有6199人浏览
引用

原文:10 Deep Learning Trends and Predictions for 2017
作者:Carlos E. Perez
译者:KK4SBB
欢迎技术投稿、约稿、给文章纠错,请发送邮件至heyc@csdn.net

本文作者曾经多次预测了技术发展的趋势,最近的一次预测是“2011年软件发展的趋势与预测”。10项预言中,准确地命中了6项,比如JavaScript VM、NoSQL、大数据分析、私有云、Scala语言等等。今年,他对深度学习的发展趋势做了一个预测,主要是研究领域的趋势预测,而不是工业界的应用。

以下是作者对2017年度的预测内容。

硬件将加速倍增摩尔定律
作者根据其观察到Nvidia和Intel的发展动态,认为这是显而易见的趋势。由于Nvidia具有完整的深度学习生态系统,它们在整个2017年都将主导占据主导地位。在另一个深度学习生态系统成熟之前,没有人会抛弃Nvidia而追求其它的平台。Intel的Xeon Phi方案中途夭折,预计要到2017年年中才能在性能上追赶上Nvidia,那时基于Nervana的芯片才推向市场。Intel的FPGA方案可能因为成本原因而被云提供商所采纳。降低功耗是头等大事。预计到2017年年中,Intel的Nervana芯片每秒可完成30万亿次浮点运算。作者个人猜测,Nvidia目前已经能够实现每秒20万亿次浮点运算,他打赌Intel在2018年之前不会有太多动作。Intel手中的唯一可能的一张王牌是3D XPoint技术。这将有助于提高整个硬件堆栈,但不一定是提升核心能力。

卷积神经网络(CNN)将会统治而RNNs和LSTM将被淘汰
作者认为CNN模型将成为深度学习系统的主流模型。RNN和LSTM模型及其递归设置和嵌套的记忆节点将越来越少地使用,因为它们无法与CNN所抗衡。就如同GOTO在代码中消失一样,作者希望RNN和LSTM模型也被淘汰。

简单的调参工作将被元学习取代
当作者刚开始接触深度学习时,他认为优化算法,特别是二阶的算法能够有巨大的提升。如今,已经有替我们优化模型的深度学习模型了。我们不在需要费尽心思改进SGD算法了,作者认为重要的一个原因是元学习(meta-learning)能够根据领域自适应地优化学习过程。

可微分记忆网络将更常见
记忆模块将从核心节点中抽取出来,只是作为计算机制的一个独立组件,作者觉得这是一个很自然的结果或者说架构。他认为LSTM的遗忘门、输入门和输出门没有必要,它们可以被辅助的可微分记忆模块所取代。这呼应了作者对CNN模型的预测。

强化学习只会变得更具创造性
对于现实的观察永远是不完美的。我们身边存在着大量SGD无法解决的问题。因此,任何实践性的深度学习系统都必须包含某些形式的强化学习。除此之外,强化学习将会出现在各种深度学习的训练过程中。作者认为强化学习极大地促进了元学习。

对抗与合作学习将成为王牌
在过去,我们的深度学习系统都只有单一的目标函数。今后,作者希望看到两个或两个以上的网络合作或竞争来实现一个最佳的解决方案。参见“博弈论揭示了深度学习的未来”。

转移学习引领产业化
Andrew Ng认为这非常重要,作者也表示赞同!

更多的应用程序将使用深度学习组件
在2016年,我们已经看到深度学习在更大的搜索算法中用作一个功能评价组件。alphago采用深层学习来评估策略。谷歌的Gmail自动回复系统将深度学习与集束搜索(beam search)结合。作者希望看到更多的这类混合算法,而不是新的end-to-end的被训练的DL系统。

更多的采用设计模式
深度学习只是众多需要抽象结构的复杂领域之一。尽管它用到了很多高深的数学知识,仍有很多未经证明和模糊的概念可以借鉴在其它复杂领域已被证明是有效的方法,比如在软件开发领域有效。作者认为人们最终会从深度学习与模式设计中得到启发。

工程将超过理论
作者认为研究人员的背景和他们所使用的数学工具会给他们的研究方法带来偏见。深度学习系统和无监督学习系统等等这些新的东西可能我们从来没有遇到过。因此,他觉得没有证据表明我们的传统分析工具将对解开深度学习的谜团提供任何帮助。几十年来,物理学中大量的动态系统一直困扰着作者,他将此类比于深度学习系统。

然而,尽管我们缺乏了解其本质,但是将不会阻止工程上的应用。作者觉得深度学习几乎就像是生物技术或基因工程。我们已经创建了模拟学习机,我们不知道他们是如何工作的,但是这并没有阻止任何人进行创新。
1
1
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • Eclipse插件系列——SQLExplorer插件的安装和使用

    Eclipse插件系列——SQLExplorer插件的安装和使用

  • Eclipse插件系列——SQLExplorer插件

    原文:... 插件名称: SQLExplorer 插件分类: SQLEditor 插件版本: 2.2.4 插件主页:https://sqlexplorer.dev.java.net/ 下载地址:http://puzzle.dl.sourceforge.net/sourceforge/ec

  • 燃烧的远征java(二)-开发环境:Eclipse插件系列——SQLExplorer插件的安装和使用

    插件名称: SQLExplorer 插件分类: SQL Editor 插件版本: 2.2.4 插件主页:...下载地址:http://puzzle.dl.sourceforge.net/sourceforge/eclipsesql/net.sourceforge.sqlexplorer_2.2.4.zip插件介绍:

  • Eclipse和IntelliJ IDEA常用插件推荐总结——待续

    1.Eclipse 插件关键词:decompiler git IDE eExplorer gitblit maven SCM maven Analyzer java development kit platform m2e 插件: Enhanced Class Decompiler spring IDE eExplorer Java 8 support for m2e ...

  • eclipse plugin -- sqlexplorer

    Eclipse插件系列——SQLExplorer插件的安装和使用 Posted on 2006-07-20 17:28 百花岛主 阅读(3528) 评论(5) 编辑 收藏 所属分类: Eclipse插件基础 <!--...

  • Myeclipse学习总结(4)——Eclipse常用开发插件

    介绍:Eclipse的UML插件,支持UML活动图,class图,sequence图,usecase图等;支持与Javaclass/interface之间的相互导入导出。官方网站:...

  • Eclipse的插件大全

    Eclipse的插件大全 DTD 类型约束文件 1. Window->Preferences->XML->XML Catalog->User Specified Entries窗口中,选择Add 按纽 2.在Add XML Catalog Entry 对话框中选择或输入以下...

  • 最佳eclipse插件-top30

    来自:http://www.ajaxline.com/best-eclipse-plugins  PyDev - Python ...pyDev 使的程序员可以使用eclipse来开发Python、Jython和Iron Python应用,而且Pydev+eclipse也成为开发Python的首选IDE。   Eas

  • Android开发-eclipse插件(工具篇)

    一、 查看Android源码的Eclipse插件 网上能够搜到的Eclipse关联Android源码的方法,基本上都是下载源码,然后关联,或者就是在SDK Manager里面下载源码(还不是所有版本的源码都能下载),其实还有一种很方便的...

  • Eclipse插件大全-top30

    <br /> <br />pyDev 使的程序员可以使用eclipse来开发Python、Jython和Iron Python应用,而且Pydev+eclipse也成为开发Python的首选IDE。   EasyEclipse for LAMP   <br />...

  • eclipse插件

    来自:http://www.ajaxline.com/best-eclipse-plugins PyDev - Python Development Environment for EclipsepyDev 使的程序员可以使用eclipse来开发Python、Jython和Iron Python应用,而且Pydev+eclipse也成为开发...

  • Eclipse插件大全 挑选最牛的TOP30

    原文:http://developer.51cto.com/art/201007/214478.htmEclipse插件大全 挑选最牛的TOP...本文详细为各位介绍了最强的30个Eclipse插件。作者:阿风来源:51CTO翻译|2010-07-28 08:47 收藏 分享【51CTO译文】Ecl...

  • node-v12.16.3-x86.msi

    Node.js,简称Node,是一个开源且跨平台的JavaScript运行时环境,它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立,旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎,可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型,这使得它非常适合处理大量并发连接,从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外,Node.js使用了模块化的架构,通过npm(Node package manager,Node包管理器),社区成员可以共享和复用代码,极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展,它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等,因此,开发者可以用JavaScript编写全栈应用程序,这一点大大提高了开发效率和便捷性。 在实践中,许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台,如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能,简化了开发流程,并且能更快地响应市场需求。

  • 云计算基础课件—架构dr.pptx

    云计算基础课件—架构dr.pptx

  • 067ssm-jsp-mysql艺诚美业管理系统.zip(可运行源码+数据库文件+文档)

    L文主要是对艺诚美业管理系统进行了介绍,包括研究的现状,还有涉及的开发背景,然后还对系统的设计目标进行了论述,还有系统的需求,以及整个的设计方案,对系统的设计以及实现,也都论述的比较细致,最后对艺诚美业管理系统进行了一些具体测试。 本文以JSP为开发技术,实现了一个艺诚美业管理系统。艺诚美业管理系统的主要使用者分为管理员;个人中心、会员管理、员工管理、员工打卡管理、技师预约管理、发型美容师管理、技师类型管理、套餐信息管理、套餐类型管理、套餐购买管理、会员充值管理、系统管理,员工;个人中心、员工打卡管理、技师预约管理,会员;个人中心、技师预约管理、套餐购买管理、会员充值管理,前台首页;首页、发型美容师、套餐信息、我的、跳转到后台等功能。通过这些功能模块的设计,基本上实现了整个艺诚美业管理系统的过程。 具体在系统设计上,采用了B/S的结构,同时,也使用JSP技术在动态页面上进行了设计,后台上采用Mysql数据库,是一个非常优秀的艺诚美业管理系统。 关键词 :艺诚美业管理系统;JSP技术;Mysql数据库;B/S结构

  • 【微信小程序毕业设计】外卖点餐系统开发项目(源码+演示视频+说明).rar

    【微信小程序毕业设计】外卖点餐系统开发项目(源码+演示视频+说明).rar 【项目技术】 微信小程序开发工具+java后端+mysql 【演示视频-编号:242】 https://pan.quark.cn/s/cb634e7c02b5 【实现功能】 有管理员,外卖员,餐厅,用户共四个角色。管理员功能有个人中心,外卖员管理,餐厅管理,用户管理,菜品分类管理,菜品信息管理,外卖订单管理,订单配送管理,订单评价管理,在线留言管理,系统管理等。外卖员,餐厅,用户都可以在微信小程序上面进行注册和登录操作。餐厅角色可以在微信小程序上面进行菜品的添加,修改,删除,查询操作,可以对用户的订单进行审核操作,查看订单配送状态和评价,可以查看投诉反馈和在线留言等。外卖员角色可以在微信小程序上面进行订单的抢单操作,查看订单配送和评价信息等。 用户角色可以在微信小程序上面进行菜品的查看和查询,对自己下的订单进行支付操作,查看订单配送和对订单评价,收藏菜品等操作。

  • oplog4j是java项目生成操作日志的工具,兼容spring(高分项目).zip

    Java SSM项目是一种使用Java语言和SSM框架(Spring + Spring MVC + MyBatis)开发的Web应用程序。SSM是一种常用的Java开发框架组合,它结合了Spring框架、Spring MVC框架和MyBatis框架的优点,能够快速构建可靠、高效的企业级应用。 1. Spring框架:Spring是一个轻量级的Java开发框架,提供了丰富的功能和模块,用于开发企业级应用。它包括IoC(Inverse of Control,控制反转)容器、AOP(Aspect-Oriented Programming,面向切面编程)等特性,可以简化开发过程、提高代码的可维护性和可测试性。 2. Spring MVC框架:Spring MVC是基于Spring框架的Web框架,用于开发Web应用程序。它采用MVC(Model-View-Controller,模型-视图-控制器)的架构模式,将应用程序分为模型层、视图层和控制器层,提供了处理请求、渲染视图和管理流程的功能。 3. MyBatis框架:MyBatis是一个持久层框架,用于与数据库进行交互。它提供了一种将数据库操作与Java对象映射起来的方式,避免了手动编写繁琐的SQL语句,并提供了事务管理和缓存等功能,简化了数据库访问的过程

  • 数学规划模型讲义.pptx

    数学模型算法

  • 【前端素材】大数据-大数据可视化系统数据分析通用模版i.zip

    大数据技术指的是用于处理和分析大规模数据集的技术和工具。以下是一些常见的大数据技术和工具: Hadoop:Apache Hadoop是一个用于分布式存储和处理大规模数据的开源框架。它包括Hadoop Distributed File System(HDFS)用于数据存储和MapReduce用于数据处理。 Spark:Apache Spark是一个快速、通用的集群计算系统,提供了比MapReduce更快的数据处理能力。它支持内存计算和更多复杂的数据处理流程。 NoSQL数据库:NoSQL数据库(如MongoDB、Cassandra等)则更适用于处理这类数据。 数据仓库:数据仓库是一个用于集成和分析大规模数据的存储系统,一些知名的数据仓库包括Snowflake、Amazon Redshift等。 数据湖:数据湖是一个存储结构化和非结构化数据的存储池,用于支持数据分析和机器学习应用。 机器学习:大数据技术也广泛应用于机器学习领域,支持大规模数据的模型训练和预测分析。 流式处理:针对实时数据处理需求,流式处理技术(如Apache Kafka、Apache Flink)可以实时。

Global site tag (gtag.js) - Google Analytics