最新文章列表

【转】亿级Web系统的容错性建设实践

转载:http://mp.weixin.qq.com/s?__biz=MzAwNjQwNzU2NQ==&mid=402841629&idx=1&sn=f598fec9b370b8a6f2062233b31122e0&scene=4#wechat_redirect   亿级Web系统的容错性建设实践 2016-04-04 徐汉彬 架构师 架构师 架构 ...
zhongmin2012 评论(0) 有558人浏览 2016-06-02 09:55

3.spark streaming Job 架构和容错解析

一.Spark streaming Job 架构 SparkStreaming框架会自动启动Job并每隔BatchDuration时间会自动触发Job的调用。 Spark Streaming的Job 分为两大类: 每隔BatchInterval时间片就会产生的一个个Job,这里的Job并不是Spark Core中的Job,它只是基于DStreamGraph而生成的RDD的DAG而已;从 ...
zhou_yuefei 评论(0) 有1404人浏览 2016-05-08 18:41

14.RDD深度解析

开篇:spark各种库,sparksql,sparkmachicelearning,等这么多库底层都是封装的RDD。意味着 1:RDD本身提供了通用的抽象, 2:spark现在有5个子框架,sql,Streaming,流式处理,机器学习,图计算,sparkR。可以根据具体领域的内容建模,建第6个库,第7个库。必须掌握spark的这个通用抽象基石-RDD.  
zhou_yuefei 评论(0) 有748人浏览 2016-04-22 20:42

分布式文件系统HDFS简介

            本文转自http://storage.chinabyte.com/107/12416607.shtml。     Hadoop 分布式文件系统 (HDFS) 是运行在通用硬件上的分布式文件系统。HDFS 提供了一个高度容错性和高吞吐量的海量数据存储解决方案。HDFS 已经在各种大型在线服务和大型存储系统中得到广泛应用,已经成为各大网站等在线服务公司的海量存
seandeng888 评论(0) 有1180人浏览 2015-05-14 16:19

ZooKeeper集群高可用

今天按照zookeeper官网的文档配置了一套zookeeper集群。链接如下: http://zookeeper.apache.org/doc/trunk/zookeeperAdmin.html#sc_systemReq 按照官网的建议,我配置了3台的测试环境,三台完全启动之后,查看状态,两台是follower,一台是leader.   ./bin/zkServer.sh statusJ ...
xiaoyu966 评论(0) 有3572人浏览 2014-12-08 16:03

容错性

程序的容错性很重要. 容错性越好,兼容性就越好.比如浏览器解析css时就有很灵活的容错性.当遇到错误的css样式时就直接忽略,而不会报错.忽略错误的样式,就是容错.有什么好处呢?体现在浏览器的兼容性上.比如border-radius是HTML5的属性,IE9支持,但是IE8支持.可是我们再IE8中运行时依然正常,而不会因为报错导致不解析网页样式.   Java中也有容错性.比如我之前写了一个 ...
hw1287789687 评论(0) 有1056人浏览 2014-11-13 22:31

(转)谷歌三大核心技术(一)Google File System中文版

谷歌三大核心技术(一)Google File System中文版 The Google File System中文版 译者:alex 摘要 我们设计并实现了Google GFS文件系统,一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS
xuanyuan77777 评论(0) 有1355人浏览 2013-02-11 18:04

浏览器内核引擎——浏览器容错

浏览器具有自动容错的功能,它可以修复无效的内容并继续工作 看下面的代码为例子 <html>  <mytag> </mytag> <div>  <p ...
李佳轩 评论(0) 有1325人浏览 2012-09-09 11:13

最近博客热门TAG

Java(141744) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54919) .net(54785) Web(54514) 工作(54118) Linux(50905) Oracle(49875) 应用服务器(43289) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37267) 数据结构(36424)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics