`
dalan_123
  • 浏览: 84003 次
  • 性别: Icon_minigender_1
  • 来自: 郑州
社区版块
存档分类
最新评论
文章列表
一说到开源大数据处理平台,就不得不说此领域的开山鼻祖Hadoop,它是GFS和MapReduce的开源实现。虽然在此之前有很多类似的分布式存储和计算平台,但真正能实现工业级应用、降低使用门槛、带动业界大规模部署的就是Hadoop。得益于MapReduce框架的易用性和容错性,以及同时包含存储系统和计算系统,使得Hadoop成为大数据处理平台的基石之一。Hadoop能够满足大部分的离线存储和离线计算需求,且性能表现不俗;小部分离线存储和计算需求,在对性能要求不高的情况下,也可以使用Hadoop实现。因此,在搭建大数据处理平台的初期,Hadoop能满足90%以上的离线存储和离线计算需求,成为了各 ...
Hadoop分布式文件系统HDFS 是一种被设计运行在任何通用硬件上的分布式文件系统。是一个高度容错性的系统,适合部署在廉价的机器上,能够提供高吞吐量的数据访问,非常适合大规模数据集上的应用。 1、分布式文件系统   ...

jfinal源码

    博客分类:
  • java
关于jfinal中PathKit的源码分析 /** * new File("..\path\abc.txt") 中的三个方法获取路径的方法 * 1: getPath() 获取相对路径,例如 ..\path\abc.txt * 2: getAbslutlyPath() 获取绝对路径,但可能包含 ".." 或 "." 字符,例如 D:\otherPath\..\path\abc.txt * 3: getCanonicalPath() 获取绝对路径,但不包含 ".." 或 ".&quo ...
在android里面延后处理大致有如下的几种方法 1、Handler和TimerTask相结合 a、定义TimerTask TimerTask task = new TimerTask(){     public void run() {         Message message = new Message();             message.what = 1;             handler.sendMessage(message);       }        }; b、定义Handler Handler handler = new Han ...
关于webviewclient 和 webchromeclient 一、区别 在android中使用webview时经常使用过程中可能会接触到WEBVIEWCLIENT与WEBCHROMECLIENT,那么这两个类到底有什么不同呢? WebViewClient主要帮助WebView处理各种通知、请求事件的,比如:onLoadResourceonPageStartonPageFinishonReceiveErroronReceivedHttpAuthRequestWebChromeClient主要辅助WebView处理Javascript的对话框、网站图标、网站title、加载进度等比如 ...

jvm那些事 一

    博客分类:
  • java
jvm是虚拟机,也是一种规范。遵循着冯.诺依曼体系结构的设计原理。jvm是通过在操作系统上建立虚拟机,再有自己定义一套统一的数据结构和操作指令,再将统一的语言翻译给各大操作系统,进而实现跨平台。也就是说jvm是java的核心,也是java一次编译到处运行的本质所在。 一、组成和原理 从根本上来说,jvm只是一种规范,是一个虚拟机,虽然遵循着冯诺依曼的computer的设计原理,但是它却不是真实的实体计算机。那么它的构成也不是存储器、控制器、运算器、输入输出等设备。所以用合理的话说,jvm更像是运行在操作系统中的应用或者进程。那么它的组成也就是所谓的功能模块构成。现有比较流行的jvm:ora ...
http://blog.jobbole.com/88453/
sql server中行转列在sql2005之后,sqlserver引入了pivot运算符,也即是可以旋转行为列,它主要基于实体属性模型模型(EAV)数据库.EAV模型数据库可以扩展数据库实体,而不需要进行数据库架构的修改。因而,eav存储实体的属性采用键值对模型的表;举个栗子:create table eav_table( Id INT NOT NULL, Attribute CHAR(100) NOT NULL, Value SQL_VARIANT NOT NULL, PRIMARY KEY (Id,Attribute) )go;-- insertinsert eav_table(Id,A ...
在大多数人观念里,在Java,c#中关于CPU这样的底层是可以不用了解的,那都是从c++/c的事情。但是随着东西深入接触,剖析,结果却非如此。接下来给大家 说下CPU—CPU缓存 CPU一般包括三级缓存分别为一级,二级,三级,随着级别越大速度越慢。 一级缓存,一般比较小,也是靠近CPU最近的,执行速度最快,在CPU一般有两个一级缓存,分别用来存储数据和指令 二级缓存,较之一级缓存来说距离稍远些,容量变大些,具体可能为256k等,一般CPU只有一个二级缓存 三级缓存,又离CPU更远了,不过他却是三个级别中最大,比如12m,也是速度最慢的相较一二级缓存来说,一般一个CPU插槽共享一个三级缓 ...
现在“分布式”的概念越来越广泛,分布式db、分布式cache等,在设计的过程免不了牵扯到哈希算法。接下来介绍下一致性哈希算法。 首先举个栗子:比如我们开发一个网站,随着网站的规模和受众度的增加,使得我们不得不想 ...
一大早,上班就被霉运撞中;所有的浏览器直接被iStartSurf.com挟持了。翻阅各种国内解决方案,结果只是扯蛋居多。不过幸运的是还是扒到国外提出的解决方案,具体步骤如下1、首先完全卸载自己电脑里面的iStartSurf程序2、接下来可以完全参考如下操作 网址:http://nabzsoftware.com/types-of-threats/istartsurf    
关于LRU这个名词在很多地方或听说,或使用,接下来看下lru缓存回收的实现 1、大体的想法     a、查询出最近最晚使用的项     b、给最近的使用的项做标记 通过使用链表就可以完成这两个操作,关于最近最少使用的项只需要返回链表的尾部;标记最近使用的项,只需要将该项移除并放置到头部,那么难点就出现 你如何能够快速在链表定位对应的该项? 这时候多半很多人想到使用哈希表,它可以在常规的时间内容,定位到某一个对象,采用 key关联存放链表节点的哈希表,这样我们就可以根据key执行hash获取到对应的链表节点对应的哈希表,这样就可以快点找到最近使用的节点(也就是实际需要的列表项),同样可 ...

HashMap

    博客分类:
  • java
HashMap在java中对很多人来说都是熟的;基于hash表的map接口的非同步实现。允许使用null和null键;同时不能保证元素的顺序;也就是从来都不保证其中的元素的顺序恒久不变。 1、数据结构     在java中,最基本的数据结构无外乎:数组 和 引用(指针),所有的数据结构都可以用这两个来构造,HashMap也不例外,归根到底HashMap就是一个链表散列的数据结构:数组 + 链表的结合。底层是一个数组,数组中的每一项又是一个链表。当创建一个HashMap时就会初始化一个数组。 源代码如下 package java.util; import java.io.*; ...

C# socks5详解 转

    博客分类:
  • C#
http://www.cnblogs.com/zhujiechang/archive/2008/10/21/1316308.html  这里主要讲的是用.NET实现基于Socket5下面的代理协议进行客户端的通讯,Socket4的实现是类似的,注意的事,这里不是讲用C#实现一个代理服务器,因为实现一个代理服务器需要 ...
对于很多人来说,去访问某一个站点,若是该站点能够提供智能化的内容缓存来提高用户体验,那么最终该站点的访问者将络绎不绝。缓存或者对之前的请求临时存储,是http协议实现中最核心的内容分发策略之一。分发路径中的组件均可以缓存内容来加速后续的请求,这是受控于对该内容所声明的缓存策略。接下来将讨web内容缓存策略的基本概念,具体包括如如何选择缓存策略以保证互联网范围内的缓存能够正确处理的您的内容,并谈论下缓存带来的好处、副作用以及不同策略能带来的性能和灵活性的最大结合。 1、什么是缓存 缓存(caching)是一个描述存储可重用资源以便加快后续请求的行为术语。有很多类型的缓存,每一种都有自身的特 ...
Global site tag (gtag.js) - Google Analytics