博客首页 → spark

最新文章列表

Spark – 内存计算

wget http://mirrors.cnnic.cn/apache/incubator/spark/spark-0.8.0-incubating/spark-0.8.0-incubating-bin-hadoop1.tgz tar -zxvf spark-0.8.0-incubating-bin-hadoop1.tgz mv spark-0.8.0-incubating-bin-hado ...
Spark内存计算 
wbj0110 评论(0) 有902人浏览 2014-03-19 08:53

spark on yarn 出现的问题(一)

测试spark on yarn spark版本：spark-0.9.0-incubating-bin-hadoop2 WordCount.scala 代码： import org.apache.spark._ import SparkContext._ object WordCount { def main(args: Array[String]) { if (args ...
spark 
tangjunliang 评论(0) 有5413人浏览 2014-03-05 18:09

Spark原理和使用场景的简述

   今天老大谈到了Spark，说是计算速度比hadoop MapReduce快100倍,顿时惊讶，于是乎埋头google,主要想弄清楚两个问题 1  Spark怎么会那么快 2 Spark的适用场景。苦苦搜索，总得结果。 spark是对MapReduce计算模型的改进，可以说没有HDFS，MapReduce，就没有spark.尽管spark官网很少提到MapReduce. Spark可用于迭代，主 ...
sparkmapreducehadoop
chenchangqun 评论(0) 有2813人浏览 2014-03-03 16:16

分布式计算框架-Spark初步理解

    最开始关注Spark，是在csdn首页上看到一篇文件《Spark核心开发者：性能超Hadoop百倍，算法实现仅有其1/10或1/100》的，看着标题确实感觉比较年逼的。后来稍微研究了一下，其实发现，这个描述有点问题。Spark是一个基于内存的纯计算框架，而hadoop是包括计算框架的mapreduce和分布式存储hdfs，所以应该描述为Spark性能超Hadoop的mapreduce计算 ...
spark 
longxiping 评论(0) 有2206人浏览 2014-02-09 00:13

spark源码分析--spark的任务调度（standalone模式）

原创，转载请注明出处  http://baishuo491.iteye.com/blog/1994026 ,作者邮箱：vc_java@hotmail.com,新浪微博：爱看历史的码农--白硕 在sparkContext的建立过程中(更细致的说是clientActor的preStart回调函数中)，会向master发送RegisterApplication消息master ! RegisterApp ...
sparkscalabigdataHadoop 
baishuo491 评论(0) 有8407人浏览 2013-12-23 16:38

spark源码分析--Master和worker建立连接

原创，转载请注明出处 http://baishuo491.iteye.com/blog/1990242。作者邮箱 vc_java@hotmail.com Spark的master启动后，等待work通过spark://master'ip:7077的url去连接Master.   ...
sparkscala源码分析bigdata大数据 
baishuo491 评论(1) 有8264人浏览 2013-12-16 15:55

Spark通过CQL读取写入Cassandra数据

之前两篇文章，简单的介绍了使用Spark通过CLI来进行读写Cassandra数据。在这一篇中，将介绍使用新的CQL来进行读取写入数据。   第一步，还是一样的去配置SparkContext，唯一的区别是使用的InputFormat不同。在Cli中使用的是ColumnFamilyInputFormat，而在这里将使用的是CqlPagingInputFormat。除了这两个类之外，还有CqlRa ...
sparkcassandra分布式distributed cluster 
cjcrobin 评论(0) 有3676人浏览 2013-11-16 21:15

Spark通过CLI写入Cassandra

上一篇（隔得实在有点远）讲到了通过使用Cassandra原生的CLI接口将数据读入了Spark的RDD中，在这篇中，我们将了解如何将数据通过Spark的RDD写入到Cassandra中。   与读取相同的步骤，我们一开始需要初始化SparkContext，以及使用的Cassandra实例的地址，端口，keyspace，columnfamily和partitioner。如下     val ...
SparkCassandra分布式distributed cluster 
cjcrobin 评论(0) 有1735人浏览 2013-11-16 11:04

Spark范例:SortByKey

前年的文章，备份 spark自身不提供sortByKey的功能，但提供reduceByKey,groupByKey,combineByKey等功能。SortByKey常用于构建倒排索引上。 比如原始数据结构为(key1,4)(key1,3)(key1,7)(key1,1)需要转换成(key1,(1,3,4,7)) 我创建了一个简单的数据样本，保存到一个文件里sortByKey.txt。也可以 ...
spark 
yiihsia 评论(0) 有5166人浏览 2013-11-10 14:48

Spark范例：统计CSDN不同邮箱的密码白痴指数

前年的文章，备份 spark编写了一段统计CSDN中不同邮箱的密码白痴程序，数据来源于最近被公布的csdn明文数据，以下代码重点是spark在编程性上的体验 ...
spark 
yiihsia 评论(0) 有2509人浏览 2013-11-10 14:47

初识spark-基本概念和例子

前年的文章，备份 spark是一个开源的分布式计算系统，提供快速的数据分析功能。 官网地址 http://www.spark-project.org/ 据说性能高出hadoop很多(个人理解主要是因为两点：内存和cache)，而且相对更加简单，灵活。非常适合需要反复迭代的计算，比如机器学习。 spark基于scala编写，对我而言也是门陌生的语言，至今还是有很多不理解的地方。 基本概念 ...
spark 
yiihsia 评论(0) 有2611人浏览 2013-11-10 14:45

openfire限制一个用户登录

在默认情况下，如一个帐号，两个人可以用spark同时登录。并经过我测试，往往接收信息的是第一个。 在项目我应该限制用户只能保持一个连接（也就是只能一个账户一个人登录）   在openfire管理界面设置：   服务器--> 服务器设置 -->资源策略--> 从不排除 - 如果有资源冲突，则不允许新的资源登录   这样就可以限制了。   但是，如果我通 ...
openfire限制用户登录openfiresmackspark
shendixiong 评论(2) 有2044人浏览 2013-11-07 11:10

在Spark上使用CLI读取Cassandra数据

最近在研究将Spark架设到Cassandra之上。发现这方面的信息比较少，在学习的过程中也遇到了不少问题，因此在此记录下，也和大家分享。此例为最经典的WordCount示例。 首先我先说下我所使用的各种环境和版本。由于Spark和Cassandra更新较快，如果之后版本有异可能运行不能成功需要一些微调。 暂时使用的是Windows 7， 之后会转到Linux平台，但是这个影响不大。使用的是 ...
SparkCassandraScalaCLI 
cjcrobin 评论(0) 有2925人浏览 2013-10-12 23:43

《高性能的RTC服务器OpenFire》—第一章部署与源码调试

《高性能的RTC服务器OpenFire》—第一章部署与源码调试 博客分类：   OpenFire，Smack，Spark OpenFireSmackSpark    《高性能的RTC服务器OpenFire》—第一章部署与源码调试   前言 OpenFire是什么，以及它能做什么？或许这是许多开发人员最关心的一个话题。简单来说，OpenFire是一个采用纯J ...
RTCopenFirespark 
hongtoushizi 评论(0) 有1052人浏览 2013-09-22 09:57

《高性能的RTC服务器OpenFire》—第一章部署与源码调试

  《高性能的RTC服务器OpenFire》—第一章部署与源码调试   前言 OpenFire是什么，以及它能做什么？或许这是许多开发人员最关心的一个话题。简单来说，OpenFire是一个采用纯Java语言编写（核心架构使用Mina构建）的开源RTC（Real-Time Communications，实时协作）服务器。它采用XMPP协议进行分布式通信，该协议的前身其实就是基于Jabb ...
OpenFireSmackSpark 
gao_xianglong 评论(8) 有28769人浏览 2013-09-20 02:23

openfire 开源即时消息扩展篇之自定义数据源

       本文档提供了指示为集成Openfire身份验证、用户和组与您的自定义数据库表。这是有用,当您的用户已经有账户在一个外部系统,你不希望重复这些账户在Openfire。简单的集成与定制数据库允许用户身份验证使用他们现有的用户名和密码。您可以加载用户配置文件配置Openfire和组信息从您的自定义数据库。具体的步骤如下： 1:数据源配置 　你需要指定数据源连接驱动和连接url.需要写 ...
openfirexmppimsparkopenfire Database Integration 
zhongjingquan 评论(0) 有2401人浏览 2013-06-21 10:14

openfire+spark 环境搭建

1. 下载openfire 3.8.2 2. 将openfire_src_3_8_2.tar.gz解压，进入到openfire_src目录/build/。cmd 下执行： ant openfire.正常的话应该能看到在build succeed 字样。 3. 进入:openfire_src目录/target/openfire/bin,运行（1）windows：openfire.bat（2）lin ...
openfire+sparkopenfiresparkopenfire+spark 环境搭建 
258275838 评论(1) 有1292人浏览 2013-06-17 16:46

spark introduction

What is Spark? Spark is an open source cluster computing system that aims to make data analytics fast — both fast to run and fast to write. spark  是一个开源的计算集群系统，目标是数据分析快速的执行和快速写的。 To run programs fast ...
sparkshark 
jiezhu2007 评论(0) 有1549人浏览 2013-06-11 15:11

最近博客热门TAG

Java(141744) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54919) .net(54785) Web(54514) 工作(54118) Linux(50905) Oracle(49875) 应用服务器(43289) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37267) 数据结构(36424)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics