lingzhi007
- 浏览: 120869 次
- 性别:
- 来自: 杭州
-
文章分类
最新评论
cat conf/spark-defaults.conf
spark.yarn.jars hdfs:/app/jars/*.jar
spark.yarn.jars hdfs:/app/jars/*.jar
分享到：
发表评论
-
Spark SQL运行 过程 抄的别人的，记录 学习
2018-05-13 23:07 1013抄的别人的，觉得写的特别好 val FILESOURCE ... -
thriftserver log4j.properties 生效
2018-04-09 11:46 425/home/isuhadoop/spark2/sbin/sta ... -
udaf 返回的 子属性
2018-03-20 13:22 421udaf 返回的 子属性 spark.sql(" ... -
spark datasource
2018-03-16 16:36 641DataFrameWriter format val c ... -
如何 map 端 Join。
2018-03-04 19:31 599Hive 中 修改表的 rawDataSize = 1 1 ... -
spark thrift server 修改
2018-03-04 12:58 558org.apache.spark.sql.hive.thrif ... -
hive hbase thriftserver run
2018-03-03 15:13 381正确方法 ： 0\ 拷贝对应目录到 spark2 jars ... -
scala package
2018-01-25 09:48 493#scala 打包 mvn clean scala:com ... -
SPARK SERVER
2018-01-23 22:15 504sbin/start-thriftserver.sh --dr ... -
driver class
2018-01-21 22:11 504sbin/start-thriftserver.sh -- ... -
spark thrift server 调试
2017-10-20 15:50 837spark-hive-thriftserver 本地调试 ... -
spark SQL conf
2017-10-18 14:36 592org.apache.spark.sql.internal.S ... -
java 死锁 ，内存问题 分析
2017-10-17 10:50 318jstack -l pid /opt/soft/jdk/ ... -
thriftServer proxy
2017-10-16 14:21 906sudo yum install haproxy 257 ... -
hive spark conf
2017-09-26 17:44 1279CREATE TABLE org_userbehavior_a ... -
get day
2017-09-19 08:41 284def timeDayNow() = { var ... -
thriftserver
2017-09-14 19:47 434export SPARK_CONF_DIR=/home/yun ... -
thriftserver dynamicallocation
2017-09-08 14:41 556./sbin/start-thriftserver.sh -- ... -
test code2
2017-09-03 13:45 466package org.test.udf import co ... -
test code
2017-08-24 17:52 261def taskcal(data:Array[(String, ...
相关推荐
spark相关jar包
提供在Spark上跑Xgboost模型需要的 Jar包及Python接口文件
spark 最新技术架包，具体说名请找度娘。知道的人可以下载
https://github.com/apache/hbase-connectors/tree/master/spark mvn -Dspark.version=2.4.4 -Dscala.version=2.11.7 -Dscala.binary.version=2.11 clean install
hue中对spark任务的支持，是靠oozie支撑的。文档中提供了如何在hue中提交spark作业的操作步骤。
mongodb-spark官方连接器，运行spark-submit --packages org.mongodb.spark:mongo-spark-connector_2.11:1.1.0可以自动下载，国内网络不容易下载成功，解压后保存到~/.ivy2目录下即可。
ES-Spark插件，使用该插件可以使用Spark向ES插入数据或者使用Spark读取ES的数据
saiku缺失的spark jar，mondrian-4.3.0.1.2-SPARK.jar
NULL 博文链接：https://qq85609655.iteye.com/blog/2205156
spark版本xgboost的jar包，博客中有scala-spark使用案例
Spark缺少的jar包
5.把附件中的架包解压后添加到scala项目的library中，因为受上传权限的限制，就不上传最大的一个spark jar包了，这个jar包只要到官网下载spark项目就能获得，我用的版本是：spark-assembly-1.3.0-cdh5.4.5-hadoop...
hive-exec-1.2.1.spark2.jar spark2-shell 支持 hive2 hadoop3
使用scala开发spark应用时用到的jar包：spark-assembly-1.5.2-hadoop2.6.0jar包
用datagrip链接spark thirft 新建驱动加载所用sparkjar包 亲测好用
bigdl-SPARK_2.0-0.1.0-20170116.182205-8-jar-with-dependencies-and-spark.jar 官方BigDL的prebuild包，内含spark依赖，可以直接scala -cp **.jar 进入REPL界面调试，使用。也可作为spark依赖库导入。如介意大小，...
spark-core_2.11-1.6.0.jar spark-core_2.11-1.6.0.jar
本资源包含了spark3.0和Hadoop2.7.1 的安装包。有本人之前在安装的时候下载包找了很久，在此处打包分享。
spark-streaming_2.11-2.1.3-SNAPSHOT.jar