- 浏览: 26863 次
- 性别:
- 来自: 深圳
-
文章分类
最新评论
1. Kylin的一些概念
No. 关键字 解释
1 Kylin 一款基于Hive的开源OLAP工具,我们可以设计Hive表的字段为维度和度量,通过Kylin来构建Cube,Kylin会将Cube结构存储在 HBase 之上,基于Cube我们可以做各种多维分析。
参考:https://mp.weixin.qq.com/s/kfFh7I_V5haghV6qUzHtag
2 Kylin核心思想 Kylin的核心思想是预计算,用空间换时间,即对多维分析可能用到的度量进行预计算,将计算好的结果保存成Cube,供查询时直接访问。把高复杂度的聚合运算、多表连接等操作转换成对预计算结果的查询,这决定了Kylin能够拥有很好的快速查询和高并发能力。
参考: 同上
2. Kylin在CDH上的部署
参考:http://www.cnblogs.com/dolittle/p/5915528.html
下载链接:wget hhttps://mirrors.tuna.tsinghua.edu.cn/apache/kylin/apache-kylin-2.1.0/
1. 配置目标文件为 /etc/profile
#Kylin
export KYLIN_HOME=/opt/kylin
#Hadoop relative
export HBASE_HOME=/opt/cloudera/parcels/CDH/lib/hbase
export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
export HIVE_HOME=/opt/cloudera/parcels/CDH/lib/hadoop/hive
export HADOOP_CMD=/opt/cloudera/parcels/CDH/lib/hadoop/bin/hadoop
2. 更新文件:
source /etc/profile
检查配置是否成功
echo $KYLIN_HOME
到安装目录下 kylin/bin下
运行sudo -u hdfs sh check-env.sh
3. 启动和停止
在kylin的解压包下找到 bin并进入,执行kylin.sh文件
启动kylin:sudo ./kylin.sh start
停止kylin:sudo ./kylin.sh stop
查看日志可在 kylin/logs下查看kylin.log
4. GUI
http://xxx.xxx.xxx.xxx:7070/kylin/login
用户密码必须大写
ADMIN/KYLIN
补充集群配置:
1、修改配置
集群中只能有一个job,或者all,因为all包含job,query不限。
vi /bigdata/kylin/conf/kylin.properties
|--1、主节点添加配置
kylin.server.mode=all
kylin.server.cluster-servers=node1:7070,node2:7070
kylin.job.jar=/bigdata/kylin/lib/kylin-job-2.0.0.jar
kylin.coprocessor.local.jar=/bigdata/kylin/lib/kylin-coprocessor-2.0.0.jar
kylin.job.yarn.app.rest.check.status.url=http://node1:8088/ws/v1/cluster/apps/${job_id}?anonymous=true
kylin.rest.servers=node1:7070,node2:7070
kylin.job.mr.lib.dir=/opt/cloudera/parcels/CDH-5.10.1-1.cdh5.10.1.p0.10/lib/sentry/lib
注意一定要加kylin.job.mr.lib.dir,这个在官方配置中没有,但是如果cdh环境不加,导入数据会失败。
|--2、从节点添加配置
kyin.server.mode=query
kylin.server.cluster-servers=node1:7070,node2:7070
kylin.job.jar=/bigdata/kylin/lib/kylin-job-2.0.0.jar
kylin.coprocessor.local.jar=/bigdata/kylin/lib/kylin-coprocessor-2.0.0.jar
kylin.job.yarn.app.rest.check.status.url=http://node1:8088/ws/v1/cluster/apps/${job_id}?anonymous=true
kylin.rest.servers=node1:7070,node2:7070
kylin.job.mr.lib.dir=/opt/cloudera/parcels/CDH-5.10.1-1.cdh5.10.1.p0.10/lib/sentry/lib
3、准备hdfs目录和环境变量
sudo -u hdfs hdfs dfs -mkdir /kylin
sudo -u hdfs hdfs dfs -chown -R root:root /kylin
vi /etc/profile
export HCAT_HOME=/opt/cloudera/parcels/CDH-5.10.1-1.cdh5.10.1.p0.10/lib/hive-hcatalog/share/hcatalog
export KYLIN_HOME=/bigdata/kylin
export PATH=$JAVA_HOME/bin:$KYLIN_HOME/bin:$HCAT_HOME/bin:$PATH
source /etc/profile
4、所有节点启动访问
/bigdata/kylin/bin/kylin.sh start
http://nn2:7070/kylin/login
用户名:ADMIN 密码:KYLIN
No. 关键字 解释
1 Kylin 一款基于Hive的开源OLAP工具,我们可以设计Hive表的字段为维度和度量,通过Kylin来构建Cube,Kylin会将Cube结构存储在 HBase 之上,基于Cube我们可以做各种多维分析。
参考:https://mp.weixin.qq.com/s/kfFh7I_V5haghV6qUzHtag
2 Kylin核心思想 Kylin的核心思想是预计算,用空间换时间,即对多维分析可能用到的度量进行预计算,将计算好的结果保存成Cube,供查询时直接访问。把高复杂度的聚合运算、多表连接等操作转换成对预计算结果的查询,这决定了Kylin能够拥有很好的快速查询和高并发能力。
参考: 同上
2. Kylin在CDH上的部署
参考:http://www.cnblogs.com/dolittle/p/5915528.html
下载链接:wget hhttps://mirrors.tuna.tsinghua.edu.cn/apache/kylin/apache-kylin-2.1.0/
1. 配置目标文件为 /etc/profile
#Kylin
export KYLIN_HOME=/opt/kylin
#Hadoop relative
export HBASE_HOME=/opt/cloudera/parcels/CDH/lib/hbase
export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
export HIVE_HOME=/opt/cloudera/parcels/CDH/lib/hadoop/hive
export HADOOP_CMD=/opt/cloudera/parcels/CDH/lib/hadoop/bin/hadoop
2. 更新文件:
source /etc/profile
检查配置是否成功
echo $KYLIN_HOME
到安装目录下 kylin/bin下
运行sudo -u hdfs sh check-env.sh
3. 启动和停止
在kylin的解压包下找到 bin并进入,执行kylin.sh文件
启动kylin:sudo ./kylin.sh start
停止kylin:sudo ./kylin.sh stop
查看日志可在 kylin/logs下查看kylin.log
4. GUI
http://xxx.xxx.xxx.xxx:7070/kylin/login
用户密码必须大写
ADMIN/KYLIN
补充集群配置:
1、修改配置
集群中只能有一个job,或者all,因为all包含job,query不限。
vi /bigdata/kylin/conf/kylin.properties
|--1、主节点添加配置
kylin.server.mode=all
kylin.server.cluster-servers=node1:7070,node2:7070
kylin.job.jar=/bigdata/kylin/lib/kylin-job-2.0.0.jar
kylin.coprocessor.local.jar=/bigdata/kylin/lib/kylin-coprocessor-2.0.0.jar
kylin.job.yarn.app.rest.check.status.url=http://node1:8088/ws/v1/cluster/apps/${job_id}?anonymous=true
kylin.rest.servers=node1:7070,node2:7070
kylin.job.mr.lib.dir=/opt/cloudera/parcels/CDH-5.10.1-1.cdh5.10.1.p0.10/lib/sentry/lib
注意一定要加kylin.job.mr.lib.dir,这个在官方配置中没有,但是如果cdh环境不加,导入数据会失败。
|--2、从节点添加配置
kyin.server.mode=query
kylin.server.cluster-servers=node1:7070,node2:7070
kylin.job.jar=/bigdata/kylin/lib/kylin-job-2.0.0.jar
kylin.coprocessor.local.jar=/bigdata/kylin/lib/kylin-coprocessor-2.0.0.jar
kylin.job.yarn.app.rest.check.status.url=http://node1:8088/ws/v1/cluster/apps/${job_id}?anonymous=true
kylin.rest.servers=node1:7070,node2:7070
kylin.job.mr.lib.dir=/opt/cloudera/parcels/CDH-5.10.1-1.cdh5.10.1.p0.10/lib/sentry/lib
3、准备hdfs目录和环境变量
sudo -u hdfs hdfs dfs -mkdir /kylin
sudo -u hdfs hdfs dfs -chown -R root:root /kylin
vi /etc/profile
export HCAT_HOME=/opt/cloudera/parcels/CDH-5.10.1-1.cdh5.10.1.p0.10/lib/hive-hcatalog/share/hcatalog
export KYLIN_HOME=/bigdata/kylin
export PATH=$JAVA_HOME/bin:$KYLIN_HOME/bin:$HCAT_HOME/bin:$PATH
source /etc/profile
4、所有节点启动访问
/bigdata/kylin/bin/kylin.sh start
http://nn2:7070/kylin/login
用户名:ADMIN 密码:KYLIN
发表评论
-
Canal相关理解
2017-12-29 16:18 484转载:http://www.importnew.com/251 ... -
kettle部署
2017-12-26 16:04 7681.将jmbi sql先上生产环境, 参考附件jmbi.sql ... -
crontab定时运行MR不行,手动shell可以执行成功问题排查过程
2017-12-26 15:48 891设置了定时任务,但MR任务没有执行。 第一步:手动执行she ... -
Flume+kafka+Spark Steaming demo2
2017-11-22 13:15 486一,flume配置 # Name the components ... -
Flume+Kafka+Spark Steaming demo
2017-11-21 15:21 468一.准备flume配置 a1.sources = r1 a1. ... -
HBase表导出成HDFS
2017-10-19 19:40 920导出步骤:在old cluster上/opt/cloudera ... -
zepplin实战
2017-10-13 16:10 383一句话介绍Zeppelin 以笔记(Note)的形式展示的数据 ... -
Azkaban安装
2017-10-10 18:32 925一.下载 https://github.com/azkaban ... -
KYKIN安装
2017-09-30 17:35 121. Kylin的一些概念 No. 关键字 解释 1 Kyl ... -
Logstash安装部署配置
2017-04-28 10:24 1096为了实现各业务平台日志信息采集到大数据平台hdf ... -
HBASE API
2017-04-18 11:01 495package org.jumore.test; impor ... -
Ambari卸载shell
2017-03-28 17:28 501#!/bin/bash # Program: # uni ... -
linux ssh 相互密码登录
2017-02-22 13:40 4351.修改集群各机器名称 vim /etc/sysconfig/ ... -
Kettle Linux 安装部署
2017-02-15 17:20 1381一.安装JDK环境:根据自己的linux系统选择相应的版本,比 ... -
hadoop环境搭建
2017-01-23 17:31 381192.168.23.231 server1 192.168. ... -
环境安装
2017-01-17 16:26 419物理机部署分配 3台物理机上部署 Zookeeper 3个,F ... -
Storm demo
2016-12-19 15:50 461public class SentenceSpout exte ... -
运行Hadoop jar 第三方jar包依赖
2016-08-22 13:47 1074将自己编写的MapReduce程序打包成jar后,在运行 ha ... -
windows10下运行MR错误
2016-07-05 13:45 1713当在windows下运行MR程序时,会报各种错误。现把这次碰到 ... -
HBase问题
2016-06-16 17:02 3361.java.net.UnknownHostException ...
相关推荐
内容概要:本文详细介绍了基于MATLAB/Simulink的电动助力转向系统(EPS)模型的构建及其控制方法。首先,文中阐述了EPS在提升驾驶体验和安全性方面的重要意义。接着,重点讲解了四个关键模型的搭建:整车二自由度模型用于研究车辆转向特性;助力特性曲线模型确定不同驾驶条件下助力电机提供的助力力矩;助力电机模型模拟助力电机的工作过程;齿条模型描述助力电机转矩转化为车轮转向的动作。每个模型都有具体的参数设定和代码示例。此外,文章还解释了模型的输入(如前轮转角、方向盘力矩)和输出(转向助力力矩),并指出控制方法基于各模型间的输入输出关系,利用基本数学公式和逻辑判断实现。 适用人群:汽车工程领域的研究人员、工程师和技术爱好者。 使用场景及目标:适用于希望深入了解EPS工作原理的研究人员,以及需要进行EPS系统设计和优化的工程师。目标是掌握EPS系统的建模方法和控制策略,为实际项目提供理论支持和技术指导。 其他说明:文中提供了丰富的代码片段和详细的模型介绍,有助于读者更好地理解和实践。同时强调了EPS对于提高驾驶安全性和舒适性的重要性。
实训商业源码-帝国cms7.5 7.2 UTF-8移动端同步插件-酷网站-论文模板.zip
内容概要:本文详细介绍了基于Lasso分位数回归的数据回归预测方法。首先阐述了Lasso分位数回归作为一种结合Lasso回归与分位数回归的统计方法,能够在处理变量选择和模型复杂度方面发挥重要作用。接着解释了其基本原理,即在分位数回归基础上加入Lasso正则化项,从而确保模型既能良好拟合数据,又能有效避免过拟合现象。随后讨论了具体实施流程,从数据预处理到最终预测,涵盖了特征选择、模型构建以及参数优化等多个环节。最后强调了该方法在多个行业(如金融、医疗)的实际应用场景及其潜在价值。 适合人群:对统计学、机器学习有一定了解的研究人员和技术爱好者。 使用场景及目标:适用于需要精确预测并同时考虑多维度因素影响的场合,特别是在面对高维数据时,希望通过减少冗余变量来提高预测准确性的情况。 其他说明:文中提到的方法不仅限于特定领域,而是可以在多种不同类型的预测任务中发挥作用,为决策提供科学依据。
这段代码实现了一个 三维状态的扩展卡尔曼滤波 (Extended Kalman Filter, EKF) 算法。通过生成过程噪声和观测噪声,对真实状态进行滤波估计,同时对比了滤波前后状态量的误差和误差累积分布曲线。 只有一个m文件,下载后使用MATLAB打开运行即可,带误差输出。
毕业设计-百川多公众号集字福袋 2.0.5开源-整站商业源码.zip
实训商业源码-多商家营销活动平台V1.3.9小程序前后端完整全开源解密源码-论文模板.zip
ISC大作业论文
毕业论文-在线进销存-整站商业源码.zip
毕业设计-步数宝步数换购小程序 7.8.1-整站商业源码.zip
实训商业源码-叮咚-门店会员卡小程序4.8.2开源-论文模板.zip
毕业论文-芸众圈子社区V1.7.6 开源版-整站商业源码.zip
内容概要:本文探讨了多智能体强化学习(MARL)在配电网有功电压控制中的应用。文中介绍了将电压约束转化为势垒函数的方法,并在Dec-POMDP框架下对七种最先进的MARL算法进行了大规模实验。实验表明,设计合理的电压势垒函数对于提高电压控制效果至关重要。此外,作者还建立了开源环境,旨在促进电力社区和MARL社区的合作,推动MARL算法的实际应用。 适合人群:从事电力系统自动化、智能电网研究的专业人士,以及对多智能体系统和强化学习感兴趣的科研人员。 使用场景及目标:适用于需要优化配电网电压控制的场景,特别是希望通过软件手段而非硬件升级来提升电力质量和缓解电力拥塞的情况。目标是展示MARL在电力系统中的潜力,并为后续研究提供工具和支持。 其他说明:文章不仅讨论了理论和技术细节,还包括大量代码片段,帮助读者理解和实践MARL在电压控制中的具体应用。
内容概要:本文基于PFC3D(Particle Flow Code 3D)软件,详细探讨了岩石注浆过程中的破坏现象及其背后的机理。首先介绍了注浆破坏的复杂性,指出这是由材料特性、地质构造和计算机模拟技术共同决定的。接着重点讲解了注浆速度和流量的调整方法,强调适当的速度和流量对于确保注浆效率和避免过度破坏的重要性。最后讨论了在不考虑渗流场的情况下,如何根据岩石结构特征选择最佳的注浆孔位置,以提高注浆效果并保护周围岩石结构。 适合人群:从事地质工程领域的研究人员和技术人员,尤其是那些希望深入了解岩石注浆过程的人。 使用场景及目标:适用于需要利用PFC3D进行岩石注浆模拟的研究项目,旨在帮助用户掌握注浆速度、流量调节技巧以及合理的注浆孔位选择方法。 其他说明:文中提供了简单的PFC3D模拟代码框架,便于读者快速上手实践。同时提醒读者注意实际操作时应结合实验室理论模型和现场具体情况来进行参数优化。
内容概要:本文详细介绍了IEEE标准节点仿真模型系列,涵盖了从简单到复杂的多个节点配置,如2机5节点、6节点、3机9节点、13节点、5机14节点、15节点、30节点、33节点、34节点、10机39节点以及69节点。所有模型均已成功调试并实现了潮流计算,适用于短路仿真、稳定性研究和电能质量研究等领域。文中还特别强调了三相等效电源的应用,这是模拟真实电力系统的关键要素之一。 适合人群:从事电力系统研究、仿真和优化的专业人士和技术人员。 使用场景及目标:①用于电力系统短路仿真的建模与分析;②评估电力系统的稳定性和可靠性;③研究电能质量问题,提升电力设备的运行效率和寿命。 阅读建议:本文提供了丰富的背景知识和具体应用场景,建议读者结合实际项目需求选择合适的模型进行深入研究和应用。
实训商业源码-【超人】积分商城 5.2.26-论文模板.zip
实训商业源码-思创兼职小程序V6.7.6 开源版-论文模板.zip
2025年手绘风格毕业设计答辩模板范文
内容概要:本文档详细介绍了使用C语言实现常用的数据结构和算法。首先阐述了算法与数据结构的重要性,并具体讲解了链表、栈、队列、二叉树、图等数据结构的实现方法及其操作函数。接着深入探讨了快速排序和二分查找这两种高效的排序与查找算法,提供了完整的代码示例并解释了每个部分的作用。最后还讨论了图结构的深度优先搜索(DFS)和广度优先搜索(BFS)遍历算法,强调了内存管理和防御性编程的重要性。所有代码示例均可直接编译运行,建议在Linux环境下使用gcc编译测试。 适合人群:具备一定编程基础,尤其是熟悉C语言的初学者或有一定经验的研发人员。 使用场景及目标:①帮助读者理解并掌握常见的数据结构(如链表、栈、队列、二叉树、图)及其基本操作;②通过实际编码练习提高读者对经典算法(如快速排序、二分查找)的理解;③培养良好的编程习惯,如内存管理和防御性编程。 阅读建议:由于文档包含大量代码片段和详细的实现步骤,读者应边阅读边动手实践,尝试编译和运行提供的代码示例,同时注意理解每段代码背后的逻辑和设计思想。此外,建议读者关注文档中提到的编程规范和最佳实践,以提升自身的编程技能。
毕业论文-源导航V1.0-整站商业源码.zip
毕业论文-咻一咻抽奖V4.3.1 开源版-整站商业源码.zip