Impala是个什么东西?主要解决什么领域的问题?它有什么特征等等这里不想赘述。只讲解安装impala release版安装中的一个小节。
关于impala的安装,随便百度、谷歌一下,都会出来漫天的安装说明,不过大部分都是转载的,也都是一些beta版,毫无创新。另外,impala官方cloudera的网站也有impala的多类文档,但是,在某些地方取描述不尽详尽,甚至在程序猿安装时会出现与之描述不符的问题,如dfs.client.use.legacy.blockreader.local 这个参数,官网要求是true,但是我在实际安装过程中发现,这个参数如果是true,会有问题,而应该是false。
如今Impala已经升级至1.0版release了,要求与之匹配的是cloudera hadoop4.2.0版或者是4.2.1版,这都是apache hadoop2.0以上的版本,其中有关压缩部分的接口和抽象类已经做了调整,这就引出了在便于hadoop-lzo时出现的问题,lzo的源码最新版在这里https://github.com/twitter/hadoop-lzo ,不过JAVA代码部分最近的更新也是2年以前的事了。这直接导致它的部分实现已经与hadoop2.0版不一致了。
如在编译lzo(需要的基础环境如ant、lzo-2.06之类的安装,这里也不说)的过程中会报一下的错误:
1、/home/hadoop/lzosrc/lastestlzo/hadoop-lzo-master/src/java/com/hadoop/compression/lzo/LzoDecompressor.java:34: com.hadoop.compression.lzo.LzoDecompressor is not abstract and does not override abstract method getRemaining() in org.apache.hadoop.io.compress.Decompressor
2、/home/hadoop/lzosrc/lastestlzo/hadoop-lzo-master/src/java/com/hadoop/compression/lzo/LzopInputStream.java:277: getCompressedData() in com.hadoop.compression.lzo.LzopInputStream cannot override getCompressedData() in org.apache.hadoop.io.compress.BlockDecompressorStream; attempting to use incompatible return type
found : void
required: int
protected void getCompressedData() throws IOException {
3、/home/hadoop/lzosrc/lastestlzo/hadoop-lzo-master/src/java/com/hadoop/compression/lzo/LzopInputStream.java:276: method does not override or implement a method from a supertype
@Override
这三个错误就需要果断地修改lzo的部分源码。但是,当前你百度和谷歌完,仍然找不到具体的更改,lzo官网也没做更新,所以,只能自力更生。好在改变它也不难,只要按ant编译的错误提示,对应添加getRemaining方法,并返回值(内存中还生多少流长度没读完),该值就是该方法所在类的一个全局变量,直接返回即可。
修改getCompressedData方法void为int返回,从方法内部获取具体值长度。这一项就对应着3个错误中的2个。
由于时间关系,这里不粘出具体源码了。只是提示安装此版本的同仁,注意这个!
这里把更改后的源码上传上来。
相关推荐
Impala权威安装文档
由于Impala的版本是CDH的,所以安装Impala的涉及到的Hive、Hadoop、Spark、Hbase等环境也要统一使用CDH版本。 本文档部署impala时所用到的Hive、Hadoop等环境的安装方式是使用tar包方式安装的(cdh版本的tar包安装...
官网上面的Impala数据库ODBC驱动安装程序,适用于Windows64位操作系统。
impala是一种新的实时大数据处理框架,本文档提供了详细的安装文档,亲测,保证成功。
impala安装与添加
impala2.12 详细安装教程 - CSDN博客.mhtml
版本: Impala v0.6 built on Sat Feb 23 18:52:43 PST 2013 使用自定义yum 库Impala的CM详细安装。
Impala的最大特点也是最大卖点就是它的快速,它是基于Hive的大数据实时分析查询引擎,这里详细介绍了如何安装。
ambari2.7.5集成HDP3,本身不带impala、kudu 故集成cloudera的impala、kudu安装方式 ambari插件安装方式。 解压放到/var/lib/ambari-server/resources/stacks/HDP/3.1/services/下
springboot集成impala,包含yml文件、impala配置Bean、ImpalaJDBC41-2.6.4.1005.jar和impala在pom.xml中的配置,有问题留言
测试连接impala的工具类,通过输入ip:port/database,以及查询语句就可测试
Cloudera发布的实时查询开源项目,称比原来基于MapReduce的Hive SQL查询速度提升3~90倍。mpala采用与Hive相同的元数据、SQL语法、ODBC驱动程序和用户接口(Hue Beeswax),...此文档详细解释了Impala的安装配置和使用。
impala 官方文档 汉化 少部分没有翻译 有不准确的地方 需参照英文原版
Apache Impala Guide impala-3.3
BIEE配置ODBC连接impala BIEE配置ODBC连接impala BIEE配置ODBC连接impala
从零开始讲解大数据分布式计算的发展及Impala的应用场景,对比Hive、MapReduce、Spark等类似框架讲解内存式计算原理,基于Impala构建高性能交互式SQL分析平台 课程亮点 1,知识体系完备,从小白到大神各阶段读者均...
dbeaver中连接impala所需jdbc包,适用于CDH5.16.2,impala2.12
impala的驱动下载,com.cloudera.impala.jdbc41.Driver
impala的使用教程impala的使用教程impala的使用教程impala的使用教程impala的使用教程
用于JDBC连接Impala的工具包