`
HogwartsRow
  • 浏览: 57937 次
  • 性别: Icon_minigender_1
  • 来自: 武汉
社区版块
存档分类
最新评论

Hive工具类

阅读更多
public class HiveUtil {

    private static Logger logger = LoggerFactory.getLogger(HiveUtil.class);

    private static BasicDataSource basicDataSource = null;
    
    private static String HIVE_DRIVER = null;
    private static String HIVE_URL = null;
    
    static {
        HIVE_DRIVER = ConfigProperties.getInstance().getValue("hive.driver");
        HIVE_URL = ConfigProperties.getInstance().getValue("hive.url");
        
        //创建数据源对象
        if (basicDataSource == null) {
            basicDataSource = new BasicDataSource();
            //设置连接数据库的驱动
            basicDataSource.setDriverClassName(HIVE_DRIVER);
            //设置连接数据库的url
            basicDataSource.setUrl(HIVE_URL);
            //设置连接数据库的用户名
            basicDataSource.setUsername("root");
            //设置连接数据库的密码
            basicDataSource.setPassword("");
            //设置连接池启动时的初始值
            basicDataSource.setInitialSize(5);
            //设置连接池的最大值
            basicDataSource.setMaxActive(256);
            //最大空闲值.当经过一个高峰时间后,连接池可以慢慢将用不到的连接慢慢释放一部分,一直减少到maxIdle为止
            basicDataSource.setMaxIdle(20);
            //最小空闲值.当空闲的连接数少于该值时,连接池就会预申请一些连接,以避免洪峰来时再申请而造成的性能开销
            basicDataSource.setMinIdle(5);
        }
    }

    public static Connection getConnection() throws SQLException {
        return basicDataSource.getConnection();
    }

    public static Statement getStatement(Connection connection) throws SQLException {
        return connection.createStatement();
    }

    public static PreparedStatement getPreparedStatement(Connection connection, String sql) throws SQLException {
        return connection.prepareStatement(sql);
    }

    public static void switchDB(Connection connection, String database) throws SQLException {
        Statement statement = getStatement(connection);
        if (StringUtils.isNotEmpty(database)) {
            statement.execute("use " + database);
        }

    }

    public static void createTable(Connection connection, String database, String tableName, String sql) throws SQLException {
        Statement statement = getStatement(connection);
        if (StringUtils.isNotEmpty(tableName)) {
            statement.execute("drop table if exists " + tableName);
            statement.execute(sql);
        }
        close(statement);
    }

    public static void listTables(Connection connection, String database) throws SQLException {
        Statement statement = getStatement(connection);
        ResultSet resultSet = statement.executeQuery("show tables");
        while (resultSet.next()) {
            logger.info(resultSet.getString("tab_name"));
        }
        close(resultSet);
        close(statement);
    }

    public static void listTableStructure(Connection connection, String database, String tableName) throws SQLException {
        Statement statement = getStatement(connection);
        ResultSet resultSet = statement.executeQuery("describe " + tableName);
        while (resultSet.next()) {
            logger.info(resultSet.getString("col_name") + " | " + resultSet.getString("data_type") + " | "
                    + resultSet.getString("comment"));
        }
        close(resultSet);
    }

    public static void dropTable(Connection connection, String database, String tableName) throws SQLException {
        Statement statement = getStatement(connection);
        if (StringUtils.isNotEmpty(tableName)) {
            statement.execute("drop table if exists " + tableName);
        }
        close(statement);
    }

    public static void execute(Connection connection, String sql, Boolean isPrepared) throws SQLException {
        if (isPrepared) {
            PreparedStatement preparedStatement = getPreparedStatement(connection, sql);
            ResultSet resultSet = preparedStatement.executeQuery();
            close(resultSet);
            close(preparedStatement);
        } else {
            Statement statement = getStatement(connection);
            statement.execute(sql);
            close(statement);
        }
    }

    public static ResultSet list(Connection connection, PreparedStatement preparedStatement, Object[] objs) throws SQLException {
        if (ArrayUtils.isNotEmpty(objs)) {
            for (int i = 0; i < objs.length; i++) {
                preparedStatement.setObject(i, objs[i]);
            }
        }
        return preparedStatement.executeQuery();
    }

    public static void close(Connection connection) throws SQLException {
        if (connection != null) {
            connection.close();
            connection = null;
        }
    }

    public static void close(Statement statement) throws SQLException {
        if (statement != null) {
            statement.close();
            statement = null;
        }

    }

    public static void close(PreparedStatement preparedStatement) {
        if (preparedStatement != null) {
            try {
                preparedStatement.close();
            } catch (SQLException e) {
                e.printStackTrace();
            }
            preparedStatement = null;
        }
    }

    public static void close(ResultSet resultSet) {
        if (resultSet != null) {
            try {
                resultSet.close();
            } catch (SQLException e) {
                e.printStackTrace();
            }
            resultSet = null;
        }

    }

}

 

0
1
分享到:
评论

相关推荐

    jdbc连接hive工具类

    使用jdbc连接hive 里面提供了很多封装方法 .....................................................................

    写ORC 格式文件,HIVE 工具类

    写ORC 格式文件的工具类,可以用于写hive orc 的格式,

    Hive编程指南

    hive权威指南

    SpringBoot整合hive-jdbc示例

    本项目对如何在Springboot项目中整合hive-jdbc进行简单示例和介绍,亲测可用,请放心下载。

    hive-0.13.1-bin

    Hive是Hadoop项目中的一个子项目,由FaceBook向Apache基金会贡献,其中TaoBao也是其中一位使用者+贡献者,Hive被视为一个仓库工具,可以将结构化的数据文件映射为一张数据库表,并可以将sql语句转换为MapReduce任务...

    hive parser工具类

    hive sql 解析工具类,传入sql(支持多段sql,以";"隔开),返回map 获取表get("tables")获取sql语句 get("sqls")

    Hive新手学习资料之Hive入门与实战.+Hive用户手册+hive函数大全中文版资源合集

    Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。 hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储...

    hive学习和习题集

    Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。(1)解析器(SQL Parser):将SQL字符串转换成抽象语法树AST,这一步一般都用第三方工具库完成,比如antlr;对AST...

    Hive用户指南(Hive_user_guide)_中文版.pdf

    Hive 定义了简单的类 SQL 查询语言,称为 QL,它允许熟悉 SQL 的用户查询数据。 同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理 内建的 mapper 和 reducer 无法完成的复杂的...

    hiveAuth.zip

    该资源为远程连接hive客户端时,需要自定义用户名和密码的工具类,放在hive/lib目录下,有需自取

    Hive研发参考手册_V1

    Hive 定义了简单的类 SQL 查询语言,称为 QL,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析...

    hive微博运动项目

    hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的...

    java大数据内容_6Hive、Kettle

    Hive 定义了简单的类 SQL 查询语言,称为 HQL,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析...

    大数据Hive.pdf

    什么是 Hive Hive:由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并 提供类 SQL 查询功能

    大数据技术之Hive.pdf

    什么是 Hive Hive:由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并 提供类 SQL 查询功能

    apache-hive-2.3.7-bin.tar.gz

    Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。

    Hive基础入门与实战.doc

    Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。

    Hive学习资料书籍压缩文件

    hive学习资料-hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速...

    大数据技术之Hive.pptx

    Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。 本质是:将HQL/SQL转化成MapReduce程序。 1)Hive处理的数据存储在HDFS。 2) Hive分析数据底层的实现是MapReduce...

Global site tag (gtag.js) - Google Analytics