博客首页 → HBase

最新文章列表

阿里HBase超详实践总结 | 一文读懂大数据时代的结构化存储

前言 时间回到2011年，Hadoop作为新生事物，在阿里巴巴已经玩得风生水起，上千台规模的”云梯”是当时国内名声显赫的计算平台。 这一年，Hadoop的好兄弟HBase由毕玄大师带入淘宝，开启了它的阿里之旅。从最初的淘宝历史交易记录，到去年的支付宝消费记录存储在线历史存储统一；从蚂蚁安全风控的多年存储演进，到HBase、TT、Galaxy的大数据激情迭代；HBase在阿里经历过年轻的苦涩，释放过 ...
hbasehadoop阿里巴巴 
liangyan9966 评论(0) 有583人浏览 2017-06-21 16:05

如何使用scala+spark读写hbase？

最近工作有点忙，所以文章更新频率低了点，希望大家可以谅解，好了，言归正传，下面进入今天的主题： 如何使用scala+spark读写Hbase 软件版本如下： scala2.11.8 spark2.1.0 hbase1.2.0 公司有一些实时数据处理的项目，存储用的是hbase，提供实时的检索，当然hbase里面存储的数据模型都是简单的，复杂的多维检索的结果是在es里面存储的，公司也正 ...
sparkscalahbase 
qindongliang1922 评论(0) 有3409人浏览 2017-06-12 19:48

HBase集群环境安装

参考  http://blog.csdn.net/M_SIGNALs/article/details/52948867  >>>hive与hbase集成(https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration) hive/lib/   hbase/lib 1.查看guava-12.0.1.jar ...
HBase 
孤狼18 评论(0) 有607人浏览 2017-05-31 14:17

spark读取hbase数据

package ceshi import java.io.IOException import java.util import java.util.{Random, UUID} import org.apache.hadoop.conf.Configuration import org.apache.hadoop.hbase.HBaseConfiguration import ...
hbase 
sxyqhyt 评论(0) 有1138人浏览 2017-05-24 16:34

性能追求之路——MaxCompute2.0的前世今生

http://click.aliyun.com/m/21651/ 《大数据计算服务MaxCompute产品最新动态》，首先介绍了MaxCompute的发展历程和技术架构，然后对MaxCompute 2.0版本新特性和新技术进行了详细介绍。 热点热议 性能追求之路——MaxCompute2.0的前世今生 作者：大数据史记 “奔三”了，程序员，你该怎么选择未来的路？ 作者：薯条酱 ...
nginxhbasejavaubuntuspring 
水升说 评论(0) 有30人浏览 2017-05-23 14:49

不想34被裁退_好好学学大数据吧！

http://click.aliyun.com/m/21568/ 玩转大数据，顺利渡过34岁裁退危机！ 发布时间：2017-05-19 14:02:191209人关注35人参与 34bei 某菊花厂要把34岁以上的员工都裁退，中年都没到就危机了，票子木有了，工作木有了，连最热爱的数据库都没机会玩了，还好，有一个快速上手玩转大数据的机会！一定要好好珍惜啊！阿里云有一款大数据产品，云HBase，其是 ...
hbasehadoop工作文化产业 
水升说 评论(0) 有17人浏览 2017-05-22 14:56

大数据之Hadoop初识篇

Hadoop介绍 （直奔主题） 开源的数据分析平台，解决了大数据（大到一台计算机无法进行存储，一台计算机无法在要求的时间内进行处理）的可靠存储和处理。适合处理非结构化数据，包括HDFS，MapReduce基本组件与扩展组件Pig、Hive、Hbase、Sqoop、Flume、ZooKeeper和Spark等。 以下地址是详细介绍： http://www.toutiao.com/i641167 ...
HadoopPigHiveHbaseSpark 
yanshien 评论(0) 有364人浏览 2017-05-15 22:46

使用Java API对HBase1.x进行CRUD操作

public class HBaseUtil { private static final Logger log = LoggerFactory.getLogger(HBaseUtil.class); private static Configuration conf = HBaseConfiguration.create(); private volatile static ...
HBasejavaCRUD增删改查 
企鹅也渴望飞翔 评论(0) 有1152人浏览 2017-05-07 18:28

HBase单机版部署

1、首先需要安装jdk，如果还未安装可以参考以下博客： http://linweize0325.iteye.com/blog/2371274 2、上传到HBase安装包到/usr/software目录下 3、解压HBase安装包到 ...
linuxhbase单机版 
企鹅也渴望飞翔 评论(0) 有1731人浏览 2017-04-27 09:09

细说分布式Redis架构设计和踩过的那些坑

摘要：本文章主要分成五个步骤内容讲解 　　Redis、RedisCluster和Codis; 　　我们更爱一致性; 　　Codis在生产环境中的使用的经验和坑们; 　　对于分布式数据库和分布式架构的一些看法; 　　Q & A环节。 　　Codis是一个分布式Redis解决方案，与官方的纯P2P的模式不同，Codis采用的是Proxy-based的方案。今天我们介绍一下Codis及下一个大版本 ...
脚本redissqlmysqlhbase 
hello123654789 评论(0) 有2025人浏览 2017-04-18 17:04

HBASE API

package org.jumore.test; import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; ...
hbase
h_1_y_m 评论(0) 有438人浏览 2017-04-18 11:01

hbase基础小结

hbase简介 HBase（Hadoop Database）是一个高可靠性、高性能、面向列、可伸缩的分布式大数据存储系统。具有最理想化的写和极好的读性能。它支持可插拔 ...
hbasenosql 
welcomezhang 评论(0) 有574人浏览 2017-04-10 22:58

Hadoop生态圈完全分布式集群环境搭建

 一：事前准备工作： 1.最少4台服务器，当然也可以为虚拟机 2.hadoop、hbase、spark、jdk、zookeeper的安装包（需要版本都是相互兼容的，这个可以从官网看到） 3.系统为centos7 如果是新学者可以看我另一篇关于单节点大数据环境部署和安装的文章   二：Linux系统配置 更改linux名称 hostnamectl set-hostname host ...
Hadoop分布式集群环境搭建大数据分布式sparkhbasehadoop、zookeeper 
三年计划 评论(0) 有779人浏览 2017-04-08 10:48

hbase表数据备份策略

Hbase的数据备份策略有： （1）Distcp （2）CopyTable （3）Export/Import （4）Replication （5）Snapshot 下面介绍这几种方式： （一）Distcp（离线备份） 直接备份HDFS数据，备份前需要disable表，在备份完成之前 服务不可用对在线服务类业务不友好 （二）CopyTable（热备） 执行命 ...
hbase 
qindongliang1922 评论(0) 有1322人浏览 2017-03-29 20:12

导出HBase数据到Excel（Java代码）

  一、主要代码 package com.sgcc.mcsas.bigdata.tool; import com.sgcc.mcsas.bigdata.service.HBaseServiceImpl; import com.sgcc.mcsas.bigdata.service.IHBaseService; import org.apache.hadoop.hbase.Cell; ...
hbaseexcel
kevin19900306 评论(0) 有1330人浏览 2017-03-28 14:51

hbase分布式安装

Hbase有几种安装的方法，这里要讲的是在学习过程中用几台虚拟机模拟的分布式安装。   1.首先，下载Hbase对应的包，要注意需要下载和hadoop版本相对应的hbase版本，防止产生不兼容的问题，具    体版本对应可以再apache官网进行查询。（hbase-0.98.4-hadoop2与hadoop-2.3.0）   2.解压包后，将hbase-0.98.4-hadoop2放在/h ...
hbase 
xjnine 评论(0) 有327人浏览 2017-03-15 09:10

手机QQ公众号亿级消息实时群发架构

http://chuansong.me/n/2071796
MongoDBHBase
sunzixun 评论(0) 有747人浏览 2017-01-21 17:42

《自己动手写云盘》 – 数据库设计

个人主页链接：http://www.tongtongxue.com/archives/4812.html    概述     《自己动手写云盘》中会涉及到两种数据库，一个是关系型数据库即MySQL，另一个是NoSQL数据库HBase，目前HBase中只存放到文件信息，其它信息放到MySQL中。数据库设计如下：   MySQL中存放的表如下：
自己动手写云盘大数据云计算HadoopHBase 
Chicago09 评论(0) 有5267人浏览 2017-01-02 20:52

storm trident实战 trident state

一、认识storm trident    trident可以理解为storm批处理的高级抽象,提供了分组、分区、聚合、函数等操作,提供一致性和恰好一次处理的语义。    1)元祖被作为batch处理    2)每个batch的元祖都被指定唯一的一个事物id,如果因为处理失败导致batch重发,也和保证和重发前一样的事物id    3)数据更新操作严格有序,比如batch1必须在batch2之前被 ...
stormtridentstatehbase 
农村外出务工男JAVA 评论(2) 有9616人浏览 2016-12-25 10:56

最近博客热门TAG

Oracle(49875) MySQL(37267) SQL Server(17623) Access(9329) DB2(4271) Redis(3181) Sybase(2414) 数据挖掘(2098) MongoDB(2014) SQLite(1817) PostgreSQL(1634) HBase(1492) NoSQL(1000) HSQLDB(620) Informix(581) Derby(578) Cassandra(375) PowerBuilder(333) CouchDB(113) TokyoCabinet(87)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics