马智霖
- 浏览: 13505 次
- 性别:
- 来自: 青岛
-
最新评论
文章列表
1.Liunx搭建Mongodb开发环境
【1】官网下载Mongodb安装包：mongodb-linux-x86_64-rhel70-3.6.4.tgz并上传到服务目录：/usr/local/mongodb
【2】进入到服务器：cd /usr/local/mongodb，并入输入tar -xvf 命令解压安装包：tar -xvf mongodb-linux-x86_64-rhel70-3.6.4.tgz
[root@bella-master ~]# cd /usr/local/mongodb
[root@bella-master mongodb]# tar -xvf ...
Linux搭建Kafka开发环境
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。
1.前言
消息队列的性能好坏，其文件存储机制设计是衡量一个消息队列服务技术水平 ...
Liunx搭建Spark开发环境
1.Spark
2.Spark开发环境搭建
【1】Spark开发环境搭建需要Hadoop，Java,Scala环境的支持，由于本机已经默认安装Java 和Hadoop开发环境，这里也不再赘述
【2】搭建Scala开发环境和SBT开发环境：
（2.1）下载Scala和SBT安装包：
Scala官网：http://www.scala-lang.org/
Sbt官网：https://www.scala-sbt.org/download.html
（2.2）环境安装Scala和Sb ...
Linux搭建Hive开发环境
1.Hive
The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. Structure can be projected onto data already in storage. A command line tool and JDBC driver are provided to connect users to Hive ...
Linux搭建Sqoop开发环境
1.Sqoop
Sqoop是Hadoop和关系数据库服务器之间传送数据的一种工具。它是用来从关系数据库如：MySQL，Oracle到Hadoop的HDFS，并从Hadoop的文件系统导出数据到关系数据库。
传统的应用管理系统，也就是与关系型数据库的使用RDBMS应用程序的交互，是产生大数据的来源之一。这样大的数据，由关系数据库生成的，存储在关系数据库结构关系数据库服务器。
当大数据存储器和分析器，如MapReduce, Hive, HBase, Cassandra, Pig等，Hadoop的生态系统等应运而生图片，它们需要一个工具来用的导入和 ...
1.Linux搭建Flume环境
2.官网下载Flume安装包：apache-flume-1.8.0-bin.tar.gz, 利用xftp5工具上传到：/usr/local/flume
3.利用xshell5工具登录到服务器解压flume，输入：cd /usr/local/flume
[root@marklin ~]# cd /usr/local/flume
[root@marklin flume]# ll
total 0
drwxr-xr-x. 7 root root 187 Apr 29 05:06 flume-1.8.0
[root@markl ...
Linux搭建Hbase环境：
1.Hbase基本概念：
HBase的基本概念和定位
HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于 ...
Oracle数据库存储过程开发：
一个完整的存储过程开发包含如下流程：
1.存储过程包头Package定义：一组相关过程、函数、变量、常量#SinaEditor_Temp_FontName、类型和游标等PL/SQL程序设计元素的组合
包头定义：
create or replace package package_namae is --package_namae 包头名称
procedure procedure_name; --procedure_name 存储过程名称
proce ...
Linux搭建Zookeeper环境之服务开机自启动
Zookeeper Serverk开机自启动，这里依然分为单机模式和集群模式配置，这里选择采用把Zookeeper做成服务的方式配置开机自启动：
1.单机模式配置Zookeeper Server开机自启动：
[1].Xshell5工具登录服务器，进入/etc/init.d/目录，输入：cd /etc/init.d/
[root@marklin ~]# cd /etc/init.d/
[root@marklin init.d]# ll
total 44
-rw-r--r--. 1 root root 17500 M ...
Linux搭建Zookeeper环境
1.Zookeeper
ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed synchronization, and providing group services.
All of these kinds of services are used in some form or another by distributed applications.
Each time th ...
Linux搭建Hadoop开发环境
Hadoop环境搭建安装配置：
[1].官网下载Hadoop-2.7.5安装包： hadoop-2.7.5/hadoop-2.7.5.tar.gz
[2].把Hadoop-2.7.5安装包利用Xftp5工具上传到：/usr/local/hadoop
[3].登录Liunx服务器，利用Xhell5进入：cd /usr/local/hadoop：
[root@marklin hadoop]# cd /usr/local/hadoop
[root@marklin hadoop]#
...
准备2台服务器信息：
服务器IP
服务器用户名
服务器密码
操作系统
数据库类型
数据库IP
数据库用户名
【1】GIT使用规范的意义：提高团队整体的交流和运作效率
【2】使用规范
能够独立部署的工程使用master和dev两个主干分支，master分支对应线上版本，dev分支对应开发版本； 作为依赖库使用的工作只需要一个master分支即可 ...
Linux搭建Mysql数据库开发环境
1.MySQL 概述
【1】MySQL ：Oracle旗下的开源关系型数据库，这里选择版本。
【2】 MySQL Community Edition：Mysql开源社区版本，目前最新版本：5.7.21
MySQL Community Edition is the freely downloadable version of the world's most popular open source database. It is available under the GPL license and is support ...