from:https://www.t00ls.net/thread-32593-1-1.html
ELK是什么东西?
ELK是ElasticSearch、Logstash、Kibana三个应用的缩写。 ElasticSearch简称ES,主要用来存储和检索数据。Logstash主要用来往ES中写入数据。Kibana主要用来展示数据。
为什么用ELK?
传统的社工库通常用MySQL数据库来进行搭建,在相当大的数据下检索效率非常低下。在这种关系型数据库中进行查询需要明确指定列名。而在ES中可用全文 检索,并且在大数据的查询中的响应几乎都是毫秒级的,速度相当之快!ELK原本用在日志的大数据收集和分析,其可怕的速度作为社工库也是一种不错的选择。
安装和配置
前提你需要一个很大的硬盘,大约社工库容量2.5倍的硬盘(ES会创建相关索引)。
你需要安装java至少7以上的版本。并且配置JAVA_HOME环境变量.
因为安装非常简单,只需要下载相应的压缩文件,解压即可。在此不再赘述。
我此次演示的环境在Windows8.1上,ES在Linux中不能使用root权限运行。
ES 2.0.0 Logstash 2.0.0 Kibana 4.2.0
修改配置文件:
ES/config/elasticsearch.yml
cluster.name: esdemo (集群的描述信息)
node.name: 63 (节点名称)
network.host: 192.168.1.5 (绑定的IP地址)
http.port: 9200 (端口号 默认9200)
一些Linux环境需要修改 ES/bin/elasticsearch 文件 增加
export JAVA_HOME=JDK路径
启动 ES/bin/elasticsearch或者elasticsearch.bat 即可启动
然后访问 http://localhost/IP:9200 可查看是否正常运行
Kibana/config/kibana.yml
elasticsearch.url: "http://192.168.1.5:9200" 指定ES地址
执行Kibana/bin/kibana 或者 kibana.bat启动
查看 http://localhost:5601 是否正常启动
ElasticSearch 天生就很好的支持分布式,如果环境允许可以多使用几台负载。
为了方便理解 把ES中的一些概念和MySQL进行对比
ES index(索引) type(类型) document(文档) field(字段)
MySQL database table row column
社工库搭建
以上工作准备完成之后,就该进入搭建的阶段了.首先确定有哪些列名存在ES中,我自己存了10列,给大家做个参考.
nickname(昵称)、password(密码)、email(邮箱)、qq(QQ号)、telno(手机号码)、idno(身份证号码)、 realname(真实姓名)、address(家庭住址)、salt(盐值)、from(数据来源)。相对来说我这样划分的还是蛮详细的。但是在用 Logstash写入ES的过程当中就比较费时了。其实如果想偷懒,完全可以把现有的数据只作为一个field写入,也是可以查询出来的。但是这样会比较 乱,看着很不舒服。
我现在的主要做法是对一些现有的CSV文件,使用脚本进行清洗,洗成我规定的这些字段的格式。如果是.sql文件,则直接丢进mysql,然后再导出 csv文件。也就是说不同的网站数据库最终全部是csv文件,并且是格式相同的csv。有字段不存在的则使用空字符替代。这样的话,可以在不更改 logstash配置文件的情况下直接导入ES,也方便进行迁移。
配置logstash 文件(test.conf)
然后在logstash bin目录下面执行
Logstash.bat -f test.conf
就可以看到如下图:
正在往ES中写入数据。
在重复测试时,请注意要删除home目录下的sincedb文件。我提供了一段python代码来进行这些操作。
以上代码主要是用来删除创建的索引中的数据并且删除一些临时文件.
数据写完之后可以查看
http://ip地址:9200/_cat/indices?v
来查看索引的信息
登录 Kibana
http://localhost:5601/
点击settings --- index patterns Add new --输入你创建的index名称,点击create完成.
然后可以在Discover中进行搜索。
也可以指定字段名进行搜索 例如:telno:13588888888.该语法为lucene 语法.
Have fun!!!
相关推荐
Linux环境下面搭建ELK步骤,,, 进行日志抽取,备份等
ELK详细搭建及使用笔记word文档,包含所需文件下载地址。通过ELK(ElasticSearch + LogStash + Kibana = ELKStack),轻松几步搭建ELK环境,对数据进行实时监控和分析。 Elasticsearch是个开源分布式搜索引擎,...
完整的集中式日志系统,需要包含以下几个主要特点: 收集-能够采集多种来源的...ELK提供了一整套解决方案,并且都是开源软件,之间互相配合使用,完美衔接,高效的满足了很多场合的应用。目前主流的一种日志系统。
ELK集群搭建
采用ELK搭建日志分析系统
ELK Stack搭建及使用.docx
elk搭建日志平台,按照步骤搭建即可,集成redis,elastic
ELK(Elasticsearch + Logstash + Kibana)是一套开源的日志管理方案,分析网站的访问情况时我们一般会借助Google/百度/CNZZ等方式嵌入JS做数据统计,但是当网站访问异常或者被攻击时我们需要在后台分析如Nginx的具体...
第一章 部署准备1.1 目的使用 ELK 搭建日志收集和分析系统,将所有的应用日志、系统日志等做统一收集、存储、查询、分析等管理动作,提供 API 和 web
资源为elk日志分析系统的搭建,其中包括Elasticsearch、Logstash、Kibana三种文件的安装包,也有描述性的文档,同时文档中也增加了关于kafka的使用。 资源在手,天下我有</p>
实时日志分析系统ELK5.5搭建,配置参数经过实际调优、验证。
ELK(Elasticsearch、Logstash和Kibana) 日志分析 系统搭建
elk搭建
ELK集成环境搭建手册
使用docker-compose 搭建elk日志系统.使用docker-compose 搭建elk日志系统
elk集群搭建文档详细说明介绍,包含elasticsearch,logstash,kibana的安装等
自己通过5天时间在Ubuntu14.04 Server亲自搭建master节点和node节点,实验成功后亲自编写的《开源实时日志分析ELK系统搭建说明》,分虽然高一些,但是内容看了很值得,包含搭建、实验、排错等环节,谢谢大家~。
elk服务入门快速搭建,按照文档搭建必定成功,elk服务入门快速搭建,按照文档搭建必定成功
商品收缩 springboot 集成ES+kibana+logstash+Ik分词器
elk安装环境搭建(集群)