`
weitao1026
  • 浏览: 1009138 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

Elasticsearch到底能玩多大的数据量

 
阅读更多

单独看ES能玩多大数据意义不大,具体实践中往往因为各种业务要求而无法继续增加数据量。目大的方面考虑有如下几点:

1、查询速度。ES可以支持的查询类型多种多样,单一的term匹配,复杂的historm agg,甚至父子文档模式下bool查询之后继续做文本高亮,数据量越大查询时间越长。如果只是简单的把数据写进去然后按照ID获取数据,那就尽管往里面写数据吧。

2、写入速度。数据量越大,写入速度受影响的可能性越大。业务要求1小时的数据1小时内必须写完,如果做不到就得考虑分索引或者分集群了。

3、更新速度。同上,更新比单纯的写入操作更多,先get再merge再overwrite到es。

4、其他因素。

目前我遇到的ES集群,有1.5T-2T索引量的情况下,需要支持平均查询在500ms以内的高并发高亮查询。在我们的场景下这个量级不算小了。

 

目前我们项目中用的32个节点,数据是目前只是TB级别的,偶尔会出现问题,一般是因为网络的原因,导致节点链接不正常,其他没有发现什么异常

 

Netflex 去年的公开数据 说 已经超过一共 超过 2000 个 nodes,当然是多个集群。 我个人很少听说公司 in production 真的用了很多nodes
补充公开的use case :
elastic.co/use-cases

 

 

分享到:
评论

相关推荐

    ElasticSearch数据导出

    ElasticSearch数据导出 elasticsearch单文档数据导出 支持自定义查询 导出数据Json文件

    02-Elasticsearch AI 大模型搜索引擎介绍与演示 meetup 成都 8.19 2023

    Elasticsearch AI 大模型搜索引擎介绍与演示 Elasticsearch AI 大模型搜索引擎是基于人工...Elasticsearch AI 大模型搜索引擎的技术架构和应用前景都非常广泛和深入,这将为开发人员和企业提供了更多的可能和选择。

    elasticsearch 8.11.3 windows安装包

    它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性,能使数据在生产环境变得更有价值。Elasticsearch 的实现原理主要分为以下几个步骤,首先用户将数据提交到Elasticsearch ...

    Elasticsearch 开发手册

    Elasticsearch 能很方便地用于对大量数据进行搜索和分析,充分利用 Elasticsearch 的水平伸缩性,能够使数据在生产环境中变得更富有价值。 Elasticsearch 的主要应用场景包括: * 网站搜索、代码搜索等 * 日志管理...

    Oracle数据批量导入elasticsearch脚本

    Linux环境下使用sqlplus工具将oracle中的数据导入到elasticsearch中。只需要在es_bulk_tool.properties配置sql即可实现数据的批量导入。在elasticsearch6中测试通过。shell脚本需要使用sqlplus。

    elasticsearch windows 7.17.16 解压安装包

    它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性,能使数据在生产环境变得更有价值。Elasticsearch 的实现原理主要分为以下几个步骤,首先用户将数据提交到Elasticsearch ...

    java语言kafka数据批量导入到Elasticsearch实例

    消费kafka数据,然后批量导入到Elasticsearch,本例子使用的kafka版本0.10,es版本是6.4,使用bulk方式批量导入到es中,也可以一条一条的导入,不过比较慢。 <groupId>org.elasticsearch <artifactId>elastic...

    elasticsearch查询模版-模糊查询,多字段查询,相似度计算等

    4. **水平可扩展性**:随着数据量的增加,您可以简单地增加更多的节点,Elasticsearch会自动平衡集群的负载。 5. **易于集成**:Elasticsearch提供了丰富的RESTful API,可以轻松地与各种编程语言进行集

    elasticsearch-7.17.6及对应版本IK分词

    无论您拥有结构化或非结构化文本、数字数据还是地理空间数据,Elasticsearch 都能以支持快速搜索的方式高效地存储和索引它。您可以超越简单的数据检索和聚合信息来发现数据中的趋势和模式。随着您的数据和查询量的...

    项目实战——钉钉报警校验ElasticSearch和Hive数据仓库内的数据质量(Java版本)

    因为你不知道将Hive的数据导入到了ElasticSearch后,数据量是否准确,所以需要钉钉报警校验ElasticSearch和Hive数据仓库内的数据质量,注意,这个项目打包后,最好另起一个进程调用,并且开始时间为文章1或者2最大...

    elasticsearch-6.7.0

    ElasticSearch(ES)2019最新版下载。Elasticsearch是个开源分布式搜索引擎,提供搜集、分析、存储数据三大功能。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,...

    es入门操作-elasticsearch入门操作

    1. 高效的搜索性能:Elasticsearch 提供了高效的搜索性能,能够对大量数据进行快速搜索。 2. 高度可扩展:Elasticsearch 可以水平扩展,能够对大量数据进行处理。 3. 实时搜索:Elasticsearch 提供了实时的搜索功能...

    Elasticsearch(elasticsearch-7.17.0-arm64.deb )

    Elasticsearch(elasticsearch-7.17.0-arm64.deb 适用于deb Arm )是一个高度可扩展的开源全文本搜索和分析引擎。它使您可以快速,近乎实时地存储,搜索和分析大量数据。它通常用作支持具有复杂搜索功能和要求的应用...

    elasticsearch 7.17.16 linux 解压安装包

    它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性,能使数据在生产环境变得更有价值。Elasticsearch 的实现原理主要分为以下几个步骤,首先用户将数据提交到Elasticsearch ...

    elasticsearch-6.4.0.zip

    Elasticsearch 6.4 版本,ElasticSearch 是一个分布式、高扩展、高实时的搜索与数据分析...它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用ElasticSearch的水平伸缩性,能使数据在生产环境变得更有价值。

    Elasticsearch(elasticsearch-7.16.2-aarch64.rpm)

    Elasticsearch(elasticsearch-7.16.2-aarch64.rpm适用于Linux arm x86_64)是一个高度可扩展的开源全文本搜索和分析引擎。它使您可以快速,近乎实时地存储,搜索和分析大量数据。它通常用作支持具有复杂搜索功能和...

    SpringBoot集成Elasticsearch(已实现各种ES操作,上手即可用

    本实例为博主原创,属于简单易上手并且能够拿来就用的SpringBoot ES 项目,全文使用的是ElasticsearchTemplate进行开发。 本实例涵盖ES中的各类操作,如索引操作、CRUD操作、批处理、结果排序、分页查询、检索查询、...

    elasticsearch-7.6.0-windows-x86_64.rar es工具

    Elasticsearch(ES)是一个基于Lucene构建的开源、分布式、RESTful...对用户而言,是开箱即用的,非常简单,作为中小型的应用,直接3分钟部署一下ES,就可以作为生产环境的系统来使用了,数据量不大,操作不是太复杂

    Elasticsearch(elasticsearch-8.2.0-arm64.deb )

    Elasticsearch(elasticsearch-8.2.0-arm64.deb ),适用于deb Arm :它是一个高度可扩展的开源全文本搜索和分析引擎。它使您可以快速,近乎实时地存储,搜索和分析大量数据。它通常用作支持具有复杂搜索功能和要求...

Global site tag (gtag.js) - Google Analytics