单独看ES能玩多大数据意义不大,具体实践中往往因为各种业务要求而无法继续增加数据量。目大的方面考虑有如下几点:
1、查询速度。ES可以支持的查询类型多种多样,单一的term匹配,复杂的historm agg,甚至父子文档模式下bool查询之后继续做文本高亮,数据量越大查询时间越长。如果只是简单的把数据写进去然后按照ID获取数据,那就尽管往里面写数据吧。
2、写入速度。数据量越大,写入速度受影响的可能性越大。业务要求1小时的数据1小时内必须写完,如果做不到就得考虑分索引或者分集群了。
3、更新速度。同上,更新比单纯的写入操作更多,先get再merge再overwrite到es。
4、其他因素。
目前我遇到的ES集群,有1.5T-2T索引量的情况下,需要支持平均查询在500ms以内的高并发高亮查询。在我们的场景下这个量级不算小了。
目前我们项目中用的32个节点,数据是目前只是TB级别的,偶尔会出现问题,一般是因为网络的原因,导致节点链接不正常,其他没有发现什么异常
Netflex 去年的公开数据 说 已经超过一共 超过 2000 个 nodes,当然是多个集群。 我个人很少听说公司 in production 真的用了很多nodes
补充公开的use case :
https://www.elastic.co/use-cases
补充公开的use case :
https://www.elastic.co/use-cases
相关推荐
ElasticSearch数据导出 elasticsearch单文档数据导出 支持自定义查询 导出数据Json文件
Elasticsearch AI 大模型搜索引擎介绍与演示 Elasticsearch AI 大模型搜索引擎是基于人工...Elasticsearch AI 大模型搜索引擎的技术架构和应用前景都非常广泛和深入,这将为开发人员和企业提供了更多的可能和选择。
它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性,能使数据在生产环境变得更有价值。Elasticsearch 的实现原理主要分为以下几个步骤,首先用户将数据提交到Elasticsearch ...
Elasticsearch 能很方便地用于对大量数据进行搜索和分析,充分利用 Elasticsearch 的水平伸缩性,能够使数据在生产环境中变得更富有价值。 Elasticsearch 的主要应用场景包括: * 网站搜索、代码搜索等 * 日志管理...
Linux环境下使用sqlplus工具将oracle中的数据导入到elasticsearch中。只需要在es_bulk_tool.properties配置sql即可实现数据的批量导入。在elasticsearch6中测试通过。shell脚本需要使用sqlplus。
它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性,能使数据在生产环境变得更有价值。Elasticsearch 的实现原理主要分为以下几个步骤,首先用户将数据提交到Elasticsearch ...
消费kafka数据,然后批量导入到Elasticsearch,本例子使用的kafka版本0.10,es版本是6.4,使用bulk方式批量导入到es中,也可以一条一条的导入,不过比较慢。 <groupId>org.elasticsearch <artifactId>elastic...
4. **水平可扩展性**:随着数据量的增加,您可以简单地增加更多的节点,Elasticsearch会自动平衡集群的负载。 5. **易于集成**:Elasticsearch提供了丰富的RESTful API,可以轻松地与各种编程语言进行集
无论您拥有结构化或非结构化文本、数字数据还是地理空间数据,Elasticsearch 都能以支持快速搜索的方式高效地存储和索引它。您可以超越简单的数据检索和聚合信息来发现数据中的趋势和模式。随着您的数据和查询量的...
因为你不知道将Hive的数据导入到了ElasticSearch后,数据量是否准确,所以需要钉钉报警校验ElasticSearch和Hive数据仓库内的数据质量,注意,这个项目打包后,最好另起一个进程调用,并且开始时间为文章1或者2最大...
ElasticSearch(ES)2019最新版下载。Elasticsearch是个开源分布式搜索引擎,提供搜集、分析、存储数据三大功能。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,...
1. 高效的搜索性能:Elasticsearch 提供了高效的搜索性能,能够对大量数据进行快速搜索。 2. 高度可扩展:Elasticsearch 可以水平扩展,能够对大量数据进行处理。 3. 实时搜索:Elasticsearch 提供了实时的搜索功能...
Elasticsearch(elasticsearch-7.17.0-arm64.deb 适用于deb Arm )是一个高度可扩展的开源全文本搜索和分析引擎。它使您可以快速,近乎实时地存储,搜索和分析大量数据。它通常用作支持具有复杂搜索功能和要求的应用...
它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性,能使数据在生产环境变得更有价值。Elasticsearch 的实现原理主要分为以下几个步骤,首先用户将数据提交到Elasticsearch ...
Elasticsearch 6.4 版本,ElasticSearch 是一个分布式、高扩展、高实时的搜索与数据分析...它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用ElasticSearch的水平伸缩性,能使数据在生产环境变得更有价值。
Elasticsearch(elasticsearch-7.16.2-aarch64.rpm适用于Linux arm x86_64)是一个高度可扩展的开源全文本搜索和分析引擎。它使您可以快速,近乎实时地存储,搜索和分析大量数据。它通常用作支持具有复杂搜索功能和...
本实例为博主原创,属于简单易上手并且能够拿来就用的SpringBoot ES 项目,全文使用的是ElasticsearchTemplate进行开发。 本实例涵盖ES中的各类操作,如索引操作、CRUD操作、批处理、结果排序、分页查询、检索查询、...
Elasticsearch(ES)是一个基于Lucene构建的开源、分布式、RESTful...对用户而言,是开箱即用的,非常简单,作为中小型的应用,直接3分钟部署一下ES,就可以作为生产环境的系统来使用了,数据量不大,操作不是太复杂
Elasticsearch(elasticsearch-8.2.0-arm64.deb ),适用于deb Arm :它是一个高度可扩展的开源全文本搜索和分析引擎。它使您可以快速,近乎实时地存储,搜索和分析大量数据。它通常用作支持具有复杂搜索功能和要求...