`

mongoDB capped collection预先分配磁盘空间

阅读更多

                 生产环境为了存储一个大数据,建立了一个定额的表,额度是size = 500G  count = 5亿,我需要在12台机器上建立这个定额的表,之前测试都使用的小额度限制,创建很快,这次在线上创建这么大的额度,结果直接卡主了,其实不是卡住了,是server一直在预先分配磁盘空间,mongo建立文件是从16K 32K 64K 直到2G 然后不再增大,这次定额的500G,mongoDB在server端预先建立了接近250个文件,总共耗费时间24分钟,可恨之前没考虑到这个,现在我12台机器需要将近5个小时,如果是并行只有24分钟就ok。所以以后建立定额的大表,记得需要并行来操作。之前日常没发现这个问题。同时mongo这个定额功能预先分配磁盘空间对于运行时使用效率有大大的提高了。

 

分享到:
评论

相关推荐

    mongodb 集群重构和释放磁盘空间实例详解

    MongoDB集群重构,释放磁盘空间 由于mongodb删除了一部分数据后,不会回收相应的磁盘空间,所以这里通过重建数据目录的方式释放磁盘空间。 一 实验环境 配置了一个副本集,该副本集由以下三个节点组成: 10.192....

    MongoDB固定集合(capped collection)的知识小结

    MongoDB中有一种特殊类型的集合,值得我们特别留意,那就是固定集合(capped collection)。 固定集合可以声明collection的容量大小,其行为类似于循环队列。数据插入时,新文档会被插入到队列的末尾,如果队列已经...

    基于MongoDB的日志系统Mongodb-Log.zip

    MongoDB 的 Capped Collection是一个天生的日志系统,MongoDB自己的oplog就是用它来存储的,Capped Collection的特点是可以指定Collection的大小,当记录总大小超过设定大小后,老的数据会被自动抹掉用于存储新的...

    Mongodb回收磁盘空间方案_good_use

    Mongodb回收磁盘空间方案,在Mongodb下删除文件但是空间不会释放,怎么实现空间的释放

    MongoDB释放空闲空间的几种常用方法

    当我们从MongoDB中删除文档或集合时,MongoDB并不会将已经占用了的磁盘空间释放,它会一直维护已经占用了磁盘空间的数据文件,尽管数据文件中可能存在大大小小的空记录列表(empty record list)。当客户端程序再次...

    OpenStack Ceilometer用MongoDB解决占用磁盘空间过大问题

    OpenStack Ceilometer用MongoDB解决占用磁盘空间过大问题 背景:Ceilometer使用MongoDB作为数据库,不断进行采样,导致数据量膨胀,占用过多的磁盘空间。 知识背景 1.数据库文件类型 1.1. journal 日志文件 跟...

    详解清除MongoDB所占用的多余的磁盘空间的方法

    首先一点就是mongodb 不会释放已经占用的硬盘空间,即使drop collection也不行,除非drop database。如果一个db曾经有大量的数据一段时间后又删除的话,硬盘空间就是一个问题,如何收回被mongdodb占用的多余空间?...

    collection-sample:MongoDB集合中的样本文档

    mongodb-collection-sample 来自MongoDB集合的样本文档。 安装 npm install --save mongodb-collection-sample 例子 npm install mongodb lodash mongodb-collection-sample var sample = require ( 'mongodb-...

    MongoDB笔记.docx

    一、MongoDB简介 3 二、MongoDB结构 3 二、MongoDB 数据库关系型...3、通过Schema来创建Model相当于mongoDB数据库中的集合collection 14 1、Mongoose查询 14 2、Mongoose增加 15 3、Mongoose修改 16 4、Mongoose删除 16

    05MongoDB学习操作集合(Collection)

    05★MongoDB学习★操作集合(Collection)

    Data-Unit_MongoDB_Restore_v2.1.zip

    Data-Unit_MongoDB_Restore适用于磁盘存储故障、勒索病毒删除、误操作删除等导致的数据库丢失恢复。运行工具后将数据文件拖入本窗口即可。也支持扫描分区和裸磁盘,建议扫描磁盘镜像文件,效果更好。 免费版每个集合...

    basyt-mongodb-collection:basyt mongodb数据库连接软件包。 有关详细信息,请参见basyt。

    basyt-mongodb-collection basyt mongodb数据库连接软件包。 有关详细信息,请参见basyt。

    MongoDB基本操作指南

    图1 MongoDB是一个Schema-free的文档数据库图2是一个例子,作品和评论可以设计为一个collection,评论作为子文档内嵌在art的comments属性中,评论的回复则作为comment子文档的子文档内嵌于replies属性。按照这种设计...

    Linux安装mongodb客户端

    sudo vim /etc/yum.repos.d/mongodb-org-4.2.repo 写入: [mongodb-org-4.2] name=MongoDB Repository baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/4.2/x86_64/ gpgcheck=1 enabled=1 gpg...

    如何安装MongoDB 如何使用MongoDB

    本课程是一套关于MongoDB应用开发的实战性教程,名为《深入浅出MongoDB应用实战开发(基础、开发指南、系统管理、集群及系统架构)》,教程侧重于讲解MongoDB的常用特性及高级特性,从实际开发的角度出发对MongoDB...

    MongoDB应用设计模式

    资源名称:MongoDB应用设计模式内容简介:无论是在构建社交媒体网站,还是在开发一个仅在内部使用的企业应用程序,《MongoDB应用设计模式》展示了MongoDB需要解决的商业问题之间的连接。你将学到如何把MongoDB设计...

Global site tag (gtag.js) - Google Analytics