`
gongmingwind
  • 浏览: 578855 次
  • 性别: Icon_minigender_1
  • 来自: 南京
社区版块
存档分类
最新评论

(转)用Hash目录优化文件存储

阅读更多
Hash目录是一种优化文件存储性能的方法。无论是Windows还是Linux,无论是NTFS还是ext3,每个目录下所能容纳的项目数是有限的。并不是不能保存,而是当项目数量过大的时候,会降低文件索引速度,所以权衡一个目录下应该保存多少文件是很必要的。保存得多了会影响性能,保存得少了会造成目录太多和空间浪费。所以当保存大批文件的时候,需要有一种算法能将文件比较均匀地“打散”在不同的子目录下以提高每一级的索引速度,这种算法就是 Hash。通常用的MD5、sha1等都可以用来做Hash目录,我的mSession里也同样使用了MD5,取得sessionID的第一位和第九位,这就构成了两级Hash路径,也就是说,系统把所有的Session文件分散到了16×16=256个子目录下。假设Linux每个目录下保存1000个文件可以获得最好的空间性能比,那么系统在理想情况下可以同时有256000个session文件在被使用。

转自:http://blog.csdn.net/jarit/archive/2006/06/26/835461.aspx
分享到:
评论

相关推荐

    索引类型FULLTEXT,HASH,BTREE,RTREE,索引优化1

    2、存储结构正如其名,这类索引的物理文件大多就是以BTree结构来存储的,但会有不同的存储引擎在使用BTree索引时,对存储结构稍作修改 2、Hash索引的弊端

    基于SSM的网盘系统-毕业设计

    基本功能 ...文件上传、下载、重命名、...用户上传不同文件如果具有hash值相同的分片只需要存储一次, 但需额外的逻辑来管理分片的引用计数或其他机制, 以确保当所有引用某个分片的文件都被删除时,该分片也能被相应地删除

    SQLServer2008查询性能优化 2/2

    2.7.10 将日志文件保存到独立的物理磁盘 39 2.7.11 表的分区 40 2.8 处理器瓶颈分析 40 2.8.1 % Processor Time 41 2.8.2 % Privileged Time 41 2.8.3 Processor Queue Length 42 2.8.4 Context Switches/sec ...

    Java思维导图xmind文件+导出图片

    redis使用常见问题及性能优化思路 redis高可用及高并发实战 缓存击穿、缓存雪崩预防策略 Redis批量查询优化 Redis高性能集群之Twemproxy of Redis 数据存储 MongoDB NOSQL简介及MongoDB支持的数据类型分析 ...

    ORACLE9i_优化设计与系统调整

    §7.3.1 Oracle系统有关目录所有文件的保护 94 §7.3.2 避免新用户使用默认system系统表空间 94 §7.4 Oracle系统所在服务器的独立性 94 第9章 项目分析、设计与管理 94 §9.1 项目分析要点考虑 95 §9.1.1 对应用...

    SQLServer2008查询性能优化 1/2

    2.7.10 将日志文件保存到独立的物理磁盘 39 2.7.11 表的分区 40 2.8 处理器瓶颈分析 40 2.8.1 % Processor Time 41 2.8.2 % Privileged Time 41 2.8.3 Processor Queue Length 42 2.8.4 Context Switches/sec ...

    彩虹外链网盘V5.4更新 新增用户系统与分块上传

    彩虹外链网盘,是一款PHP网盘与外链分享程序,支持所有格式文件的上传,可以生成文件外链、图片外链、音乐视频外链,生成外链同时自动生成相应的UBB代码和HTML代码,还可支持文本、图片、...9.优化文件预览等页面样式

    彩虹外链PHP网盘V5.4更新 新增用户系统与分块上传

    ... 还可支持文本、图片、音乐、视频在线预览,这不仅仅是一个网盘, 更是一个图床亦或是音乐在线试听网站。 新版本支持对接阿里云OSS、腾讯云COS、华为云OBS、又拍云、七牛云等云存储,...9.优化文件预览等页面样式

    彩虹外链网盘V5.4更新 新增用户系统与分块上传.zip

    彩虹外链网盘,是一款PHP网盘与外链分享程序,支持所有格式文件的上传,可以生成文件外链、图片外链、音乐视频外链,生成外链同时自动生成相应的UBB代码和HTML代码,还可支持文本、图片、...9.优化文件预览等页面样式

    Redis优化经验总结(必看篇)

    当value这个Map内部不超过多少个成员时会采用线性紧凑格式存储,默认是64,即value内部有64个以下的成员就是使用线性紧凑存储,超过该值自动转成真正的HashMap。 hash-max-zipmap-value 含义是当 value这

    彩虹外链网盘源码 PHP网盘与外链分享程序

    彩虹外链网盘,是一款PHP网盘与外链分享程序,支持所有格式文件的上传,可以生成文件外链、图片外链、音乐视频外链,生成外链同时自动生成相应的UBB代码和html代码,还可支持文本、图片、...9.优化文件预览等页面样式

    彩虹外链PHP网盘V5.4更新 新增用户系统与分块上传.zip

    ... 还可支持文本、图片、音乐、视频在线预览,这不仅仅是一个网盘, 更是一个图床亦或是音乐在线试听网站。 新版本支持对接阿里云OSS、腾讯云COS...9.优化文件预览等页面样式 安装教程: php版本7.3 上传访问进行安装

    海量小文件元数据的分布式存储与检索 (2014年)

    针对现有分布式文件系统处理海量小文件时存在的主节点元数据处理性能瓶颈问题,提出采用分布式文件来存储元数据,并通过元数据缓冲和Hash映射实现元数据的分布;采用MapReduce并行程序对元数据检索进行了实现,并...

    数据库系统概念:存储和文件结构.pdf

    需要 索引结构 哈希,AVL树,T树,B树 B树,B+树,Hash 并发控制 ⼤粒度锁 细粒度锁加锁,解锁,死锁检测 查询优化 基于处理器代价以及 cache 代价 基于 I/O 代价 2、LRU: Least Recently Used,该算法的设计原则是...

    JAVA上百实例源码以及开源项目

    2个目标文件,FTP的目标是:(1)提高文件的共享性(计算机程序和/或数据),(2)鼓励间接地(通过程序)使用远程计算机,(3)保护用户因主机之间的文件存储系统导致的变化,(4)为了可靠和高效地传输,虽然用户...

    ModStartBlog v6.9.0 博客赞赏功能,置顶热门推荐

    2023年03月15日ModStartBlog发布v6.9.0版本,增加了以下13个特性: ...[系统优化] Checkbox 组件序列化保存时对数字字符串默认转数字 [系统优化] modstart_config 函数根据默认值类型默认自动反序列化JSO

    WinHex

    * v13.2 保存的安全将不能用以前版本的 X-Ways Forensics 打开,它不能从以前版本的案例中导入某些项目。 * 书签列表同证据对象关联。 * 证据对象的名称在目录浏览器中单独的列中显示。这个字段在递归...

    Oracle9i的init.ora参数中文说明

    说明: 允许数据库管理员指定 PL/SQL 文件 I/O 许可的目录。使用多个 UTL_FILE_DIR 参数即可指定多个目录。请注意所有用户均可读取或写入 UTL_FILE_DIR 参数中指定的所有文件。 值范围: 任何有效的目录路径。 ...

Global site tag (gtag.js) - Google Analytics