Linux EXT4文件系统介绍和性能测试

69顶
2踩

2009-02-02 16:46 by 见习编辑 robbin 评论(2) 有18102人浏览

Linux 软件测试

Ext2 v.s. Ext3 v.s. Ext4 性能比拼

Linux kernel 自 2.6.28 开始正式支持新的文件系统 Ext4。 Ext4 是 Ext3 的改进版，修改了 Ext3 中部分重要的数据结构，而不仅仅像 Ext3 对 Ext2 那样，只是增加了一个日志功能而已。Ext4 可以提供更佳的性能和可靠性，还有更为丰富的功能：

1. 与 Ext3 兼容。执行若干条命令，就能从 Ext3 在线迁移到 Ext4，而无须重新格式化磁盘或重新安装系统。原有 Ext3 数据结构照样保留，Ext4 作用于新数据，当然，整个文件系统因此也就获得了 Ext4 所支持的更大容量。

2. 更大的文件系统和更大的文件。较之 Ext3 目前所支持的最大 16TB 文件系统和最大 2TB 文件，Ext4 分别支持 1EB（1,048,576TB， 1EB=1024PB， 1PB=1024TB）的文件系统，以及 16TB 的文件。

3. 无限数量的子目录。Ext3 目前只支持 32,000 个子目录，而 Ext4 支持无限数量的子目录。

4. Extents。Ext3 采用间接块映射，当操作大文件时，效率极其低下。比如一个 100MB 大小的文件，在 Ext3 中要建立 25,600 个数据块（每个数据块大小为 4KB）的映射表。而 Ext4 引入了现代文件系统中流行的 extents 概念，每个 extent 为一组连续的数据块，上述文件则表示为“该文件数据保存在接下来的 25,600 个数据块中”，提高了不少效率。

5. 多块分配。当写入数据到 Ext3 文件系统中时，Ext3 的数据块分配器每次只能分配一个 4KB 的块，写一个 100MB 文件就要调用 25,600 次数据块分配器，而 Ext4 的多块分配器“multiblock allocator”（mballoc）支持一次调用分配多个数据块。

6. 延迟分配。Ext3 的数据块分配策略是尽快分配，而 Ext4 和其它现代文件操作系统的策略是尽可能地延迟分配，直到文件在 cache 中写完才开始分配数据块并写入磁盘，这样就能优化整个文件的数据块分配，与前两种特性搭配起来可以显著提升性能。

7. 快速 fsck。以前执行 fsck 第一步就会很慢，因为它要检查所有的 inode，现在 Ext4 给每个组的 inode 表中都添加了一份未使用 inode 的列表，今后 fsck Ext4 文件系统就可以跳过它们而只去检查那些在用的 inode 了。

8. 日志校验。日志是最常用的部分，也极易导致磁盘硬件故障，而从损坏的日志中恢复数据会导致更多的数据损坏。Ext4 的日志校验功能可以很方便地判断日志数据是否损坏，而且它将 Ext3 的两阶段日志机制合并成一个阶段，在增加安全性的同时提高了性能。

9. “无日志”（No Journaling）模式。日志总归有一些开销，Ext4 允许关闭日志，以便某些有特殊需求的用户可以借此提升性能。

10. 在线碎片整理。尽管延迟分配、多块分配和 extents 能有效减少文件系统碎片，但碎片还是不可避免会产生。Ext4 支持在线碎片整理，并将提供 e4defrag 工具进行个别文件或整个文件系统的碎片整理。

11. inode 相关特性。Ext4 支持更大的 inode，较之 Ext3 默认的 inode 大小 128 字节，Ext4 为了在 inode 中容纳更多的扩展属性（如纳秒时间戳或 inode 版本），默认 inode 大小为 256 字节。Ext4 还支持快速扩展属性（fast extended attributes）和 inode 保留（inodes reservation）。

12. 持久预分配（Persistent preallocation）。P2P 软件为了保证下载文件有足够的空间存放，常常会预先创建一个与所下载文件大小相同的空文件，以免未来的数小时或数天之内磁盘空间不足导致下载失败。 Ext4 在文件系统层面实现了持久预分配并提供相应的 API（libc 中的 posix_fallocate()），比应用软件自己实现更有效率。

13. 默认启用 barrier。磁盘上配有内部缓存，以便重新调整批量数据的写操作顺序，优化写入性能，因此文件系统必须在日志数据写入磁盘之后才能写 commit 记录，若 commit 记录写入在先，而日志有可能损坏，那么就会影响数据完整性。Ext4 默认启用 barrier，只有当 barrier 之前的数据全部写入磁盘，才能写 barrier 之后的数据。（可通过 "mount -o barrier=0" 命令禁用该特性。）

Ext4 随 Linux kernel 2.6.28 正式发布已有数周，一直苦于找不到测试用的磁盘，正巧年前 Intel 送来几块 SSD 测试样品，这两天就顺带把 SSD 也测了。测试所使用的 Linux 内核版本为 2.6.28.2，测试工具为 IOzone 3.318。

测试结果除了表明 Intel SSD 的读写速度快得令人咋舌之外，还可以说明 Ext4 的各方面性能都超过了上一代 Ext3，甚至在大多数情况下，比没有日志功能的 Ext2 还要快出不少：

来自: hutuworm

分享到：

69
顶

2
踩

评论共 2 条请登录后发表评论

2 楼 chensss2008 2009-02-04 08:26

已經期待很久了，
回家把自己的ubuntu升級一下先

1 楼 rbh 2009-02-03 01:24

对Rails服务器是个好的消息～

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

Java中Socket设置连接超时的代码分享

在我们日常连接中，如果超时时长过长的话，在开发时会影响测试，下面这篇文章主要给大家分享了关于Java中Socket设置连接超时的代码，需要的朋友可以参考借鉴，下面来一起看看吧。

Linux下Socket连接超时的一种实现方法

目前各平台通用的设置套接字（Socket）连接超时的办法是：创建套接字，将其设置成非阻塞状态。调用connect连接对端主机，如果失败，判断当时的errno是否为EINPROGRESS，也就是说是不是连接正在进行中，如果是，转到步骤3，如果不是，返回错误。用select在指定的超时时间内监听套接字的写就绪事件，如果select有监听到，证明连接成功，否则连接失败。　　

Qt WebSocket实现连接超时以及断网之后的反馈

在使用Qt WebSocket的过程中发现没有连接超时以及断网之后的通知（个人理解，如有错误可以评论留言，我也学习一下）定义了一个WebSocketThread类进行数据的接收、发送，以及连接状态的信号发出，以下是我的源码 WebSocketThread.h #ifndef WEBSOCKETTHREAD_H #define WEBSOCKETTHREAD_H #include <QThread> #include <QQueue> #include <QMutex

linux socket默认超时时间设置,Socket中如何设置连接超时 (转)

Socket中如何设置连接超时 (转)Socket中如何设置连接超时AntGhazi/2001.12.14 主页：antghazi.yeah把CSDN与中文翻了底朝天，也没找到如何设置socket的连接超时的满意方法，问此问题的兄弟已有一大堆，这里偶就讲一下win下如何设置socket的connect超时。设置connect的超时很简单，CSDN上也有人提到过使用，但却没有一个令人满意与完整的答案...

Qt篇——QTcpSocket设置连接超时时间

QTcpSocket设置连接超时时间

QT socket使用内部自带的超时属性设置连接超时时间

QT版本：5.15.0 msvc2019 QTcpSocket操作默认都是异步操作，connectToHost连接也是立刻返回，没有返回值，通过信号获取是否成功，这个问题也不大，但是这个默认超时时间30s有点长，没有明显的其他成员函数可以修改这个超时时间，网上找到一般是这两个方法： 1. 使用waitForConnected改成同步的方式等待，设置等待时间，超时可以选择取消连接，一般需要在线程内操作，不然卡UI 2. 自己建一个QTimer定时器，超时后检查是否已经连接了，没连接可以选择取消连接在查看源

【Java 网络编程】服务器端 ServerSocket 配置 ( 端口复用 | 缓冲区设置 | 超时时间 | 性能权重 | 端口绑定 )

I ServerSocket 端口号绑定参数 II ServerSocket 复用绑定端口设置 III ServerSocket 设置缓冲区大小 IV ServerSocket 设置超时时间 V ServerSocket 设置性能参数

ServerSocket连接断开处理方式

ServerSocket连接断开处理方式概述：异常信息：之前有人给出的方案：代码分析场景分析1.建立Socket连接,底层就是TCP连接：2.发送数据2.断开连接概述： WebSocket是一种在单个TCP连接上进行全双工通信的协议。在我们应用的过程仲，客户端会出现无故断开的情况。这里提供一种连接断开的异常检测机制。异常信息：系统中出现的异常 2019-03-12 18:56:24,044 ...

C#Socket通讯之超时检测

可以使用如下方法设置Socket套接字的接收或发送的超时检测 static void ConfigureTcpSocket(Socket tcpSocket){ // Dont allow another socket to bind to this port. tcpSocket.ExclusiveAddressUse = true; // The

QT 中Socket客户端与服务器异常断开后重连

在现在的项目开发中，经常要使用TCP/IP协议来进行通讯，但有时候与服务器端的链接由于网络问题导致连接异常或断开，这就需要我们的软件能自动重连，在Linux中，我们的思维一般是通过心跳包来监控连接是否断开，有时候还单独开一个线程，但是在QT中，就变得简单多了，当连接异常断开时，会触发相应的信号，我们只要在这个信号对应的槽函数中做重连处理就可以了，不需要另开线程也不需要心跳包。由于网上查的Q...

关于修改socket连接默认超时间

其中1单位为秒，连接不成功，超时时间设置为1s。

【转载】Socket中如何设置连接超时

设置connect超时很简单，CSDN上也有人提到过使用select，但却没有一个令人满意与完整的答案。偶所讲的也正是select函数，此函数集成在winsock1.1中，简单点讲，"作用使那些想避免在套接字调用过程中被锁定的应用程序，采取一种有序的方式，同时对多个套接字进行管理"(《Windows网络编程技术》原话)。使用方法与解释请见《Windows网络编程技术》。　　在使用此函数前，...

【c#】设置Socket连接、接收超时

用到Socket，发现如果连接错误，比如Connect的端口不对，会造成很长时间的延时，程序就僵在那里，效果很不好；在网上找到很方便的设置办法，分享如下： Socket.SetSocketOption(SocketOptionLevel.Socket,SocketOptionName.ReceiveTimeout,1000); 设置Socket接收超时，时长为1000...

C# TCP Server和TCP Client之间多次的数据发送与接收

【转】C# 网络连接中异常断线的处理:ReceiveTimeout, SendTimeout 及 KeepAliveValues(设置心跳)

在使用 TcpClient 网络连接中常常会发生客户端连接异常断开, 服务端需要设置检测手段进行这种异常的处理； 1、对于短连接, 通过对 Socket 属性ReceiveTimeout 和 SendTimeout 设置恰当的值, 使得程序在进行读/写时超时, 会产生 SocketException 异常, 通过检查这个异常并进行处理，来完成对异常断开的检测处理. 服务端连接处理代码如下: Socket.SetSocketOption(SocketOptionLevel.Socket, Sock...

解决C#网络通信编程的阻塞问题

网络编程分为阻塞和非阻塞两种方式，如果选择了阻塞方式进行编程，控制不好很容易导致程序死掉。　　下面这段代码中：复制代码 … TcpListener tcpListener = null; TcpClient tcpClient = null; NetworkStream networkStream = null;

TCP定时器之超时重传定时器

每条TCP连接都会维护一个超时重传定时器，该定时器是TCP保证可靠性的一个非常重要的手段，一旦该定时器超时，那么就会重传还未收到ACK的报文。这篇笔记就来看看该定时器相关的代码实现。 1. 相关数据结构 struct inet_connection_sock { ... //icsk_retransmit_timer的超时时刻，jiffies超过该值时定时器超时 unsigned long ...

socket服务器显示未响应,QTCPSOCKET 客户端已连接而服务器无响应

最近在使用qt coding一个项目时，使用到了qtcpsocket模块来编写客户端与服务器。在windows平台下还能正常工作，但是在ubuntu平台下，客户端提示已连接时，服务器却没有响应。经过排查，发现是在重写qtcpsocket的incomingConnection函数时出现问题，incomingConnection(int handle)，应改为incomingConnection(qi...

69顶2踩