《Unix/linux系统编程》教材第12章学习笔记

发布时间 2023-11-15 08:22:28作者: 20211424罗杰逊

|第12章|

块设备I/O和缓冲区管理

块设备I/O缓冲区
  读写普通文件的算法依赖于两个关键操作,即get_block和put_block,这两个操作将磁盘块读写到内存缓冲区中。由于与内存访问相比,磁盘I/O速度较慢,所以不希望在每次执行读写文件操作时都执行磁盘I/O。因此、大多数文件系统使用I/O缓冲来减少进出存储设备的物理I/O数量。
  文件系统使用一系列J/0缓冲区作为块设备的缓存内存当进程试图读取(dev,blk)标识的磁盘块时,它首先在缓冲区缓存中搜索分配给磁盘块的缓冲区。如果该缓冲区存在并且包含有效数据,那么它只需从缓冲区中读取数据,而无须再次从磁盘中读取数据块。如果该缓冲区不存在,它会为磁盘块分配一个缓冲区,将数据从磁盘读人缓冲区,然后从缓冲区读取数据。当某个块被读入时,该缓冲区将被保存在缓冲区缓存中,以供任意进程对同一个块的下一次读/写请求使用。同样,当进程写人磁盘块时,它首先会获取一个分配给该块的缓冲区。然后,它将数据写人缓冲区,将缓冲区标记为脏,以延迟写人,并将其释放到缓冲区缓存中。由于脏缓冲区包含有效的数据,因此可以使用它来满足对同一块的后续读/写请求,而不会引起实际磁盘T/0。脏缓冲区只有在被重新分配到不同的块时才会写人磁盘。
  如果该缓冲区存在并且包含有效数据、那么它只需从缓冲区中读取数据、而无须再次从磁盘中读取数据块。如果该缓冲区不存在,它会为磁盘块分配一个缓冲区,将数据从磁盘读人缓冲区,然后从缓冲区读取数据。当某个块被读入时,该缓冲区将被保存在缓冲区缓存中。以供任意进程对同一个块的下一次读/写请求使用。同样。当进程写入磁盘块时。它首先会获取一个分配给该块的缓冲区。然后,它将数据写入缓冲区,将缓冲区标记为脏、以延迟写入,并将其释放到缓冲区缓存中。由于脏缓冲区包含有效的数据,因此可以使用它来满足对同一块的后续读/写请求,而不会引起实际磁盘I/O。脏缓冲区只有在被重新分配到不同的块时才会写入磁盘。
  在read file/write file中,我们假设它们从内存中的一个专用缓冲区进行读/写。
  对于I/O缓冲,将从缓冲区缓存中动态分配缓冲区。假设BUFFER是缓冲区的结构类型,而且getblk(dev,blk)从缓冲区缓存中分配一个指定给(dev,blk)的缓冲区。定义一个bread(dev,blk)函数,它会返回一个包含有效数据的缓冲区(指针)。
从缓冲区读取数据后,进程通过brelse(bp)将缓冲区释放会缓冲区缓存。同理,定义一个write_block(dev, blk, data)函数。

同步写入操作等待写操作完成,用于顺序块或可移动块设备。
当I/O操作完成后,设备中断处理程序会完成当前缓冲去上的I/O操作,并启动I/O队列中下一个缓冲区的I/O。

Unix I/O缓冲区管理算法

  • Unix缓冲区管理系统由以下几部分组成
    (1)I/O缓冲区:
    内核中的一系列NBUF 缓冲区用作缓冲区缓存。每个缓冲区用一个结构体表示。
typdef struct buf[
struct buf*next__free;// freelist pointer
struct buf *next__dev;// dev_list pointer 
int dev,blk;// assigmed disk block;
int opcode;// READ|wRITE 
int dirty;// buffer data modified
int async;// ASYNC write flag 
int valid;//buffer data valid 
int buay;// buffer is in use 
int wanted;// some process needs this buffer 
struct semaphore lock=1; // buffer locking semaphore; value=1
struct semaphore iodone=0;// for process to wait for I/0 completion;// block data area 
char buf[BLKSIZE];
} BUFFER;
BUFFER buf[NBUF],*freelist;// NBUF buffers and free buffer list

缓冲区结构体由两部分组成:用于缓冲区管理的缓冲头部分和用于数据块的数据部分。为了保护内核内存,状态字段可以定义为一个位向量,其中每个位表示一个唯一的状态条件。这里为了方便将它们定义为int类型。
(2)设备表:
每个块设备用一个设备表结构表示。

struct devtab{
u16 dev;// major device number
BUFFER *dev_list; // device buffer list 
BUFFER*io_queue;// device I/0 queue
}devtab[NDEV];

每个设备都有一个dev_list,包含当前分配给该设备的I/O缓冲区,还有一个io_queue,包含设备上等待I/O操作的缓冲区。I/O队列的组织方式应确保最佳I/O操作。为了简单起见,Unix使用了FIFO队列(先进先出,队列)。
(3)缓冲区初始化:当系统启动时,所有I/O缓冲区都在空闲列表中,所有设备列表和I/O队列均为空。
(4)缓冲区列表
(5)Unix getblk/brelse算法

  • Unix算法具体说明:
    (1)数据一致性:为了确保数据一致性,getblk一定不能给同一个(dev,blk)分配多个缓冲区。这可以通过让进程从休眠状态唤醒后再次执行“重新循环”来实现。分配的每个缓冲区都是唯一的。
    (2)缓冲效果:释放的缓冲区保留在设备列表中,以便可能重用。标记为延迟写入的缓冲区不会立即产生I/O,并且可以重用。
    (3)临界区:设备中断处理程序可操作缓冲区列表,例如从设备表的I/O队列中删除bp,更改其状态并调用brelse(bp)。

  • Unix算法的缺点
    (1)效率低下:该算法依赖于重试循。例如,释放缓冲区可能会唤醒两组进程:需要释放的缓冲区的进程,以及只需要空闲缓冲区的进程。由于只有一个进程可以获取释放的缓冲区,所以,其他所有被唤醒的进程必须重新进入休眠状态。从休眠状态唤醒后,每个被唤醒的进程必须从头开始重新执行算法,因为所需的缓冲区可能已经存在。这会导致过多的进程切换。
    (2)缓存效果不可预知:在Unix 算法中,每个释放的缓冲区都可被获取。如果缓冲区由需要空闲缓冲区的进程获取,那么将会重新分配缓冲区,即使有些进程仍然需要当前的缓冲区
    (3)可能会出现饥饿:Unix算法基于“自由经济”原则,即每个进程都有尝试的机会但不能保证成功。因此,可能会出现进程饥饿。
    (4)该算法使用只适用于单处理器系统的休眠/唤醒操作。

新的I/O缓冲区管理算法
在信号量上使用P/V来实现进程同步,而不是使用休眠/唤醒。与休眠/唤醒相比,信号量的主要优点是:
(1)计数信号量可用来表示可用资源的数量,例如:空闲缓冲区的数量。
(2)当多个进程等待一个资源时,信号量上的V操作只会释放一个等待进程,该进程不必重试,因为它保证拥有资源。
这些信号量属性可用于设计更有效的缓冲区管理算法。

  • 使用信号量的缓冲区管理算法
    假设有一个单处理器内核(一次运行一个进程)。使用计数信号量上的P/V来设计满足以下要求的新的缓冲区管理算法:
    (1)保证一致性。
    (2)良好的缓存效果。
    (3)高效率:没有重试循环,没有不必要的进程“唤醒”0
    (4)死锁。注意,仅通过信号量上的P/V来替换Unix算法中的休眠/唤醒并不可取,因为这样会保留所有的重试循环。我们必须重新设计算法来满足所有上述要求,并证明新算法的确优于Unix算法。首先,我们定义以下信号量。
    BUFFER buf[NBUF]; // NBUF I/0 buffers
    SEMAPHORE free = NBUF; // counting semaphore for FREE buffers
    SEMAPHORE buf[il.sem = 1; // each buffer has a lock sem=1;
    为了简化符号,我们将用缓冲区本身来表示每个缓冲区的信号量。与Unix算法一样最开始,所有缓冲区都在空闲列表中,所有设备列表和I/0队列均为空。

PV算法

BUFFER *getb1k(dev,blk):
while(1){
(1). P(free);  //get a free buffer first 
if (bp in dev_1ist){
(2). if (bp not BUSY){
remove bp from freelist;P(bp);  // lock bp but does not wait
(3).return bp;  // bp in cache but BUSY V(free);
// give up the free buffer
(4).P(bp);  // wait in bp queue
return bp;v  // bp not in cache,try to create a bp=(dev,blk)
(5).bp = frist buffer taken out of freelist;P(bp);  // lock bp,no wait
(6).if(bp dirty){
awzite(bp);  // write bp out ASYNC,no wait
continue;  // continue from (1)
(7).reassign bp to(dev,blk);1/ mark bp data invalid,not dir return bp;-  // end of while(1);
brelse(BUFFER *bp),
{
(8).iF (bp queue has waiter)( V(bp); return; ]
(9).if(bp dirty && free queue has waiter){ awrite(bp);zeturn;}(10).enter bp into(tail of) freelist;V(bp);V(free);
}

要证明PV算法是正确的:
(1)缓冲区唯一性
(2)无重试循环性
(3)无不必要提醒性
(4)缓存效果
(5)无死锁和饥饿

GPT苏格拉底挑战

  • 块设备I/O

  • 缓冲区管理