mmap映射文件至内存( 实现 共享内存 与 文件的另类访问 )

Linux提供了内存映射函数mmap, 它把文件内容映射到一段内存上(准确说是虚拟内存上), 通过对这段内存的读取和修改, 实现对文件的读取和修改, 先来看一下mmap的函数声明:

• 头文件:
• 原型: void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset);//offset: 以文件开始处的偏移量, 必须是分页大小的整数倍, 通常为0, 表示从文件头开始映射.
• 返回值: 成功则返回映射区起始地址, 失败则返回MAP_FAILED(-1).
• 参数:
  • addr: 指定映射的起始地址, 通常设为NULL, 由系统指定.
  • length: 将文件的多大长度映射到内存，不该超过文件大小.
  • prot: 映射区的保护方式, 可以是:
    • PROT_EXEC: 映射区可被执行.
    • PROT_READ: 映射区可被读取.
    • PROT_WRITE: 映射区可被写入.
    • PROT_NONE: 映射区不能存取.
  • flags: 映射区的特性, 可以是:
    • MAP_SHARED: 对映射区域的写入数据会复制回文件(由守护进程自动完成), 且允许其他映射该文件的进程共享.
    • MAP_PRIVATE: 对映射区域的写入操作会产生一个映射的复制(copy-on-write), 对此区域所做的修改不会写回原文件.
    • 此外还有其他几个flags不很常用, 具体查看linux C函数说明.
  • fd: 由open返回的文件描述符, 代表要映射的文件，在映射完后就可以马上关闭文件了，对映射区域的访问与文件是否打开无关.
  • offset:以文件开始处的偏移量, 必须是分页大小的整数倍, 通常为0, 表示从文件头开始映射.

         mmap返回的是用户进程空间的虚拟地址，在stack和heap 之间的空闲逻辑空间(虚拟空间) 就是用来提供映射的，文件将会被映射到这一区域的某块虚拟内存上，具体哪一块若是用户没有指定，则由内核来分配。一般上，用户不该去指定这个映射的起始地址，因为栈和堆都是在向块区域进行扩展的，所以这块区域的大小会一直在变化，若是用户指定，用户根本就无法知道这块地址是否被堆用去了还是被栈用去了。

下面说一下内存映射的步骤:

• 用open系统调用打开文件, 并返回描述符fd.
• 用mmap建立内存映射, 并返回映射首地址指针start.
• 对映射(文件)进行各种操作, 显示(printf), 修改(sprintf).
• 用munmap(void *start, size_t lenght)关闭内存映射.
• 用close系统调用关闭文件fd（只要保证在mmap成功了之后就都可以）.

注意事项:

在修改映射的文件时, 只能在原长度上修改, 不能增加文件长度, 因为内存是已经分配好的.

mmap的用地：

1、共享内存：可以说是最有用的进程间通信方式，也是最快的IPC形式。两个不同进程A、B共享内存的意思是，同一块物理内存被映射到进程A、B各自的进程地址空 间。进程A可以即时看到进程B对共享内存中数据的更新，反之亦然。由于多个进程共享同一块内存区域，必然需要某种同步机制，互斥锁和信号量都可以。

采用共享内存通信的一个显而易见的好处是效率高，因为进程可以直接读写内存，而不需要任何数据的拷贝。对于像管道和消息队列等通信方式，则需要在内核和用户空间进行四次的数据拷贝，而 共享内存则只拷贝两次数据[1]：一次从输入文件到共享内存区，另一次从共享内存区到输出文件。实际上，进程之间在共享内存时，保持共享区域，直到通信完毕为止，这样，数据内容一直保存在共享内存中，并没有写回文件。共享内存中的内容往往是在解除映射时才写回文件的。所以写入共享内存并不会立即写入文件。因此，采用共享内存的通信方式效率是非常高的。

Linux的2.2.x内核支持多 种共享内存方式，如mmap()系统调用，Posix共享内存，以及系统V共享内存。linux发行版本如Redhat 8.0支持mmap()系统调用及系统V共享内存，但还没实现Posix共享内存，本文将主要介绍mmap()系统调用及系统V共享内存API的原理及应 用。

 2、文件访问方式：mmap函数是unix/linux下的系统调用，mmap系统调用并不是完全为了用于共享内存而设计的。它本身提供了不同于一般对普通文件的访问方式，进程可以像读写内存一样对普通文件的操作。而Posix或系统V的共享内存IPC则纯粹用于共享目的，当然mmap()实现共享内存也是其主要应用之一。

view plain copy

1. /*-------------map_normalfile1.c-----------*/  
2. #include   
3. #include   
4. #include   
5. #include   
6. #include   
7. #include   
8. #include   
9. typedef struct{  
10.     char name[4];  
11.     int age;  
12. }people;  
13.   
14. main(int argc, char** argv) // map a normal file as shared mem:  
15. {  
16.     int fd,i;  
17.     people *p_map;  
18.     char temp;  
19.        
20.     fd=open(argv[1],O_CREAT|O_RDWR|O_TRUNC,00777);//O_TRUNC 若文件存在并且以可写的方式打开时，此旗标会令文件长度清为0，而原来存于该文件的资料也会消失。  
21.     people *sp = (people *)malloc(sizeof(people));  
22.     i = 5;  
23.     temp = '1';  
24.     while(i--)  
25.     {  
26.         memcpy(sp->name,&temp,1);  
27.         sp->age = 10+i;  
28.         temp++;  
29.         write(fd,sp,sizeof(people));  
30.     }  
31.     //映射内存的大小为实际文件的大小，对于新创建的文件，除了像上面那样实际写入来扩展文件大小以外，  
32.     //也可以通过lseek来快捷扩展文件大小:  
33.     //lseek(fd,sizeof(people)*5-1,SEEK_CUR);  
34.     //write(fd,"",1);  
35.        
36.     p_map = (people*) mmap( NULL,sizeof(people)*10,PROT_READ|PROT_WRITE,MAP_SHARED,fd,0 );  
37.     close( fd );//在映射完后就可以立刻关闭文件了，打开文件是为了获取文件秒速符来映射文件，文件是否打开对映射内存的操作没有关系  
38.   
39.     //最后一个参数offset 必须为页的整数倍，此处为0 表示从文件头开始，那么后面通过映射的返回地址写入的  
40.     //10个结构体也就会将之前写入的5 个结构体给覆盖了。  
41.     //sizeof(people)*10 为从文件开始的10个结构的大小。  
42.     //将返回的地址p_map 强制转换为结构体类型指针。  
43.   
44.     temp = 'a';  
45.     for(i=0; i<10; i++)  //写10个结构体大小  
46.     {  
47.         memcpy( ( *(p_map+i) ).name, &temp,1 );  
48.         ( *(p_map+i) ).age = 20+i;  
49.         temp += 1;  
50.   
51.     }  
52.     printf(" initialize over\n ");  
53.     sleep(10);  
54.     munmap( p_map, sizeof(people)*10 );  
55.     printf( "umap ok \n" );  
56. }  
57.   

[cpp] view plain copy

1. /*-------------map_normalfile2.c-----------*/  
2. #include   
3. #include   
4. #include   
5. #include  
6. #include   
7. typedef struct{  
8. char name[4];  
9. int age;  
10. }people;  
11.   
12. main(int argc, char** argv) // map a normal file as shared mem:  
13. {  
14.     int fd,i;  
15.     people *p_map;  
16.     fd=open( argv[1],O_CREAT|O_RDWR,00777 );//不可用O_TRUNC，因为这里你是打开读的  
17.   
18.     p_map = (people*)mmap(NULL,sizeof(people)*15,PROT_READ|PROT_WRITE,MAP_SHARED,fd,0);//映射15 个结构体大小实际已经是超出了  
19.     //这边是读15 的大小，虽然也可读，可实际已经超出文件5个结构体的大小了，  
20.     //只是编译器没报出错而已，就像数组一样，只是读出界而已没关系，只有  
21.     //写出界写到了系统数据时才会出错。  
22.   
23.     close(fd);  
24.     //在映射完后就可以立刻关闭文件了，打开文件是为了获取文件秒速符来映射文件，  
25.     //文件是否打开对映射内存的操作没有关系。  
26.       
27.     for(i = 0;i<15;i++)    
28.         printf( "name: %s age %d\n",(*(p_map+i)).name, (*(p_map+i)).age );  
29.   
30.     munmap( p_map,sizeof(people)*10 );  
31. }  

file1.c首先定义了一个 people数据结构，（在这里采用数据结构的方式是因为，共享内存区的数据往往是有固定格式的，这由通信的各个进程决定，采用结构的方式有普遍代表 性）。map_normfile1首先打开或创建一个文件，并把文件的长度设置为5个people结构大小。然后从mmap()的返回地址开始，设置了 10个people结构。然后，进程睡眠10秒钟，等待其他进程映射同一个文件，最后解除映射，否则程序一结束映射就解除了，内容就写入文件，这样即使另一个程序也映射了此文件，可操作意义就不是共享内存的事了，而是使用映射内存来读写文件的事了。映射内存只有在双都同时映射向同一个文件时才为共享内存，共享内存也就是一映射的虚拟内存(存在于各自的进程空间)，映射虚拟内存不是一直都存在的，当调用了munmap或程序结束时，映射内存都会被结束映射，但映射指向的物理内存一直都存在，文件也一直存在，同时会将进程映射的共享虚拟内存上的内容写入文件，只是虚拟内存不存在了，也就是共享内存不再具有立即读写可见的共享性了，因为另一方已经解除映射了，而这块共享内存也就变成了另一方的独角戏了，但文件仍存在，还在映射着的那方仍可以通过映射来读取文件，来读取之前解除方在共享内存上的写入的内容，所谓的共享内存实质就是通过一个文件来共享而已，只是将该文件映射到内存中，将文件的存在形式从磁盘搬到内存中而已。虽然说共享内存要在解除共享时才会写入文件，但共享者双方在共享内存上的操作时即时可见的，即不用一方写完后解除映射将共享内存的内容写入文件(然后在映射准备下一次的通信)，另一方再通过映射从文件中读出，不用这样，虽然是映射是映射到各自的进程虚拟内存空间，且映射的虚拟内存与磁盘上的文件也不同步，而且各个进程的进程虚拟内存空间是独立，但就是可以实现在两个进程间的映射向同一个磁盘文件的共享内存（各自的映射内存）上实时看见，这到底是为什么呢——在一、中有解释了，只是涉及内核看不懂而已！

map_normfile2.c只是简单的映射一个文件，并以people数据结构的格式从mmap()返回的地址处读取10个people结构，并输出读取的值，然后解除映射。

分别把两个程序编译成可执行文件map_normalfile1和map_normalfile2后，在一个终端上先运行./map_normalfile2 /tmp/test_shm，程序输出结果如下：

initialize over

umap ok

在map_normalfile1输出initialize over 之后，输出umap ok( munmap解除映射)之前，在另一个终端上运行map_normalfile2 /tmp/test_shm，将会产生如下输出(为了节省空间，输出结果为稍作整理后的结果)：

name: b age 20; name: c age 21; name: d age 22; name: e age 23; name: f age 24;

name: g age 25; name: h age 26; name: I age 27; name: j age 28; name: k age 29;

在map_normalfile1 输出umap ok后，运行map_normalfile2则输出如下结果：

name: b age 20; name: c age 21; name: d age 22; name: e age 23; name: f age 24;

name: age 0; name: age 0; name: age 0; name: age 0; name: age 0;

从程序的运行结果中可以得出的结论

1、 最终被映射文件的内容的长度不会超过文件本身的初始大小，即映射不能改变文件的大小；

2、 可以用于进程通信的有效地址空间大小大体上受限于被映射文件的大小，但不完全受限于文件大小。打开文件被截短为5个people结构大小，而在 map_normalfile1中初始化了10个people数据结构，在恰当时候（map_normalfile1输出initialize over 之后，输出umap ok之前）调用map_normalfile2会发现map_normalfile2将输出全部10个people结构的值，后面将给出详细讨论。 
注： 在linux中，内存的保护是以页为基本单位的，即使被映射文件只有一个字节大小，内核也会为映射分配一个页面大小的内存。当被映射文件小于一个页面 大小时，进程可以对从mmap()返回地址开始的一个页面大小进行访问，而不会出错；但是，如果对一个页面以外的地址空间进行访问，则导致错误发生，后面 将进一步描述。因此，可用于进程间通信的有效地址空间大小不会超过文件大小及一个页面大小的和。

3、 文件一旦被映射后，调用mmap()的进程对返回地址的访问是对某一内存区域的访问，暂时脱离了磁盘上文件的影响。所有对mmap()返回地址空间的操作 只在内存中有意义，只有在调用了munmap()后或者msync()时，才把内存中的相应内容写回磁盘文件，所写内容仍然不能超过文件的大小。

view plain copy

1. #include  
2. #include  
3. #include  
4. #include   
5. #include   
6. #include   
7. #include   
8. typedef struct{  
9. char name[4];  
10. int age;  
11. }people;  
12.   
13. main(int argc, char** argv)  
14. {  
15.     int i;  
16.     people *p_map;  
17.     char temp;  
18.     pid_t child_pid;  
19.     p_map=(people*)mmap(NULL,sizeof(people)*10,PROT_READ|PROT_WRITE,MAP_SHARED|MAP_ANONYMOUS,-1,0); //此处为 MAP_ANONYMOUS 和-1  
20.     if((child_pid = fork())== 0)  
21.     {  
22.         sleep(2);  
23.         printf("the child pid read the shared :\n");  
24.         for(i = 0;i<5;i++)  
25.         {  
26.             printf("child read: the %d people's age is %d\n",i+1,(*(p_map+i)).age);  
27.             (*p_map).age = 100;  
28.         }  
29.             munmap(p_map,sizeof(people)*10); //实际上，进程终止时，会自动解除映射。  
30.     }  
31.     else  
32.     {  
33.         printf("the father pid write the shared :\n");  
34.         temp = 'a';  
35.         for(i = 0;i<5;i++)  
36.         {  
37.             temp += 1;  
38.             memcpy((*(p_map+i)).name, &temp,2);  
39.             (*(p_map+i)).age=20+i;  
40.         }  
41.         wait(0);//等待子进程结束后，父进程才接触映射  
42.         printf("the child over \n");  
43.         printf("umap\n");  
44.         munmap( p_map,sizeof(people)*10 );  
45.         printf( "umap ok\n" );  
46.     }  
47. }  
48. /*结果: 
49.     the father pid write the shared : 
50.     the child pid read the shared : 
51.     child read: the 1 people's age is 20 
52.     child read: the 2 people's age is 21 
53.     child read: the 3 people's age is 22 
54.     child read: the 4 people's age is 23 
55.     child read: the 5 people's age is 24 
56.     the child over  
57.     umap 
58.     umap ok 
59. */  

view plain copy

1. #include   
2. #include   
3. #include   
4. #include   
5. typedef struct{  
6. char name[4];  
7. int age;  
8. }people;  
9. main(int argc, char** argv)  
10. {  
11.     int fd,i;  
12.     int pagesize,offset;  
13.     people *p_map;  
14.        
15.     pagesize = sysconf(_SC_PAGESIZE);  
16.     printf("pagesize is %d/n",pagesize);  
17.     fd = open(argv[1],O_CREAT|O_RDWR|O_TRUNC,00777);  
18.     lseek(fd,pagesize*2-100,SEEK_SET);  
19.     write(fd,"",1);  
20.     offset = 0; //此处offset = 0编译成版本1；offset = pagesize编译成版本2  
21.     p_map = (people*)mmap(NULL,pagesize*3,PROT_READ|PROT_WRITE,MAP_SHARED,fd,offset);  
22.     close(fd);  
23.        
24.     for(i = 1; i<10; i++)  
25.     {  
26.         (*(p_map+pagesize/sizeof(people)*i-2)).age = 100;  
27.         printf("access page %d over/n",i);  
28.         (*(p_map+pagesize/sizeof(people)*i-1)).age = 100;  
29.         printf("access page %d edge over, now begin to access page %d/n",i, i+1);  
30.         (*(p_map+pagesize/sizeof(people)*i)).age = 100;  
31.         printf("access page %d over/n",i+1);  
32.     }  
33.     munmap(p_map,sizeof(people)*10);  
34. }  

如程序中所注释的那样，把程序编译成两个版本，两个版 本主要体现在文件被映射部分的大小不同。文件的大小介于一个页面与两个页面之间（大小为：pagesize*2-99），版本1的被映射部分是整个文件， 版本2的文件被映射部分是文件大小减去一个页面后的剩余部分，不到一个页面大小(大小为：pagesize-99)。程序中试图访问每一个页面边界，两个 版本都试图在进程空间中映射pagesize*3的字节数。

版本1的输出结果如下：

pagesize is 4096

access page 1 over

access page 1 edge over, now begin to access page 2

access page 2 over

access page 2 over

access page 2 edge over, now begin to access page 3

Bus error //被映射文件在进程空间中覆盖了两个页面，此时，进程试图访问第三个页面

版本2的输出结果如下：

pagesize is 4096

access page 1 over

access page 1 edge over, now begin to access page 2

Bus error //被映射文件在进程空间中覆盖了一个页面，此时，进程试图访问第二个页面

结论：采用系统调用mmap()实现进程间通信是很方便的，在应用层上接口非常简洁。内部实现机制区涉及到了linux存储管理以及文件系统等方面的内容，可以参考一下相关重要数据结构来加深理解。在本专题的后面部分，将介绍系统v共享内存的实现。

 

参考资料

[1] Understanding the Linux Kernel, 2nd Edition, By Daniel P. Bovet, Marco Cesati , 对各主题阐述得重点突出，脉络清晰。

[2] UNIX网络编程第二卷：进程间通信，作者：W.Richard Stevens，译者：杨继张，清华大学出版社。对mmap()有详细阐述。

[3] Linux内核源代码情景分析（上），毛德操、胡希明著，浙江大学出版社，给出了mmap()相关的源代码分析。

[4]mmap()手册