linux内存管理——mmap函数详解

  1. 云栖社区>
  2. 博客>
  3. 正文

linux内存管理——mmap函数详解

binarydady 2018-04-20 15:09:29 浏览11011
展开阅读全文


mmap函数是unix/linux下的系统调用。

当存在客户-服务程序中复制文件时候,其数据流如下,要经历四次数据复制,开销很大。

e665589e27a2b0ff143da0e41d5304cfc2a3d82f

            如果采用共享内存的方式,那么将大大优化IO操作,数据流变成了如下,数据只复制两次:

79ed09ee3473306e971785fdf7e71f436bb8ef2d

 

映射文件或设备到内存中,取消映射就是munmap函数。

语法如下:

void *mmap(void *addr, size_t length, int prot, int flags,

                  int fd, off_t offset);

int munmap(void *addr, size_t length);

该函数主要用途有三个:

l   将普通文件映射到内存中,通常在需要对文件进行频繁读写时使用,用内存读写取代I/O读写,以获得较高的性能;

l   将特殊文件进行匿名内存映射,为关联进程提供共享内存空间;

l   为无关联的进程间的Posix共享内存(SystemV的共享内存操作是shmget/shmat)

我们来看下函数的入参选择:

Ø  参数addr:

指向欲映射的内存起始地址,通常设为 NULL,代表让系统自动选定地址,映射成功后返回该地址。

Ø  参数length:

代表将文件中多大的部分映射到内存。

Ø  参数prot:

映射区域的保护方式。可以为以下几种方式的组合:

PROT_EXEC 映射区域可被执行

PROT_READ 映射区域可被读取

PROT_WRITE 映射区域可被写入

PROT_NONE 映射区域不能存取

Ø  参数flags:

影响映射区域的各种特性。在调用mmap()时必须要指定MAP_SHARED 或MAP_PRIVATE。

MAP_FIXED 如果参数start所指的地址无法成功建立映射时,则放弃映射,不对地址做修正。通常不鼓励用此。

MAP_SHARED对映射区域的写入数据会复制回文件内,而且允许其他映射该文件的进程共享。

MAP_PRIVATE 对映射区域的写入操作会产生一个映射文件的复制,即私人的“写入时复制”(copy on write)对此区域作的任何修改都不会写回原来的文件内容。

MAP_ANONYMOUS建立匿名映射。此时会忽略参数fd,不涉及文件,而且映射区域无法和其他进程共享。

MAP_DENYWRITE只允许对映射区域的写入操作,其他对文件直接写入的操作将会被拒绝。

MAP_LOCKED 将映射区域锁定住,这表示该区域不会被置换(swap)。

Ø  参数fd:

要映射到内存中的文件描述符。如果使用匿名内存映射时,即flags中设置了MAP_ANONYMOUS,fd设为-1。

Ø  参数offset:

文件映射的偏移量,通常设置为0,代表从文件最前方开始对应,offset必须是分页大小的整数倍。如下图内存映射文件的示例。

4b6561548577be550568d496169ad198141e2709

1.1.1.1  共享映射

修改共享内存中的文件内容:

#include <sys/mman.h>

#include <sys/stat.h>

#include <fcntl.h>

#include <stdio.h>

#include <stdlib.h>

#include <unistd.h>

#include <error.h>

 

int

main (int argc, char **argv)

{

  int fd, nread, i;

  struct stat sb;

  char *mapped;

  if ( argc <= 1 )

  {

          printf("%s: Need file path! \n",argv[0]);

          exit(-1);

  }

  /* 打开文件 */

  if ((fd = open (argv[1], O_RDWR)) < 0)

    {

      perror ("open");

    }

  /* 获取文件的属性 */

  if ((fstat (fd, &sb)) == -1)

    {

      perror ("fstat");

    }

  /* 将文件映射至进程的地址空间 */

  if ((mapped = (char *) mmap (NULL, sb.st_size, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0)) == (void *) -1)

    {

      perror ("mmap");

    }

  /* 映射完后, 关闭文件也可以操纵内存 */

  close (fd);

 

  printf ("%s", mapped);

  /* 修改一个字符,同步到磁盘文件 */

  mapped[0] = '0';

  if ((msync ((void *) mapped, sb.st_size, MS_SYNC)) == -1)

    {

      perror ("msync");

    }

  /* 释放存储映射区 */

  if ((munmap ((void *) mapped, sb.st_size)) == -1)

    {

      perror ("munmap");

    }

 

  return 0;

}

            编译后,即可执行,参数为当前目录的一个文件名字。

例如在当前目录下创建一个hello.txt,存入hello单词,然后执行./a.out hello.txt,完毕后发现文件中的第一个字母h变成了0。程序将文件映射到了内存中,并将第一个字符进行了修改并同步到了磁盘文件hello.txt中。

 

1.1.1.2  父子进程通信

使用fork创建进程,父子进程分别往共享内存中写入各自字符串,并读出。

#include <sys/mman.h>

#include <stdio.h>

#include <stdlib.h>

#include <unistd.h>

 

#define BUF_SIZE 100

 

int

main (int argc, char **argv)

{

  char *p_map;

 

  /* 匿名映射,创建一块内存供父子进程通信 */

  p_map = (char *) mmap (NULL, BUF_SIZE, PROT_READ | PROT_WRITE, MAP_SHARED | MAP_ANONYMOUS, -1, 0);

 

  if (fork () == 0)

    {

      sleep (1);

      printf ("child got a message: %s\n", p_map);

      sprintf (p_map, "%s", "from u son");

      munmap (p_map, BUF_SIZE); //实际上,进程终止时,会自动解除映射。 

      exit (0);

    }

 

  sprintf (p_map, "%s", "from u father");

  sleep (2);

  printf ("parent got a message: %s\n", p_map);

 

  return 0;

}

 

1.1.1.3  内存访问溢出

linux采用的是页式管理机制,使用mmap()映射普通文件后,进程会在自己的地址空间新增一块空间,空间大小由mmap()的len参数指定。但是,进程并不一定能够对全部新增空间都能进行有效访问。进程能够访问的有效地址大小取决于文件被映射部分的大小。决定进程能访问的大小是容纳文件被映射部分的最小页面数。如下图。

5015064b536bdb93dae3d060f57216cb4df07a04

#include <sys/mman.h>

#include <sys/types.h>

#include <sys/stat.h>

#include <fcntl.h>

#include <unistd.h>

#include <stdio.h>

 

int

main (int argc, char **argv)

{

  int fd, i;

  int pagesize, offset;

  char *p_map;

  struct stat sb;

 

  /* 取得page size */

  pagesize = sysconf (_SC_PAGESIZE);

  printf ("pagesize is %d\n", pagesize);

 

  /* 打开文件 */

  fd = open (argv[1], O_RDWR, 00777);

  fstat (fd, &sb);

  printf ("file size is %zd\n", (size_t) sb.st_size);

 

  offset = 0;

  p_map = (char *) mmap (NULL, pagesize * 2, PROT_READ | PROT_WRITE,

                         MAP_SHARED, fd, offset);

  close (fd);

 

//  p_map[sb.st_size] = '9';    /* 导致总线错误 */

  p_map[pagesize+1] = '9';      /* 导致段错误 */

 

  munmap (p_map, pagesize * 2);

 

  return 0;

}

 

参考:

《UNIX网络编程卷2》

网友评论

登录后评论
0/500
评论
binarydady
+ 关注