当前位置:首页 > 科技  > 软件

八张图讲清楚Mmap实现原理

来源: 责编: 时间:2024-01-08 09:17:54 393观看
导读大家好,最近在研究Linux内核以及Linux系统编程的时候,经常会碰到mmap内存映射,mmap函数是实现高性能编程的一个关键点,下面我通过几张图详细介绍一下mmap实现原理。(本文以64位CPU为原型讲解)1.虚拟地址如何映射物理地址?要

大家好,最近在研究Linux内核以及Linux系统编程的时候,经常会碰到mmap内存映射,mmap函数是实现高性能编程的一个关键点,下面我通过几张图详细介绍一下mmap实现原理。TgZ28资讯网——每日最新资讯28at.com

(本文以64位CPU为原型讲解)TgZ28资讯网——每日最新资讯28at.com

1.虚拟地址如何映射物理地址?

要了解mmap实现原理,首先必须了解虚拟地址如何映射物理地址,如果没掌握这个知识点,后续阅读会有很大的困难,切记!TgZ28资讯网——每日最新资讯28at.com

虚拟地址映射物理地址采用的是页表机制,64位CPU采用的是4级页表。TgZ28资讯网——每日最新资讯28at.com

图片图片TgZ28资讯网——每日最新资讯28at.com

64位CPU虚拟地址长度为64位,但实际只用48位就已满足虚拟地址映射物理内存的要求,如下图:TgZ28资讯网——每日最新资讯28at.com

图片图片TgZ28资讯网——每日最新资讯28at.com

64位CPU地址空间可分为三个部分:TgZ28资讯网——每日最新资讯28at.com

  • 128T用户空间
  • 128T内核空间
  • 其他:保留空间

用户空间和内核空间共256T,2的48次方刚好为256T,所以48位地址空间能映射所有的虚拟地址。TgZ28资讯网——每日最新资讯28at.com

48位虚拟地址由五部分组成:TgZ28资讯网——每日最新资讯28at.com

  • pgd表偏移,四级表,9位
  • pud表偏移,三级表,9位
  • pmd表偏移,二级表,9位
  • ptl表偏移,一级表,9位
  • 物理页偏移,12位

问题1:为什么pgd,pud,pmd,ptl表偏移是9位?TgZ28资讯网——每日最新资讯28at.com

pgd,pud,pmd,ptl表实现原理都相同,我们以pgd来讲解。TgZ28资讯网——每日最新资讯28at.com

一张pgd表对应一个物理页,一个物理页的大小为4KB,一个pgd_t表项为8个字节,一张pgd表能存储4*1024/8=512个表项。TgZ28资讯网——每日最新资讯28at.com

2的9次方等于512,所以采用9位的表偏移就能索引整张表的表项。TgZ28资讯网——每日最新资讯28at.com

图片图片TgZ28资讯网——每日最新资讯28at.com

问题2:为什么物理页偏移为12位?TgZ28资讯网——每日最新资讯28at.com

一个物理页为4KB,物理页访问是单字节访问,2的12次方刚好为4KB,所以物理页偏移为12位。TgZ28资讯网——每日最新资讯28at.com

1.1 虚拟地址映射物理地址过程TgZ28资讯网——每日最新资讯28at.com

虚拟地址映射物理地址需要依次索引pgd,pud,pmd,ptl表,具体过程如下:TgZ28资讯网——每日最新资讯28at.com

  • 步骤1:查询pgd表

查询pgd表,首先需要找到pgd表物理页首地址,pgd表物理页首地址由task_struct->mm_struct->pgd成员保存,每个进程的task_struct->mm_struct->pgd成员数值不同,所以不同的进程即使使用相同的虚拟地址也不会访问相同到物理地址。TgZ28资讯网——每日最新资讯28at.com

通过pgd表首地址+虚拟地址pgd表偏移索引到pgd_t表项完成pgd表查询。TgZ28资讯网——每日最新资讯28at.com

  • 步骤2:查询pud表

pgd_t表项存储的是pud表物理页首地址。TgZ28资讯网——每日最新资讯28at.com

通过pud表首地址+虚拟地址pud表偏移索引到pud_t表项完成pud表查询。TgZ28资讯网——每日最新资讯28at.com

  • 步骤3:查询pmd表

pud_t表项存储的是pmd表物理页首地址。TgZ28资讯网——每日最新资讯28at.com

通过pmd表首地址+虚拟地址pmd表偏移索引到pmd_t表项完成pmd表查询。TgZ28资讯网——每日最新资讯28at.com

  • 步骤4:查询ptl表

pmd_t表项存储的是ptl表物理页首地址。TgZ28资讯网——每日最新资讯28at.com

通过ptl表首地址+虚拟地址ptl表偏移索引到pte表项完成ptl表查询。TgZ28资讯网——每日最新资讯28at.com

  • 步骤5:映射物理地址

pte表项存储的是物理页首地址,pte+虚拟地址物理页偏移就能定位到物理地址。TgZ28资讯网——每日最新资讯28at.com

注意:定位到物理地址后,虚拟地址映射物理地址的过程就已完成。TgZ28资讯网——每日最新资讯28at.com

思考:64位CPU页表机制需要多少张表? 
TgZ28资讯网——每日最新资讯28at.com

图片图片TgZ28资讯网——每日最新资讯28at.com

表的数量如下:TgZ28资讯网——每日最新资讯28at.com

  • pgd表1张,占用内存4KB。
  • pud表2的9次方张,占用内存4KB * 512 = 2MB。
  • pmd表2的18次方张,占用内存4KB * 512 * 512 = 1GB。
  • ptl表2的27次方张,占用内存4KB * 512 * 512 * 512 = 512GB。

如果每张表都固定分配一个物理页,所有的表占用的内存空间已经达到500多GB,这只是一个进程占用的空间,如果有大量的进程,占用内存就非常恐怖了。TgZ28资讯网——每日最新资讯28at.com

通常情况下,进程只会使用很小的内存,所以系统不会一下把所有的页表都创建出来,而是采用动态分配的方式创建,当需要访问虚拟地址时,通过缺页中断创建虚拟地址对应的各个页表。TgZ28资讯网——每日最新资讯28at.com

2.mmap实现原理

mmap函数是一种内存映射文件的方法,它可以将一个文件或设备映射到进程的地址空间中,使得进程可以像访问内存一样访问文件或设备。TgZ28资讯网——每日最新资讯28at.com

mmap可以分为:文件映射和匿名映射。TgZ28资讯网——每日最新资讯28at.com

mmap函数主要工作就是创建VMA。TgZ28资讯网——每日最新资讯28at.com

2.1 VMA简介

VMA(Virtual Memory Area,虚拟内存区域)是Linux内核中用于管理进程虚拟内存的数据结构。每个进程都有一个VMA链表,用于描述进程的虚拟地址空间的不同区域。TgZ28资讯网——每日最新资讯28at.com

VMA包含了一段连续的虚拟地址空间,它定义了该区域的起始地址、结束地址以及一些属性信息。VMA可以表示进程的代码段、数据段、堆、栈等不同的内存区域。TgZ28资讯网——每日最新资讯28at.com

VMA对应Linux内核struct vm_area_struct对象。TgZ28资讯网——每日最新资讯28at.com

注意:VMA用于指导虚拟内存映射物理内存,没有VMA指导无法完成虚拟地址和物理地址映射。TgZ28资讯网——每日最新资讯28at.com

图片图片TgZ28资讯网——每日最新资讯28at.com

struct vm_area_struct结构体主要成员如下:TgZ28资讯网——每日最新资讯28at.com

  • vm_start:虚拟内存区域起始地址。
  • vm_end:虚拟内存区域结束地址,vm_end减去vm_start为映射区域长度。
  • vm_page_prot:虚拟内存访问权限,

PROT_READ:可读TgZ28资讯网——每日最新资讯28at.com

PROT_WRITE:可写TgZ28资讯网——每日最新资讯28at.com

PROT_EXEC:可执行TgZ28资讯网——每日最新资讯28at.com

  • vm_page_flags:内存映射标志,

MAP_SHARED:共享映射TgZ28资讯网——每日最新资讯28at.com

MAP_PRIVATE:私有映射TgZ28资讯网——每日最新资讯28at.com

  • vm_ops:文件映射操作集合,匿名映射为NULL。
  • vm_pgoff:文件映射文件偏移量,匿名映射无效。
  • vm_file:映射文件,匿名映射为NULL。

3.缺页中断

Linux缺页中断是指当进程访问尚未建立映射关系的虚拟内存时,系统会触发缺页中断,并根据页面的状态来分配物理页面并建立映射关系。TgZ28资讯网——每日最新资讯28at.com

通过mmap创建VMA后,我们使用VMA内存映射区虚拟地址,但此时虚拟地址不能映射物理地址,原因是映射表还没有动态创建出来。TgZ28资讯网——每日最新资讯28at.com

图片图片TgZ28资讯网——每日最新资讯28at.com

当缺页中断发生后,中断处理函数会完成虚拟地址至物理地址各映射表创建。TgZ28资讯网——每日最新资讯28at.com

各映射表的创建需要task_struct->mm_struct->pgd和虚拟地址表偏移量共同完成。TgZ28资讯网——每日最新资讯28at.com

完成映射表创建后,还有最后一步工作需要完成,那就是pte创建。TgZ28资讯网——每日最新资讯28at.com

pte该如何创建呢?TgZ28资讯网——每日最新资讯28at.com

我们接着往下看...TgZ28资讯网——每日最新资讯28at.com

4.文件映射

文件映射可以将文件的内容映射到进程的内存空间。TgZ28资讯网——每日最新资讯28at.com

文件映射pte指向文件的物理内存页,文件映射需要VMA指向对应的文件,由文件来生成物理页。TgZ28资讯网——每日最新资讯28at.com

图片图片TgZ28资讯网——每日最新资讯28at.com

mmap函数实现文件映射时需指定文件fd,文件偏移量,文件映射长度。TgZ28资讯网——每日最新资讯28at.com

内核会根据文件fd,文件偏移量,文件映射长度填充新创建的VMA。TgZ28资讯网——每日最新资讯28at.com

文件映射创建pte时根据VMA记录的文件file,文件偏移量,文件映射长度定位到具体文件以及文件偏移位置,将磁盘文件内容拷贝至物理内存页,再将物理内存页转换成pte设置进ptl表。TgZ28资讯网——每日最新资讯28at.com

至此文件映射已完成,就能通过虚拟地址访问文件物理内存页。TgZ28资讯网——每日最新资讯28at.com

5.匿名映射

图片图片TgZ28资讯网——每日最新资讯28at.com

匿名映射相对来说比较简单,只要在创建pte的时候,从物理内存中申请一个物理内存页,将物理内存页转换成pte设置进ptl表,就完成匿名映射。TgZ28资讯网——每日最新资讯28at.com

本文链接:http://www.28at.com/showinfo-26-57924-0.html八张图讲清楚Mmap实现原理

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: 扬名立万的机会来了!Java 十亿行全球挑战

下一篇: 告别Java -Jar启动!告诉你启动单机SpringBoot服务的正确操作方式

标签:
  • 热门焦点
  • 5月iOS设备性能榜:M1 M2依旧是榜单前五

    和上个月一样,没有新品发布的iOS设备性能榜的上榜设备并没有什么更替,仅仅只有跑分变化而产生的排名变动,刚刚开始的苹果WWDC2023,推出的产品也依旧是新款Mac Pro、新款Mac Stu
  • CSS单标签实现转转logo

    转转品牌升级后更新了全新的Logo,今天我们用纯CSS来实现转转的新Logo,为了有一定的挑战性,这里我们只使用一个标签实现,将最大化的使用CSS能力完成Logo的绘制与动画效果。新logo
  • 在线图片编辑器,支持PSD解析、AI抠图等

    自从我上次分享一个人开发仿造稿定设计的图片编辑器到现在,不知不觉已过去一年时间了,期间我经历了裁员失业、面试找工作碰壁,寒冬下一直没有很好地履行计划.....这些就放在日
  • 三万字盘点 Spring 九大核心基础功能

    大家好,我是三友~~今天来跟大家聊一聊Spring的9大核心基础功能。话不多说,先上目录:图片友情提示,本文过长,建议收藏,嘿嘿嘿!一、资源管理资源管理是Spring的一个核心的基础功能,不
  • 腾讯盖楼,字节拆墙

    来源 | 光子星球撰文 | 吴坤谚编辑 | 吴先之“想重温暴刷深渊、30+技能搭配暴搓到爽的游戏体验吗?一起上晶核,即刻暴打!”曾凭借直播腾讯旗下代理格斗游戏《DNF》一
  • 花7万退货退款无门:谁在纵容淘宝珠宝商家造假?

    来源:极点商业作者:杨铭在淘宝购买珠宝玉石后,因为保证金不够赔付,店铺关闭,退货退款难、维权无门的比比皆是。“提供相关产品鉴定证书,支持全国复检,可以30天无理由退换货。&
  • 认真聊聊东方甄选:如何告别低垂的果实

    来源:山核桃作者:财经无忌爆火一年后,俞敏洪和他的东方甄选依旧是颇受外界关心的“网红”。7月5日至9日,为期5天的东方甄选“甘肃行”首次在自有App内直播,
  • iQOO 11S屏幕细节公布:首发三星2K E6全感屏 安卓最好的直屏手机

    日前iQOO手机官方宣布,新一代电竞旗舰iQOO 11S将会在7月4日19:00正式与大家见面。随着发布时间的日益临近,官方关于该机的预热也更加密集,截至目前已
  • 世界人工智能大会国际日开幕式活动在世博展览馆开启

    30日上午,世界人工智能大会国际日开幕式活动在世博展览馆开启,聚集国际城市代表、重量级院士专家、国际创新企业代表,共同打造人工智能交流平台。上海市副市
Top