目录1. Linux 线程概念1.1 什么是线程1.2 分页式存储管理1.2.1 虚拟地址和页表的由来1.2.2 物理内存管理1.2.3 页表1.2.4 页目录结构1.2.5 二级页表的地址转换1.2.6 缺页异常1. 如何理解写时拷贝2. 申请内存究竟是在干什么1.3 线程的优点1.4 线程的缺点1.5 线程异常1.6 线程用途2. Linux进程VS线程 -- 哪些资源共享哪些独占2.1 进程和线程2.2 进程的多个线程共享2.3 关于进程线程的问题正文开始1. Linux 线程概念1.1 什么是线程在一个程序里的一个执行路线就叫做线程thread。更准确的定义是线程是“⼀个进程内部的控制序列”。比方说公司要做一个项目线程就是具体干活的那个小组沿着代码逻辑一步步执行线程不是孤立存在的它必须属于某个进程。进程是资源的“容器”线程是容器里干活“人”。⼀切进程至少都有一个执行线程。为什么进程是资源的拥有者但它自己不会动必须靠线程来执行代码。所以进程创建时系统会默认给它配一个线程主线程。线程在进程内部运行本质是在进程地址空间内运行。如何理解进程拥有独立的虚拟地址空间相当于一张“地图”所有线程都共享这张“地图”所以它们能看到相同的数据、变量和代码。在Linux系统中在CPU眼中线程看到的PCB都要比传统的进程更加轻量化。为什么操作系统管理线程和进程都是通过一个叫task_struct即PCB进程控制块的结构体。但创建线程时不需要复制全部资源如内存映射、文件列表只需要复制少量执行上下文如寄存器和栈。所以CPU调度线程的开销远小于调度进程故称“轻量化”。线程透过进程虚拟地址空间可以看到进程的大部分资源。为什么这个“地图”虚拟地址空间上标记了代码区、数据区、堆、栈、文件描述符等所有资源。线程可以自由访问这些区域除了自己独立的栈。线程将进程资源合理分配给每个执行流就形成了线程执行流。那多个线程如何分工就是让线程A负责读取文件线程B负责计算线程C负责写入——但它们共用同一张“地图”。操作系统只需告诉每个线程“你的任务是从地图上的某某位置开始执行”。于是同一个进程的资源被拆分给多个执行流这就形成了多线程。总结Linux 线程可以采用进程来模拟对资源的划分本质是对地址空间虚拟地址范围的划分。虚拟地址就是资源的代表。代码区划分所以函数就是虚拟地址逻辑地址空间的集合就是让线程未来执行ELF程序的不同的函数即可线程的深刻理解线程进行资源划分本质是划分地址空间获得一定范围的合法虚拟地址再进一步讲就是在划分页表线程进行资源共享本质是对地址空间的共享再进一步讲就是对页表条目的共享1.2 分页式存储管理1.2.1 虚拟地址和页表的由来思考⼀下如果在没有虚拟内存和分页机制的情况下每一个⽤户程序在物理内存上所对应的空间必须是连续的如下图因为每⼀个程序的代码、数据长度都是不一样的按照这样的映射方式物理内存将会被分割成各种离散的、大小不同的块。经过⼀段时间运行之后有些程序会退出那么它们占据的物理内存空间可以被回收导致这些物理内存都是以很多碎片的形式存在。怎么办呢我们希望操作系统提供给用户的空间必须是连续的但是物理内存最好不要连续。此时虚拟内存和分页便出现了如下图所示把物理内存按照⼀个固定的长度的页框进行分割有时叫做物理页。每个页框包含一个物理页page。一个页的大小等于页框的大小。大多数32位体系结构支持4KB的页而64位体系结构⼀般会支持8KB的页。区分一页和一个页框是很重要的页框是一个存储区域页是一个数据块可以存放在任何页框或磁盘中有了这种机制CPU 便并非是直接访问物理内存地址而是通过虚拟地址空间来间接的访问物理内存地址。所谓的虚拟地址空间是操作系统为每⼀个正在执行的进程分配的⼀个逻辑地址在32位机上其范围从0 ~ 4G-1。操作系统通过将虚拟地址空间和物理内存地址之间建立映射关系也就是页表这张表上记录了每⼀对页和页框的映射关系能让CPU间接的访问物理内存地址。总结⼀下其思想是将虚拟内存下的逻辑地址空间分为若干页将物理内存空间分为若干页框通过页表便能把连续的虚拟内存映射到若干个不连续的物理内存页。这样就解决了使用连续的物理内存造成的碎片问题。1.2.2 物理内存管理假设⼀个可用的物理内存有 4GB的空间。按照⼀个页框的大小4KB进行划分4GB 的空间就是 4GB/4KB 1048576 个页框。有这么多的物理页操作系统肯定是要将其管理起来的操作系统 需要知道哪些页正在被使用哪些页空闲等等。内核用 struct page结构表示系统中的每个物理页出于节省内存的考虑struct page 中使用了大量的联合体union。/* include/linux/mm_types.h */ struct page { /* 原⼦标志有些情况下会异步更新 */ unsigned long flags; union { struct { /* 换出⻚列表例如由zone-lru_lock保护的active_list */ struct list_head lru; /* 如果最低为为0则指向inode * address_space或为NULL * 如果⻚映射为匿名内存最低为置位 * ⽽且该指针指向anon_vma对象 */ struct address_space* mapping; /* 在映射内的偏移量 */ pgoff_t index; /* * 由映射私有不透明数据 * 如果设置了PagePrivate通常⽤于buffer_heads * 如果设置了PageSwapCache则⽤于swp_entry_t * 如果设置了PG_buddy则⽤于表⽰伙伴系统中的阶 */ unsigned long private; }; struct { /* slab, slob and slub */ union { struct list_head slab_list; /* uses lru */ struct { /* Partial pages */ struct page* next; #ifdef CONFIG_64BIT int pages; /* Nr of pages left */ int pobjects; /* Approximate count */ #else short int pages; short int pobjects; #endif }; }; struct kmem_cache* slab_cache; /* not slob */ /* Double-word boundary */ void* freelist; /* first free object */ union { void* s_mem; /* slab: first object */ unsigned long counters; /* SLUB */ struct { /* SLUB */ unsigned inuse : 16; /* ⽤于SLUB分配器对象的数⽬ */ unsigned objects : 15; unsigned frozen : 1; }; }; }; ... }; union { /* 内存管理⼦系统中映射的⻚表项计数⽤于表⽰⻚是否已经映射还⽤于限制逆向映射 搜索*/ atomic_t _mapcount; unsigned int page_type; unsigned int active; /* SLAB */ int units; /* SLOB */ }; ... #if defined(WANT_PAGE_VIRTUAL) /* 内核虚拟地址如果没有映射则为NULL即⾼端内存 */ void* virtual; #endif /* WANT_PAGE_VIRTUAL */ ... }其中比较重要的几个参数1.flags用来存放页的状态。这些状态包括页是不是脏的是不是被锁定在内存中等。flag的每一位单独表示一种状态所以它至少可以同时表示出32种不同的状态。这些标志定义在 linux/page-flags.h中。其中一些比特位非常重要如PG_locked用于指定页是否锁定PG_uptodate用于表示页的数据已经从块设备读取并且没有出现错误。2._mapcount 表示在页表中有多少项指向该页也就是这一页被引用了多少次。当计数值变为-1时就说明当前内核并没有引用这⼀页于是在新的分配中就可以使用它。3.virtual 是页的虚拟地址。通常情况下它就是页在虚拟内存中的地址。有些内存即所谓的搞端内存并不永久地映射到内核地址空间上。在这种情况下这个域的值为NULL需要的时候必须动态地映射这些页。要注意的是 struct page 与物理页相关而并非与虚拟页相关。而系统中的每个物理页都要分配⼀个这样的结构体我们可以算算对所有这些页都这么做到底要消耗掉多少内存。算 struct page占40个字节的内存假定系统的物理页为4KB 大小系统有4GB 物理内存。那么系统中共有页面 1048576 个1兆个所以描述这么多页面的page结构体消耗的内存只不过40MB 相对系统4GB 内存而言仅是很小的一部分罢了。因此要管理系统中这么多物理页面这个代价并不算太大。要知道的是页的大小对于内存利用和系统开销来说非常重要页太大页内必然会剩余较大不能利用的空间页内碎片。页太小虽然可以减小页内碎片的大小但是页太多会使得页表太长而占用内存同时系统频繁地进行页转化加重系统开销。因此页的大小应该适中通常为 512B - 8KB windows/Linux系统的页框大小为4KB。注意操作系统也要管理每一个页1.2.3 页表页表中的每一个表项指向一个物理页的开始地址。在 32位系统中虚拟内存的最大空间是4GB这是每一个用户程序都拥有的虚拟内存空间。既然需要让 4GB的虚拟内存全部可用那么页表中就需要能够表示这所有的 4GB空间那么就一共需要 4GB/4KB 1048576 个表项。如下图所示虚拟内存看上去被虚线“分割”成一个个单元其实并不是真的分割虚拟内存仍然是连续的。这个 虚线的单元仅仅表示它与页表中每一个表项的映射关系并最终映射到相同大小的一个物理内存页上。页表中的物理地址与物理内存之间是随机的映射关系哪里可用就指向哪里(物理页)。虽然最终使用的物理内存是离散的但是与虚拟内存对应的线性地址是连续的。处理器在访问数据、获取指令时使用的都是线性地址只要它是连续的就可以了最终都能够通过页表找到实际的物理地址。假设在 32位系统中地址的长度是4个字节那么页表中的每⼀个表项就是占用4个字节。所以页表占据的总空间大小就是 1048576*4 4MB 的大小。也就是说映射表自己本身就要占用4MB / 4KB 1024 个物理页。这会存在哪些问题呢回想⼀下当初为什么使用页表就是要将进程划分为⼀个个页可以不用连续的存放在物理内存中但是此时页表就需要1024个连续的页框似乎和当时的目标有点背道而驰了......此外根据局部性原理可知很多时候进程在⼀段时间内只需要访问某几个页就可以正常运行了。因此也没有必要⼀次让所有的物理页都常驻内存。解决需要大容量页表的最好方法是把页表看成普通的文件对它进行离散分配即对页表再分页由此形成多级页表的思想。为了解决这个问题可以把这个单一页表拆分成 1024 个体积更小的映射表。如下图所示。这样⼀来1024(每个表中的表项个数) * 1024(表的个数)仍然可以覆盖 4GB 的物理内存空间。这里的每一个表就是真正的页表所以⼀共有1024个页表。⼀个页表自身占用4KB那么1024 个页表⼀共就占用了4MB的物理内存空间可这和之前没差别啊从总数上看是这样但是一个应用程序是不可能完全使用全部的 4GB 空间的也许只要几十个页表就可以了。例如一个用户程序的代码段、数据段、栈段一共就需要 10 MB的空间那么使用3个页表就足够了。1.2.4 页目录结构到目前为止每一个页框都被一个页表中的一个表项来指向了那么这 1024 个页表也需要被管理起来。管理页表的表称之为页目录表形成二级页表。如下图所示所有页表的物理地址被页目录表项指向页目录的物理地址被 CR3 寄存器指向这个寄存器中保存了当前正在执行任务的页目录地址所以操作系统在加载用户程序的时候不仅仅需要为程序内容来分配物理内存还需要为用来保存程序的页目录和页表分配物理内存。1.2.5 二级页表的地址转换下面以一个逻辑地址为例。将逻辑地址 0000000000,0000000001,11111111111 转换为物理地址的过程在32位处理器中采用4KB的页大小则虚拟地址中低12位为页偏移剩下高20位给页表分成两级每个级别占10个bit1010。CR3 寄存器读取页目录起始地址再根据⼀级页号查页目录表找到下⼀级页表在物理内存中存放位置。根据⼆级页号查表找到最终想要访问的内存块号。结合页内偏移量得到物理地址。注⼀个物理页的地址⼀定是 4KB 对齐的(最后的12位全部为0)所以其实只需要记录物理页地址的高 20 位即可。以上其实就是 MMU 的工作流程。MMU(Memory Manage Unit)是一种硬件电路其速度很快主要工作是进行内存管理地址转换只是它承接的业务之⼀。到这里其实还有个问题MMU要先进行两次页表查询确定物理地址在确认了权限等问题后MMU再将这个物理地址发送到总线内存收到之后开始读取对应地址的数据并返回。那么当页表变为N级时就变成了N次检索1次读写。可见页表级数越多查询的步骤越多对于CPU来说等待时间越长效率越低。总结单级页表对连续内存要求高于是引入了多级页表但是多级页表也是一把双刃剑在减少连续存储要求且减少存储空间的同时降低了查询效率。有没有提升效率的办法呢计算机科学中的所有问题都可以通过添加一个中间层来解决。 MMU引入了新武器江湖人称快表的TLB其实就是缓存Translation Lookaside Buffer学名转译后备缓冲器当 CPU给MMU传新虚拟地址之后MMU先去问TLB那边有没有如果有就直接拿到物理地址发到总线给内存齐活。但 TLB容量比较小难免发生Cache Miss这时候MMU还有保底的老武器页表在页表中找到之后 MMU 除了把地址发到总线传给内存还把这条映射关系给到TLB让它记录一下刷新缓存。1.2.6 缺页异常设想CPU 给 MMU 的虚拟地址在 TLB和页表都没有找到对应的物理页该怎么办呢其实这就是缺页异常 Page Fault 它是⼀个由硬件中断触发的可以由软件逻辑纠正的错误。假如目标内存页在物理内存中没有对应的物理页或者存在但无对应权限CPU 就无法获取数据这种情况下CPU就会报告⼀个缺页错误。由于 CPU 没有数据就无法进行计算CPU罢工了用户进程也就出现了缺页中断进程会从用户态切换到内核态并将缺页中断交给内核的 Page Fault Handler 处理。缺页中断会交给 PageFaultHandler 处理其根据缺页中断的不同类型会进行不同的处理Hard Page Fault 也被称为 Major Page Fault翻译为硬缺页错误/主要缺页错误这时物理内存中没有对应的物理页需要CPU打开磁盘设备读取到物理内存中再让MMU建立虚拟地址和物理地址的映射。Soft Page Fault 也被称为Minor Page Fault翻译为软缺页错误/次要缺页错误这时物理内存中是存在对应物理页的只不过可能是其他进程调入的发出缺页异常的进程不知道而已此时MMU只需要建立映射即可无需从磁盘读取写入内存⼀般出现在多进程共享内存区域。Invalid Page Fault 翻译为无效缺页错误比如进程访问的内存地址越界访问⼜比如对空指针解引用内核就会报segment fault错误中断进程直接挂掉。1.如何理解写时拷贝“写时拷贝Copy-on-Write简称COW”这是Linux内核中一个极为巧妙的资源管理优化策略。要理解它可以记住一句口诀“先共享真修改时才复制”。下面是它的核心机制1. 核心逻辑“偷懒”与“共享”在Linux中当父进程通过fork()创建一个子进程时内核并不会立刻把父进程的物理内存完整拷贝一份给子进程。这样做不仅耗时而且会占用大量物理内存。内核只是让子进程的页表指向父进程的同一块物理内存页并将这些页表项标记为“只读”。此时父子进程的虚拟地址空间虽然独立但实际指向的是同一片物理内存数据。这省去了昂贵的物理内存拷贝开销创建进程变得非常快。2. 触发时机真正发生拷贝的时刻。既然标记为只读那么如果父子进程都只是读数据就相安无事。但一旦其中任何一个进程试图修改这块内存比如写入数据CPU的MMU内存管理单元就会检测到页表权限冲突触发“写时拷贝”的缺页异常。3. 异常处理“拷贝”动作发生。内核的缺页异常处理程序捕获到这个事件后会执行以下操作真正拷贝在物理内存中申请一块新的空闲物理页。复制数据将原来共享的那页数据完整复制到这块新物理页中。更新映射修改触发修改的那个进程的页表将其指向这块新物理页并赋予读写权限。保留共享另一个未修改的进程依然指向原来的物理页依然只读。这就像你和室友合看一本书共享物理内存。当你们都在看书只读时完全不需要买第二本。但是一旦你需要在书上做笔记写入数据你就必须自己去买一本新的复制物理页然后在新书上涂写而室友依然看原来的那本。“写时拷贝”与“申请内存”的关系malloc申请内存是“延迟分配”。写时拷贝是另一种“延迟”策略它延迟的是“拷贝内存数据”这个动作。它确保了物理内存页只有在真正需要独立时才被复制极大提升了fork()的执行效率和内存利用率。总结写时拷贝并不是一开始就复制而是“共享只读修改时复制”。它是Linux将虚拟内存与物理内存解耦后实现高效进程创建的核心技术之一。2. 申请内存究竟是在干什么在Linux中“申请内存”本质上是向操作系统请求虚拟地址空间的分配权而不是立即拿到真实的物理内存。这个过程可分两步来理解1. 核心操作分配虚拟内存几乎不花时间当你调用malloc或new时Linux内核并不会立刻去物理内存里给你找一块空间而是在当前进程的虚拟地址空间中划出一块尚未使用的区域并更新进程的页表或页目录标记这部分虚拟地址是“已分配”但“未映射”的。这个操作非常快本质上只是修改了内存管理的数据结构并没有真正接触物理内存条。2. 真正获取物理内存按需调页触发缺页异常真正从物理内存“抢”内存的动作发生在你第一次读写这块新申请的内存时。当CPU访问刚才分配的虚拟地址时会发现页表中没有对应的物理页框或标记为无效于是触发缺页异常。此时内核的异常处理程序才会介入去物理内存中寻找一个空闲的物理页框比如4KB大小的页并在页表中建立虚拟地址到物理地址的映射。此后你的程序才能真正在这块物理内存上进行读写。一个关键误区malloc申请的10MB内存如果只写入其中1MB那么物理内存实际上只消耗了1MB按页对齐。对于new和malloc它们都是调用上述内存分配机制malloc通过brk或mmap系统调用new底层通常也调用malloc但new在分配内存后还会执行对象的构造函数而malloc仅负责分配原始内存。总结一句话申请内存就是先在“虚拟地图”上画个圈分配地址等你真正踩上去访问时系统才从物理仓库里搬来真正的砖块分配物理页。这种机制叫“延迟分配”或“按需分页”目的是为了提高内存利用率和程序启动速度。1.3 线程的优点1.创建⼀个新线程的代价要比创建⼀个新进程小得多2. 与进程之间的切换相比线程之间的切换需要操作系统做的工作要少很多最主要的区别是线程的切换虚拟内存空间依然是相同的但是进程切换是不同的。这两种上下文切换的处理都是通过操作系统内核来完成的。内核的这种切换过程伴随的最显著的性能损耗是将寄存器中的内容切换出。另外⼀个隐藏的损耗是上下文的切换会扰乱处理器的缓存机制。简单的说一旦去切换上下文处理器中所有已经缓存的内存地址一瞬间都作废了。还有一个显著的区别是当你改变虚拟内存空间的时候处理的页表缓冲 TLB 快表会被全部刷新这将导致内存的访问在⼀段时间内相当的低效。但是在线程的切换中不会出现这个问题当然还有硬件cache。3. 线程占用的资源要比进程少4. 能充分利用多处理器的可并行数量5. 在等待慢速I/O操作结束的同时程序可执行其他的计算任务6. 计算密集型应用为了能在多处理器系统上运行将计算分解到多个线程中实现7. I/O密集型应用为了提高性能将I/O操作重叠。线程可以同时等待不同的I/O操作。1.4 线程的缺点1. 性能损失⼀个很少被外部事件阻塞的计算密集型线程往往无法与其它线程共享同⼀个处理器。如果计算密集型线程的数量比可用的处理器多那么可能会有较大的性能损失这里的性能损失指的是增加了额外的同步和调度开销而可用的资源不变2. 健壮性降低编写多线程需要更全面更深入的考虑在⼀个多线程程序里因时间分配上的细微偏差或者因共享了不该共享的变量而造成不良影响的可能性是很大的换句话说线程之间是缺乏保护的。3. 缺乏访问控制进程是访问控制的基本粒度在⼀个线程中调用某些OS函数会对整个进程造成影响。4. 编程难度提高编写与调试⼀个多线程程序比单线程程序困难得多1.5 线程异常单个线程如果出现除零野指针问题导致线程崩溃进程也会随着崩溃线程是进程的执行分支线程出异常就类似进程出异常进而触发信号机制终止进程进程终止该进程内的所有线程也就随即退出1.6 线程用途合理的使用多线程能提高CPU密集型程序的执行效率合理的使用多线程能提高IO密集型程序的用户体验如生活中我们⼀边写代码⼀边下载开发⼯具就是多线程运行的⼀种表现2.Linux进程VS线程 -- 哪些资源共享哪些独占进程间具有独立性线程共享地址空间也就共享进程资源2.1 进程和线程1.进程是资源分配的基本单位2. 线程是调度的基本单位3. 线程共享进程数据但也拥有自己的⼀部分私有数据线程ID一组寄存器线程的上下文数据栈errno信号屏蔽词调度优先级2.2进程的多个线程共享同一地址空间因此 Text Segment、Data Segment 都是共享的如果定义⼀个函数在各线程中都可以调用如果定义一个全局变量在各线程中都可以访问到除此之外各线程还共享以下进程资源和环境文件描述符表每种信号的处理方式(SIG_ IGN、SIG_ DFL或者自定义的信号处理函数)当前工作目录用户id和组id进程和线程的关系如下图2.3关于进程线程的问题如何看待单进程具有一个线程执行流的进程