淘宝网站怎么做的阿里巴巴运营岗位

淘宝网站怎么做的,阿里巴巴运营岗位,网站 制作 报价,开店做网站注#xff1a;基于这位大佬的中文翻译笔记学习#xff0c;有大段对翻译笔记的直接引用#xff0c;以及一部分询问AI和结合自己理解的一些内容。写这份笔记只是为了方便自己复习和理解。https://github.com/huihongxiao/MIT6.S081以下内容基本全由AI总结生成#xff0c;因为…注基于这位大佬的中文翻译笔记学习有大段对翻译笔记的直接引用以及一部分询问AI和结合自己理解的一些内容。写这份笔记只是为了方便自己复习和理解。https://github.com/huihongxiao/MIT6.S081以下内容基本全由AI总结生成因为我没有细读过论文大概就当科普一下吧。。。宏内核宏内核是一种传统的操作系统架构将所有的核心功能如文件系统、虚拟内存管理、调度器、设备驱动等集成在一个巨大的、单一的可执行程序中。整个内核代码都运行在硬件的最高权限模式Supervisor Mode / Kernel Mode下拥有对硬件的绝对控制权。比如Linux,Unix,xv6都是宏内核。宏内核之所以成为主流主要在于其开发和使用的便利性强大的抽象能力可移植性通过文件系统等抽象接口应用程序无需关心底层硬件如 SSD、HDD 或网络存储的差异。隐藏复杂性内核处理复杂的磁盘操作和内存分配开发者只需通过简单的系统调用如read/write即可完成任务。高效的内部通信由于所有子系统都在同一个地址空间内它们可以直接访问彼此的数据结构。跨组件操作简单例如exec调用可以无缝调用文件系统读取文件同时调用虚拟内存系统设置进程空间无需复杂的进程间通信IPC。管理与安全性由内核统一管理硬件资源防止应用程序之间因争抢资源如磁盘块、物理内存而产生冲突。宏内核的局限性和挑战随着计算机系统的发展宏内核的“庞大”逐渐显露弊端安全性与稳定性风险Bug 连锁反应代码量极大Linux 达数百万行复杂度高。由于所有代码都在最高权限运行任何一个模块的 Bug 都有可能导致整个系统崩溃或者成为系统的安全漏洞。性能权衡与“通用性”陷阱大而全导致冗余为了支持从手机到服务器的所有设备内核包含了大量不必要的驱动和功能。难以针对性优化对于特定的简单操作如 Pipe 传输数据宏内核内部复杂的锁、缓存和调度机制可能导致路径过长产生性能开销。策略僵化缺乏灵活性内核预设了许多设计决策如 Unix 只能 wait 子进程、文件系统不感知 B 树结构等应用程序无法根据自身需求深度定制底层逻辑。可扩展性差Extensibility在传统宏内核中应用程序很难在运行时动态更改内核的行为或下载新代码来优化特定的硬件交互。引出微内核正是由于宏内核在安全性代码整洁度以及灵活性上的不足促使研究者提出了微内核架构。核心思路是将内核缩减到最小只保留最基本的功能如 IPC、基础调度而将文件系统、驱动等移出内核空间运行在用户态。微内核不是指某一个具体的操作系统产品而是一种通用的设计方法论或概念。其核心在于极小内核。内核只保留最基本的进程/线程抽象和IPC进程间通信机制。文件系统、设备驱动、网络协议栈、虚拟内存管理策略等传统内核功能全部被移出内核。微内核架构中计算机系统被清晰地划为两层内核空间Kernel Space只负责任务调度和消息传递IPC。代码量极少易于优化主要优化目标就是 IPC 性能。用户空间User Space普通应用如 VI 编辑器、编译器CC、桌面环境。系统服务Server Processes传统内核中的组件现在变成了用户进程。文件系统服务管理文件和目录。磁盘驱动服务直接与磁盘硬件交互。网络协议栈处理 TCP/IP。虚拟内存服务处理内存映射等。例子——VI读取文件在宏内核中读取文件只是一个系统调用而在微内核中这变成了一系列复杂的进程间通信。VI 发起请求VI 编辑器通过 IPC 向文件系统进程发送消息“我要读这个文件”。文件系统处理文件系统进程解析请求通过 IPC 向磁盘驱动进程发送消息“读取这个磁盘块”。硬件交互磁盘驱动与硬件交互获取数据。数据回传磁盘驱动 - IPC - 文件系统 - IPC - VI 编辑器。所有这些组件VI、文件系统、磁盘驱动都是独立的进程它们互不信任完全依靠内核提供的 IPC 管道来协作。现状尽管宏内核在通用计算领域占据主导微内核依然在特定领域蓬勃发展比如嵌入式和一些特定场景。微内核通过将内核功能“剥离”到用户空间换取了内核的极度精简和模块化。虽然这增加了通信开销IPC但在安全性、嵌入式系统和特定硬件控制上具有独特优势。为什么是微内核审美与优雅Aesthetic宏内核如 Linux常被视为杂乱功能的集合体缺乏美感。微内核追求“小而美”设计更加专注、整洁符合极简主义的软件审美。安全性与形式化验证Security Verification攻击面小代码越少Bug 越少被攻击的概率就越低。可证明的安全性由于内核极小人们可以使用数学方法证明其正确性Formal Verification。案例seL4 是 L4 微内核的衍生版本是现实中被证明数学上安全的系统。而在几百万行代码的宏内核上做这种验证是不可能的。性能潜力不为未使用的功能付费宏内核包含大量你可能永远不用的功能而微内核只提供基础没有冗余负担。易于优化小规模的代码库比庞大的代码库更容易进行深度优化。解除设计限制微内核本身预设的机制很少这给了上层应用程序极大的灵活性可以根据需求自定义策略而不是被内核的既定设计如调度策略、文件系统逻辑所束缚。架构优势将传统内核功能如文件系统、驱动移入用户空间作为服务运行带来了显著好处健壮性Robustness与容错故障隔离在宏内核中一个驱动程序的空指针解引用会导致整个系统 Panic死机。微内核优势如果用户空间的某个服务如网卡驱动崩溃内核依然完好。系统只需重启该服务即可恢复无需重启整机。这对于驱动程序通常是 Bug 最密集的地方尤为重要。模块化与可定制性用户空间的代码比内核代码更容易修改、替换和调试。开发者可以轻松替换文件系统服务或网络协议栈实现高度定制。多操作系统支持微内核可以在其之上同时运行多个操作系统实例例如运行一个 Linux Server 和一个 Unix Server甚至作为虚拟机监控器Hypervisor使用。面临挑战设计一个实用的微内核并非易事难点在于极简和功能之间的权衡。系统API一方面系统调用API必须尽可能少和简单另一方面它也需要足够强大能支撑上层构建复杂的抽象。内核本身并不知道文件是什么却要提供机制让上层能实现exec加载文件执行这对API的正交性和表达能力要求极高。IPC性能压力微内核架构严重依赖进程间通信IPC。如果 IPC 速度不够快整个系统的性能就会崩溃。因此IPC 优化是微内核的生死线。跨子系统优化的缺失宏内核中文件系统和虚拟内存都在一个大程序里可以直接互相访问数据结构进行优化例如 Page Cache。而微内核中由于模块被拆分为独立的服务内存隔离导致它们无法轻易共享数据或进行协同优化这可能带来性能损耗。L4微内核L4微内核并非最早的微内核但自 1980 年代以来一直活跃且可工作拥有 15-20 个变种如 seL4。它是展示微内核工作原理的最佳范例。它的系统调用仅约7个代码规模约13000行。核心抽象L4内核只保留了三个最基础的概念。Task (任务/地址空间)对应 Unix 中的“进程”概念。拥有独立的地址空间从 0 开始和内存。Thread (线程)多线程支持区别于 XV6一进程一线程L4 一个 Task 内可以包含多个线程。调度单元线程是内核调度的基本单位可利用多核 CPU 并行执行。IPC (进程间通信)线程通过 ID 互相识别并传递消息。L4系统调用机制其系统调用非常少功能高度浓缩。Threadcreate创建新线程。如果指定的 Task ID 不存在则同时创建一个新的 Task地址空间。Send/Recv标准的 IPC 接口用于发送和接收消息。Mapping(内存映射)这是 L4 管理内存的核心。内核不负责分配策略而是允许有权限的 Task 将自己的一页内存映射到另一个 Task 的地址空间中。启动新程序流程创建新 Task。父 Task 通过 Mapping 将包含代码和数据的内存映射给新 Task。父 Task 发送特殊的 Start IPC指定 PC程序计数器和 SP栈指针新 Task 开始运行。独特的硬件和异常处理机制这是L4 最具颠覆性的设计它将传统的内核职责全部转化为了 IPC 消息。A. 设备驱动Device Drivers用户态驱动L4 内核不知道磁盘或网卡的存在。访问硬件特权 Task 可以将硬件控制寄存器映射到自己的地址空间直接读写硬件。中断处理L4 将硬件中断Interrupt转换为一条 IPC 消息。驱动程序 Task 等待接收该消息收到后即代表中断发生随即处理设备逻辑。B. 缺页异常Page Faults与 PagerPager 机制每个 Task 都有一个关联的 Pager Task管理者。处理流程程序运行触发 Page Fault。L4 内核捕获异常Trap。L4 将异常转换为 IPC 消息 发送给该 Task 的 Pager。Pager 在用户空间运行逻辑如分配物理内存、从磁盘读取数据。Pager 完成后通过 Mapping 设置好内存回复 IPC 给 L4。L4 恢复原程序的运行。这些意味着Copy-on-Write、Lazy Allocation、Memory Mapped Files 等复杂功能完全可以在用户空间实现和定制无需修改内核代码。调度线程切换具体流程为保存当前线程寄存器 - 切换页表 - 恢复新线程寄存器 - 跳转回用户空间。通过定时器中断或线程主动yield等待IPC来触发调度。L4的设计哲学是一切皆IPC系统调用简化为IPC硬件中断转化为IPCPage Fault转化为IPC。这种设计带来了极大的灵活性但也使系统的运行极其依赖IPC的速度。每一次读写文件、处理中断、甚至内存分配都伴随着反复的 IPC 消息传递。IPC进程间通信优化技术传统的慢速IPCP1调用send内核将消息从P1用户空间拷贝到内核缓冲区中。随后P1不等待P2接受直接返回用户空间。P2调用recv内核再将消息从内核缓冲区拷贝到P2用户空间。这样的方式拷贝开销大需要从用户到内核又从内核到用户。且上下文切换频繁一次完整的请求-应答循环需要4个系统调用2次send2次recv和8次用户态/内核态切换。L4的设计同步Synchronoussend操作会阻塞直到接收方调用了recv。通信双方必须在内核中“会面”才能传递消息。无缓冲Unbuffered直接拷贝因为双方都已进入内核内核已知两端的内存地址可以直接将数据从 P1 用户空间拷贝到 P2 用户空间省去了内核中间缓冲区的拷贝。直接控制流转移Direct Process Switch如果 P2 已经在等待接收P1 调用send后内核不进行完整的线程调度。内核直接“借用” P1 的时间片切换到 P2 的上下文让 P2 就像从recv系统调用中返回一样继续执行。优势避免了将 P1 放入运行队列、选择新进程等调度器的复杂逻辑。其他优化技巧寄存器传参Zero Copy for Short Messages对于几十字节的小消息直接利用 CPU 寄存器传递数据。当内核从 P1 切换到 P2 时只需恢复 P2 的寄存器此时寄存器中已装入 P1 传来的数据完全不需要内存访问。内存映射Page Remapping for Large Messages对于大文件传输不进行数据拷贝而是修改页表将 P1 的物理内存页映射到 P2 的地址空间。注为什么只针对大文件这样做因为修改页表的固定成本其实极高我们需要刷新TLB遍历多级页表甚至分配新的页表项内存修改MMU的数据结构通常需要获取内核锁这又引入同步开销。同时如果你只想传100字节的话必须映射整整1页这回暴露额外的数据在安全性上是不可接受的。合并系统调用Combined System Calls针对 RPC 场景发送请求等待回复设计了专用的系统调用call原子操作等于send请求 recv等待回复。sendrecv服务端常用等于send回复上一个 recv等待下一个。效果将 4 次系统调用减少为 2 次减少了一半的模式切换开销。通过上述优化L4将IPC性能提升到传统设计的10-20倍。为了解决微内核生态贫乏的问题研究者们采取了一种务实的方法在L4微内核之上运行一格完整的Linux操作系统。微内核的局限L4 只有约 1.3 万行代码仅仅提供了地址空间、线程和 IPC 等最基础的机制仅仅相当于一个完整操作系统的几百分之一。虽然嵌入式设备如汽车点火控制器只需要这些基础功能但在通用计算领域工作站、服务器用户需要文件系统、网络协议栈、Shell、编译器GCC、编辑器Emacs等丰富的功能。为了微内核重新开发所有这些用户态服务的工作量极其巨大且难以兼容现有的应用程序。所以研究者们选择将现有的宏内核Linux作为一个用户态服务运行在L4之上。这样既利用了微内核的底层机制又直接继承了Linux庞大的应用生态和驱动支持。在这种架构中Linux被降级为一个普通的用户态任务。Linux内核本身作为一个单独的L4 Task运行。需要对 Linux 源码的底层硬件交互部分进行修改。例如Linux 不能直接读写 CPU 寄存器或修改页表而是必须发送 IPC 请求给 L4由 L4 代为操作。Linux 的上层逻辑文件系统、网络栈、驱动逻辑几乎不需要修改直接复用。用户在 Linux 中启动的每一个进程如 Shell、VI都会对应创建一个独立的 L4 Task这些进程在逻辑上属于 Linux 管理但在物理调度上是 L4 的任务。系统调用机制应用程序并不知道自己运行在 L4 之上它仍然以为自己在运行 Linux 系统调用。为了实现兼容劫持与转发每个 Linux 用户进程都链接了一个经过修改的小型库Trampoline/Stub。IPC 转换当程序发起系统调用如read/write时这个库会将系统调用转换为一条 IPC 消息。发送请求IPC 消息被发送给运行在另一个地址空间的 Linux Kernel Task。内核处理Linux Kernel Task 处于一个循环中通过recv接收 IPC处理系统调用逻辑。结果返回Linux Kernel Task 处理完毕后通过 IPC 回复结果库函数接收回复并返回给用户程序。线程模型和并发设计的特殊性这是一个非常独特的设计点L4Linux 打破了传统 Linux 的线程对应关系。单 L4 线程运行内核整个 Linux Kernel Task 在 L4 层面只有一个执行线程。原因当时的实验环境是单核 CPU多线程并行没有物理基础。当时的 Linux 版本不支持 SMP对称多处理内核中缺乏自旋锁Spinlock等并发保护机制。如果强行用多个 L4 线程运行 Linux 内核会导致数据竞争。内核内部的“软线程”虽然 Linux Kernel Task 只有一个物理线程但它在内部维护了自己的逻辑上下文切换。它可以在处理 VI 的请求等待磁盘 I/O 时切换上下文去处理 Shell 的请求。但这完全是 Linux 内部的代码逻辑L4 对此一无所知。调度权的转移L4 掌控调度哪个 TaskLinux Kernel 还是 VI 还是 Shell能获得 CPU完全由底层的 L4 调度器决定。由此带来的缺陷原版 Linux 拥有复杂的调度策略优先级、公平调度等但在这种架构下Linux 失去了对 CPU 调度的控制权。它无法保证高优先级的 Linux 进程一定能被 L4 调度运行。这展示了一种过渡性的务实的工程方案利用 L4 极快的 IPC 性能使得“将 Linux 内核作为服务运行”在性能上成为可能。通过这种方式微内核系统瞬间获得了完整的 POSIX 兼容性和软件生态。虽然牺牲了 Linux 的调度控制能力且受限于当时的单核环境但它成功证明了微内核架构在通用计算领域的潜力。L4的出现打破了微内核性能差的偏见它证明了只要在IPC优化上投入足够精力微内核可以和宏内核有相近的性能下面是具体的比较A. 微观测试getpid系统调用Table 2原生 Linux耗时 1.7 µs。L4 Linux耗时约 4 µs原生 Linux 的 2 倍多。原因分析在 L4 Linux 中一个系统调用涉及 两次 完整的 IPC请求 回复和 两次 上下文切换应用 - Linux Server - 应用。结论L4 将开销压缩到了物理极限。虽然慢了一倍但考虑到它做了两倍的工作这个性能已经非常惊人了。B. 宏观测试AIM 基准测试Figure 8测试内容模拟真实世界的应用负载如 read/write 文件、创建进程等混合操作。结果L4 Linux 仅比原生 Linux 慢几个百分点。结论对于实际应用程序微内核带来的额外开销几乎可以忽略不计。这证明了微内核在通用计算场景下是完全可用的。微内核的历史地位和现状尽管L4证明了微内核可以很快但在工作站和服务器领域Linux 和 Windows 依然占据主导。微内核虽然不比宏内核差但也没有好到足以让人们承担巨大的迁移成本去重写所有软件。为了通过兼容性如 L4 Linux来运行现有软件反而增加了复杂性。在嵌入式系统和一些安全组件中微内核获得了成功。虽然纯微内核未普及但其设计思想渗透进了主流操作系统用户态虚拟内存演变成了 Linux 中的mmap。OS on OS演变成了现代的虚拟化技术Virtual Machines / Cloud Computing。可扩展性演变成了 Linux 的可加载内核模块LKM。IPC 驱动设计macOS基于 Mach和 AndroidBinder都高度依赖高效的 IPC。