华为网站开发建设境外网站

华为网站开发,建设境外网站,域名注册备案,专业服务网页制作昨天有观众看过《一文讲懂主机启动时是如何给每个PCIe外设分配BDF的》发邮件来询问#xff0c;主机在启动过程中是BIOS给PCIe设备分配MMIO#xff0c;自己研发的GPU芯片现在会出现MMIO资源分配不足这么一个问题。想问下MMIO的主要功能和工作机制#xff0c;如何理解MMIO在PC…昨天有观众看过《一文讲懂主机启动时是如何给每个PCIe外设分配BDF的》发邮件来询问主机在启动过程中是BIOS给PCIe设备分配MMIO自己研发的GPU芯片现在会出现MMIO资源分配不足这么一个问题。想问下MMIO的主要功能和工作机制如何理解MMIO在PCIe设备的作用或者MMIO扮演一个什么角色? BIOS给PCIe设备分配的MMIO分配到哪里去等一些问题。下面简单结合你做 GPU 芯片研发的视角来解释一下上面的这些疑问一、MMIO 是什么缩写MMIO Memory-Mapped I/O内存映射输入输出意思是 把设备的寄存器、控制空间等映射到主机 CPU 的物理内存地址空间里这样 CPU 就能像“访问内存一样访问设备”。二、MMIO 主要功能是什么一句话总结让 CPU或 DRAM 系统能通过内存地址去访问 PCIe 设备的寄存器、控制器、DMA配置空间等。MMIO 是设备与 CPU 之间的“命令通道”“大脑 → 外设”的控制路径。三、MMIO 在 PCIe 设备中扮演什么角色通俗比喻PCIe 设备内部通常有控制寄存器启动 DMA、配置模式状态寄存器告诉 CPU 是否完成某任务某些内部 SRAM bufferdoorbell queue通知队列MSI/MSI-X tableBAR 寄存器指向的各种控制空间这些东西都需要一个方式让 CPU / 操作系统来读写。MMIO 就是这个方式。比喻MMIO 就像是在“大楼CPU 内存空间”里面给 PCIe 设备开了几间“办公室”地址空间CPU 想跟设备交流就走到那间办公室敲门读写地址。无 MMIO CPU 根本没法操作 PCIe 设备。四、BIOS 给 PCIe 设备分配 MMIO 是怎么回事当主机开机时BIOS/UEFI 会① 扫描所有 PCIe 设备读取每个设备的 BARBase Address Register寄存器。每个 BAR 会声明这些空间通常包括Doorbell queue控制器寄存器内部 SRAM windowMSI-X tableGPU 中的 GPC/SM 配置寄存器DMA engine 的寄存器② BIOS 在 CPU 的物理地址空间中给它们找位置CPU 实际可用物理地址空间例如 0~TB中会有一部分保留给 MMIO。比如BIOS 会从这个区域分配这就是你说的“MMIO资源不足”所有 PCIe 设备的 BAR size 总和超过了系统能提供的 MMIO window 大小。五、为什么 GPU/大加速器特别容易 MMIO 不够因为GPU 的寄存器空间特别大上百 MB 甚至更多多个 BARBAR0、BAR1、BAR2有时还 64-bit BAR大量 doorbell queues、调度器、VM context、DMA 配置寄存器现代 GPU 的 BAR 空间越来越大如 AMD 的 64GB BAR 技术服务器 PCIe 设备多时MMIO 要求量瞬间爆炸。六、MMIO 的工作机制简单到极致的解释假设 GPU BAR0 被分配此时CPU 执行并不是写 DRAM而是DRAM 完全不参与。MMIO 的本质✔ CPU 发出一个写入✔ RC 将其转成 PCIe Memory Write TLP✔ 发给设备寄存器七、MMIO vs DMA为什么两者是配套关系MMIO 是“控制通道”→ 用来告诉 GPU“开始 DMA”、“配置队列”、“读取状态”DMA 是“数据通道”→ 用于搬运大数据比如 GPU 读写主机内存。DMA 启动依赖 MMIO但数据搬运不依赖 MMIO。八、BIOS 分配的 MMIO 最终“分配到哪里了”BIOS 分配的是CPU 物理地址空间中的一段区域。并不是某个 DRAM 地址 而是 “标记为 MMIO 的地址”。访问这个区域时✔ CPU 认为是访问“内存”✘ 但不会走 DRAM✔ Root Complex 会把这些读写转发给 PCIe 设备这就是“内存映射 I/O”的精髓。九、为什么会 MMIO 资源不足原因包括系统 MMIO window 不够BIOS 或 CPU 硬件限制有太多 PCIe 设备GPU BAR 空间大64-bit BAR 占用巨大Non-prefetchable 与 Prefetchable window 不能混用CXL 设备使 MMIO 紧张BIOS 没做好资源分配十、GPU 厂商一般怎么解决 MMIO 不够常见方法1. 减少 BAR size改 IP 配置例如从 16MB 改为 4MB甚至拆分功能。2. 使用 BAR virtualizationSR-IOV 等3. 让部分配置空间通过 doorbell indirect access而不是直接 MMIO即这样 BAR 只需很小。4. BIOS/MMIO window 增大主板厂 or 固件5. 使用 64-bit BAR 让 BIOS 分配到 4GB 以上高地址总结概念通俗解释MMIO把设备的寄存器映射成“内存地址”CPU 就能用读写内存的方式控制 PCIe 设备BIOS 分配 MMIO在 CPU 的物理地址空间里划一块区域给 PCIe 设备作为“控制面板”MMIO 的作用控制设备、配置 DMA、读状态是 CPU ↔ PCIe 设备的指挥通道MMIO资源不足所有 PCIe 设备 BAR 所需的总空间 CPU/BIOS 提供的 MMIO 地址窗口实际写 MMIO 不会写进 DRAM会被 Root Complex 转成 TLP 发送给设备寄存器