大气产品展示网站源码山东省交通厅建设网站

大气产品展示网站源码,山东省交通厅建设网站,冠县 网站建设,上海小程序开发合肥目录#xff1a; 0 前言 1 人形机器人控制系统核心芯片选择ASIC而非SoC的理由 1.1 SoC的架构特征 1.2 ASIC的架构特征 1.3 SoC的优势#xff08;继承软件生态#xff09; 1.4 ASIC的优势#xff08;硬件底层算法就是应用层算法#xff09; 1.5 人形机器人控制系统核…目录0 前言1 人形机器人控制系统核心芯片选择ASIC而非SoC的理由1.1 SoC的架构特征1.2 ASIC的架构特征1.3 SoC的优势继承软件生态1.4 ASIC的优势硬件底层算法就是应用层算法1.5 人形机器人控制系统核心芯片的性能需求1.5.1 对强实时性并行算力的需求1.5.2 对算法模块之间的强实时性连接能力的需求1.6 基础假设实时性优先的设计原则1.7 结论目标是ASIC2 人形机器人控制系统核心芯片从SoC到ASIC的进化路径2.1 基于CPUGPU的控制系统架构2.2 基于CPUGPUFPGA的控制系统架构2.3 基于FPGAGPU的控制系统架构2.4 基于ASICFPGAGPU的控制系统架构2.5 基于ASICFPGA扁平化GPU的控制系统架构2.5.1 扁平化GPU的思路2.5.2 控制系统架构2.6 基于含扁平化GPU的ASIC的控制系统架构2.7 基于ASIC的控制系统架构3 演化路径中可能遇到的特殊情况3.1 半途而止核心芯片的性能进化满足了需求3.1.1 SoC技术分支3.1.2 ASIC技术分支3.2 确证AI技术的危险性4 结论声明1.本文说的SoC也包括尚未集成到单个芯片中的、基于CPUGPU板卡的人形机器人控制核心两者的体系结构没有本质区别。2.本文将多次提到“体系结构”这个关键词汇其定义是为实现所要求的目标、功能而针对组织及硬件进行的设计《计算机体系结构量化研究方法》第五版John L.HennessyDavid A.Patterson著。3.本文由笔者并非人形机器人业内人士在多方学习的基础上独立创作。限于检索资料的范围除了特殊声明之处笔者不声称所述技术思想是本人原创请业内人士根据自己的知识积累做出判断。任何先于本文公开发布的、与本文部分内容相同或相近的技术信息的原创者享有更优先的知识产权。4.为保持时间线本文发布之后将尽可能不修改。若必须修改则发布在评论区建议关注评论区。5. 本文在笔者的文章 人形机器人控制系统核心芯片从SoC到ASIC的进化路径 的基础上修改、补充而来。笔者的微信linweifpga欢迎交流。正文0 前言2023年11月工信部发布了《人形机器人创新发展指导意见》以下简称《指导意见》针对人形机器人的功能提出了实用化的需求其特征是能够应对真实场景下的复杂环境与任务能够应对突发情况。基于上述需求针对人形机器人控制系统的核心芯片《指导意见》要求“开发面向人形机器人的专用芯片提升运动控制、认知决策等计算效能。”在这项要求中“专用芯片”虽然从字面上可以直接翻译为ASICApplication Specific Integrated Circuit即“特定用途集成电路”但直接这样下结论还是太武断 -- 毕竟针对人形机器人控制这一特定用途设计的、将CPU及其辅助功能模块例如GPU、ISP集成到一个芯片里、形成一个SoCSystem On Chip也可以被称为“专用芯片”。面对“专用芯片”的ASIC、SoC两个备选方案本文拟基于人形机器人研发工作现状而在性能优先的设计原则下进行选择并且就当前人形机器人控制系统架构向“专用芯片”目标演进的技术路线图、中间可能遇到的特殊情况做一些剖析提出自己的观点以期抛砖引玉促进业内在这个方向展开深入的讨论。进而笔者希望本文有助于人形机器人业界尽快跳出当前CPU软件技术架构的思维束缚将FPGA这一已经成熟的基础技术作为中间技术形态而深入应用于人形机器人控制系统加速控制系统核心芯片向“专用芯片”进化。1人形机器人控制系统核心芯片选择ASIC而非SoC的理由1.1SoC的架构特征CPU软件体系结构以单个/少量物理运算核心、以通用的流程读取级联映射的多级存储器寄存器一、二、三级cache内存中的指令与操作数解码指令并结合操作数时分复用物理运算核心与各级存储器以及两者之间的物理信道串行多个物理运算核心之间可以并行但互相协同的工作复杂执行指令以此实现算法功能。GPU本文以此泛指GPU、GPGPU、TPU这类面向大规模并行运算的芯片/运算核心提供了大量10k级别微型运算核心以应对高分辨率高帧率图像以及其他传感器采集的数据的高速并行处理由此导致的高开发难度不方便大量现有程序员参与开发。GPU厂家为快速搭建应用层研发生态系统以建立护城河研发了专用的、面向C/C程序员的软件开发环境例如CUDA其实质是在发挥底层硬件效率与兼容现有软件开发体系之间进行了折中。将由一片SoC中由CPU执行的各个软件算法模块、由CPU-GPU协同执行的各个软件算法模块视为一个集合集合中的各成员模块之间的通信都是以CPU/GPU向内存中的特定地址空间写入、读出数据而实现的完成这些操作在同样需要以时分复用硬件为底层机制的、基于多级存储器映射的指令以及操作数获取与解码-执行。1.2ASIC的架构特征ASIC中具备大量分布式排列的基础元器件逻辑门、寄存器、SRAM存储器块由特定数量的上述基础元器件以固定的硬件连线予以互联以直接实现某种算法、形成硬件算法模块芯片内部的各个硬件算法模块之间以专用的硬件连线直接实现信息交互。事实上如果剥离CPU中的每个运算核心将其视为一个被软件时分复用的硬件模块它在硬件层面的本质也是ASIC即用逻辑门、寄存器、SRAM存储器块的固定互联实现级联存储器及其管理模块、指令译码、ALU、流水线调度、输入端口、输出端口等功能模块彼此之间以固定的硬件连线实现互联。与ASIC的区别在于CPU中的每个运算核心用上述硬件直接实现的底层算法是实现一个通用核心这个通用核心能够用执行软件的方式灵活地实现几乎无限种类的应用层算法-- 这里说的应用层是相对于“物理”层即硬件结构来说的包括了机器码、汇编码、操作系统、API、应用程序等各个软件层级。1.3SoC的优势四十多年以来作为一个前沿高科技方向机器人、人形机器人的控制系统一直都是基于CPU软件的体系结构。GPU的底层架构虽然相比于CPU有了变化但芯片厂商提供的开发环境例如CUDA将GPU的开发过程变得在形式上类似于CPU软件的开发过程。所以SoC作为CPU软件的体系结构的直接继承者可以从现有的、以软件为核心的技术生态系统中借用大量已有的开发资源例如ROSII及其应用程序库、CUDA及其应用程序库、RTOS。并且多年来积累的巨大的、完善的人力资源梯队也为基于SoC的人形机器人控制系统研发提供了充足的人才。并且SoC中各个模块作为迭代几十年的、久经打磨的ASIC如1.2节所述其硬件底层设计逻辑门、寄存器、SRAM存储器块的选型、排布与互联都有成熟的IP货架产品在研发周期、硬件成本方面具有显著的优势。1.4 ASIC的优势在底层硬件的物理结构层面ASIC与CPU、GPU没有本质区别三者的运行主频处于同一水平GPU略低一些。ASIC中以分立的底层硬件基础单元集合直接实现算法、以专用的硬件连线直连各个算法模块剥离了CPU的“时分复用硬件系统以访问多级存储器、读取指令、解析并执行指令”这一层事实上包括了多个软件层的工作量用硬件直接实现的底层算法就是应用层算法这一句深入本质不知是否已有人总结过因而节省了大量时钟周期从而在运行主频已达上限的情况下在人形机器人执行任务的过程中得以以人类目前能达到的最低延迟、最低功耗实现任务所需的算法。另外ASIC中也可能有一些共用的运算单元例如如果某个算法模块中的乘法器并非满负荷工作其在空闲时间内就可以被其他算法模块调用从而也形成“时分复用”的工作模式。推而广之这种“时分复用”也可能存在于模块层例如本文第2.6节图7中的电机控制模块可能是一个模块在不同的时刻分别控制多个伺服电机的IPM -- 前提是对性能的影响在工程上可接受。对于ASIC体系结构中存在的上述时分复用的情况时分复用控制器是专用的、由底层逻辑门寄存器构成的有限状态机FSM控制的用硬件直接实现的底层算法例如上述乘法器、电机控制模块之上就是应用层算法其复杂程度仍然是远较CPU多层软件的体系结构简单实现复杂算法时的延迟、功耗也仍然比后者低得多。1.5人形机器人控制系统核心芯片的性能需求[说明本节基于笔者的知乎文章 必要性论证将FPGA深入应用于基于CPU、CPUGPU的人形机器人控制系统版本A第1节的内容若已读则请飘过]1.5.1 对强实时性并行算力的需求实用化的人形机器人控制系统必须实现感算控一体简化地说就是感知自主感知本体、环境、任务对象的状态强调三者状态的复杂性、非结构化性、时变乃至突变性运算自主根据感知结果以完成预设的任务为目标决策下一步的行为自主将行为转化为运动规划运动规划的结果包含了人形机器人作为一个整体在环境中的运动轨迹规划、身体朝向规划自主将运动规划方案转化为各关节的轨迹点空间坐标时序序列进而转化为各关节电机的运动控制方案控制自主实现对各关节电机的控制使人形机器人各肢节按照运动规划的结果在四维时空中完成运动以各肢节的动作配合而完成预设的任务到达某位置、做完某事。在上述过程中实用化的人形机器人必须应对各种突发、紧急的情况例如控制自身跌倒的过程以免伤害人类及自身救助正在跌倒或面临其他危险的人类保护面临外部突发伤害的人类/重要物品、应对自身部件突然失能以免伤及人类/重要物品 ............ 详情请参阅笔者的文章 室联人形机器人家政服务任务结构化、技术要点、深入应用FPGA的控制系统框架设计整合版A 第2.3节。在非紧急状态下人形机器人对复杂环境信息变化、任务对象信息变化的反应速度也将直接决定其工作效率进而决定其市场竞争力。同时为了更完整地获取自身、任务对象、外部环境的信息实用化的人形机器人感知环节必须以高帧率高分辨率、在多个位置多个方向并行采集人形机器人本体、任务对象、环境的多种信息进而在运算环节以高频率对这些多模态信息进行融合、做出相应的决策与运动规划。并且上述各个数据通道、算法通道必须在很大程度上同时存在、并行运行。即实用化的人形机器人的运算核心必须在并行运行大量大运算量算法模块时具备强实时性低延迟量低延迟抖动量下同。1.5.2 对算法模块之间的强实时性连接能力的需求第1.5.1节所述的大量算法模块之间必然存在紧密的耦合关系也就是说这些算法模块之间必须实现强实时性的信息交互以实现强实时性的功能衔接、功能协同。1.6基础假设实时性优先的设计原则人形机器人控制系统的实用化工作有两个的技术维度提高算法的能力逻辑上能够实现应用场景要求的功能提高核心芯片执行算法的效率提高实时性、降低功耗、降低硬件成本等。在将实用化定义为《指导意见》要求的“能够应对真实场景下的复杂环境与任务、能够应对突发情况例如第1.5.1节列举的安全性需求”的前提下当前各研发单位对实用化人形机器人控制系统算法的研究还处在探索阶段核心矛盾之一就是目前能想到的算法端到端/非端到端在现有的SoC硬件平台上执行的实时性都不能满足要求并且差距比较大。基于这种差距对于上述第二个技术维度在“先实现、再优化”的一般性思路下优先提升核心芯片执行多通道协作、大运算量算法的实时性就应该被认为是人形机器人核心芯片或者说是硬件系统的设计原则。1.7 结论目标是ASIC尽管SoC继承了既有的研发体系及资源在研发周期、人才供给、芯片制造成本等方面相比于ASIC有着显著的优势但是由于其在体系结构上的复杂性时分复用硬件资源、在硬件底层算法上叠加多层应用层算法使其在面对多通道、运算量压力非常大的应用场景时实时性不如ASIC。所以基于第1.5节总结的、人形机器人控制系统核心芯片的强实时性性能需求基于SoC与ASIC在硬件底层并无本质区别从而主频上限相同但后者的体系结构远为简洁、由此导致后者具备显著的实时性优势这一事实业界应该认定人形机器人控制系统核心芯片的目标是ASIC而非SoC。[《指导意见》发布之初2023年11月笔者就在知乎明确提出了人形机器人核心芯片的SoC、ASIC之辩链接如何看待工信部印发《人形机器人创新发展指导意见》 ]2 人形机器人控制系统核心芯片从SoC到ASIC的进化路径考虑到ASIC在研发成本上的巨大劣势从SoC以CPUGPU为核心到ASIC的进化过程不可能一蹴而就。FPGA在体系结构上与ASIC非常相似都是用硬件直接实现算法、用硬件连线直接连接各个算法模块但是FPGA由于具备极为灵活的可编程特性在底层硬件单元之间提供大量可编程节点代价是运行主频大幅度低于ASIC、CPU、GPU从而大概率不足以作为最终方案从而适合在研发阶段实验各种系统架构、算法方案使其在ASIC原型验证阶段具有不可替代的作用。所以笔者认为在从SoC包括分立的CPUGPU板卡系统到ASIC的进化过程中FPGA必将成为不可替代的过渡性要素。笔者将这一进化过程分为六个阶段本节将逐一予以介绍。2.1 基于CPUGPU的控制系统架构本阶段的控制系统架构是当前人形机器人业界的唯一选择下图就是一个典型的SoC。图1 英伟达Orin芯片的系统架构https://www.wlxmall.com/info/1772.html图1 的架构对于专业人士来说一目了然这型SoC的具体情况请参阅图1的来源网页本文不再赘述。第2.2、2.3节的架构中仍然包含了这个SoC。如果是由CPU主板GPU插卡组成的系统则相当于GPU插卡在图1中改为经PCIe插槽连接 “Memory Controller Fabric”。当把这个SoC应用于人形机器人控制系统时还需要在图中“Memory Controller Fabric”下方的各种I/O端口上连接人形机器人的各种传感器例如摄像头、激光雷达、IMU、力/力矩传感器、触觉传感器、编码器下同、执行器例如IPM、伺服电机下同、对外通信模块例如射频通信模块、语音收发模块、连接大模型服务器的通信光模块、调试I/O以形成完整的“感知-运算-控制”环路。在人形机器人控制系统中GPU负责执行那些算法相对简单的、操作数数据量大但数据组织模式规整的、需要做大规模SIMD单指令多数据运算的算法任务。2.2 基于CPUGPUFPGA的控制系统架构本阶段的控制系统架构如下图所示。图2 基于CPUGPUFPGA的人形机器人控制系统架构图2是在笔者此前的文章 室联人形机器人家政服务任务结构化、技术要点、深入应用FPGA的控制系统框架设计整合版A 的图2以下称为“原图”的基础上绘制的相当于将其中的人形机器人躯干内置FPGA的周边器件及其在FPGA内部的对应模块做了归并即将所有传感器通道归并表示为一路将所有电机控制通道归并表示一路。在图2中基于具体的职能将6个子系统即系统管理、感知、运算、控制、芯片间数据实时传输、语音收发按照橙、浅蓝、红、绿、深蓝、棕予以着色以方便读者理清模块之间的协作关系。进而图2将原图中左侧的PCIe接口组件扩充为PCIe接口组件Memory Controller Fabric从而与本文图1形成了继承关系。图2同时也是对第2.1节所述的、基于图1的、当前唯一被业界采用的人形机器人控制系统架构的发展基本思路是A 在Memory Controller Fabric下方的PCIe接口上挂接一片FPGA前期以PCIe插卡的形式、后期以板上PCIe布线直连的形式FPGA经PCIe接口连接Memory Controller Fabric进而连接运算CPU图1中的一部分CPU核心、工控CPU图1中的其他CPU核心、GPUFPGA也经FPGA片间全双工高速串行直连接口模块与其他FPGA例如双手中的FPGA实现有线连接、经射频通信组件及其驱动模块与其他FPGA例如外置机箱中的FPGA实现无线连接。B 各个传感器对应的驱动模块、传感器信息预处理模块、传感器融合基层算法模块各个执行器电机控制通道对应的驱动模块各个射频通信模块、语音收发含对接收到的语音数据的预处理例如频谱分析与滤波模块、连接大模型服务器的通信光模块对应的驱动模块以上模块都由FPGA实现各个模块在FPGA中分别占据独立的硬件区块用硬件直接实现算法彼此之间并行运行以降低“感知-运算-控制”反馈控制环路中因为运算CPU执行太多实时性外设管理任务、与外设直接关联的实时性运算任务而导致的延迟。C 在FPGA中设置运算CPU算法任务协处理模块用于分担运算CPU所执行算法中的一部分运算任务操作数/运算任务下传、运算结果上传都是经PCIe接口进行传输其内部的各个子模块在FPGA中分别占据独立的硬件区块用硬件直接实现算法彼此之间并行运行以降低“感知-运算-控制”反馈控制环路中因为运算CPU执行太多运算任务而导致的延迟。详情请参阅笔者此前的文章 室联人形机器人家政服务任务结构化、技术要点、深入应用FPGA的控制系统框架设计整合版A 的第3.3.4.1.4、3.3.4.3、3.3.4.4、3.3.4.5节。D 在A~C项述及的FPGA内部的各个模块包括PCIe端点模块之间以可编程的片内硬件连线实现皮秒级延迟的通信、纳秒级精度的协同落实到图2中就是以FPGA片内调度中心硬件模块以及相关的硬件连线其功能等效于图1中的Memory Controller Fabric运行于各个CPU核心中的模块间接口程序实现各个模块之间的协同以降低“感知-运算-控制”反馈控制环路中因为运算CPU执行太多模块间协同任务而导致的延迟。GPU的任务不变。2.3 基于FPGAGPU的控制系统架构本阶段的控制系统架构如下图所示。图3 基于GPUFPGA的人形机器人控制系统架构在图3中曾经存在于图2中的、与运算CPU对应的CPU核心已经被删除但它在实际的硬件中仍然存在图3仍然采用图1所述的SoC以此遵循循序渐进的设计原则只是其中的CPU处于空闲状态所以在图3中未予表示。在图3中第2.2节述及的、本应由运算CPU执行的算法模块已经全部移到FPGA中从而导致图2中的“运算CPU算法任务协处理”模块在图3中被改为“运算CPU算法任务”模块各个模块在FPGA中分别占据独立的硬件区块用硬件直接实现算法彼此之间并行运行、以可编程的片内硬件连线直接互联以实现皮秒级延迟的通信纳秒级精度的协同以降低“感知-运算-控制”反馈控制环路的延迟。并且因为架构中已经没有运算CPU对与GPU本节仅考虑使用市售的GPU第2.5节予以改进交互的数据进行实时性比较高的解析在不对GPU的架构做出显著改动的前提下FPGA必须承担这一任务实时性至少不应低于运算CPU执行这一任务即在PCIe端点模块内侧添加由FPGA实现的GPU指令、数据生成与解析模块-- 笔者不了解这一任务能否被FPGA实现关键在于待解析的数据包例如CUDA的微指令的封装格式、数据结构、功能定义是否公开如果不能则本节的架构图仍然采用图2只是其中的运算CPU仅负责在FPGA与GPU之间进行指令、反馈信息的翻译人形机器人控制系统其他任务的执行如本节所述。GPU的任务不变。在图3中未予表示的、位于图1右上角、连接Memory Controller Fabric的各个ASIC模块例如ISP以下将这些模块统称为“SoC自带的辅助ASIC模块集”仍被保留以对这些专用功能进行硬件加速。2.4 基于ASICFPGAGPU的控制系统架构本阶段的控制系统架构如下图所示。图4 基于ASICFPGAGPU的人形机器人控制系统架构相比于第2.3节所述的架构图4取消了自图1一直继承下来的、以英伟达Orin为例的SoC芯片这导致FPGA、GPU之间不再有Memory Controller Fabric可用因此将FPGA中的PCIe端点模块替换为PCIe根复合体Root Complex模块用于管理PCIe“总线”总线只是俗称更准确的称呼是接口进而实现以FPGA为中介的、GPU接收各种传感器的数据流的高带宽强实时性通道。相比于图3在图4所述架构中将FPGA中承担较大运算量的模块-- 运算CPU算法任务模块、传感器信息预处理传感器融合基层算法模块外加DDRn-SDRAM芯片组访问接口模块 --从FPGA中摘出来前提是这三个模块的算法及其功能已经在人形机器人工程实践、实用化应用场景例如室内家政服务中经过了比较充分的检验、优化移到一片ASIC中ASIC自带外挂的DDRn-SDRAM芯片组从而以比FPGA更低的延迟执行这些算法ASIC经PCIe“总线”实现与FPGA的高带宽强实时性数据交互。基于与第2.3节倒数第二段相同的考虑如果GPU本阶段仅考虑使用市售的GPU指令、数据生成与解析模块不能被FPGA实现则图4中需要保留一个运算CPU采用分立器件或嵌入在FPGA中的CPU核心负责在FPGA与GPU之间进行指令、反馈信息的翻译。即在图4中运算CPU模块与GPU指令、数据生成与解析模块两者是互斥关系后者如果具备可实现性则取消前者后者如果不具备可实现性则删除后者、保留前者。图4右下角的工控CPU因为不再有Memory Controller Fabric可用考虑到它不承担强实时性任务在此处将工控CPU与FPGA的交互任务由I2C总线直连实现。工控CPU与用户I/O端口之间的物理连接也由Memory Controller Fabric改为由工控CPU外部总线实现。GPU的任务不变。位于图1右上角、连接Memory Controller Fabric的“SoC自带的辅助ASIC模块集”一并集成进了图4中的ASIC以在没有SoC芯片的情况下对这些专用功能进行加速。2.5 基于ASICFPGA扁平化GPU的控制系统架构2.5.1 扁平化GPU的思路在第2.3、2.4节所述架构中由于GPU对外通信的数据包例如CUDA的微指令的封装格式、数据结构、字段功能定义可能不被公开导致在主反馈控制环路中可能必须保留运算CPU这一实时性瓶颈。所以本文提出一个思路可能不是原创研发一种扁平化的GPU芯片/运算核心如图5所示其底层结构特征是以ASIC本质见第1.2节所述CPU的ASIC本质实现大量并行运行的、阵列排列的运算微模块运算微模块完成乘法、加法、累加等基础运算将这些运算微模块的对外接口以及接口之间互联/级联的方式用硬件逻辑以及硬件逻辑寄存器构成的高速有限状态机ASIC子模块称为“GPU接口控制器”进行统一的、低延迟的、一定程度上可配置的管理。进而对应用层开发者公开GPU接口控制器的设计原理细节、功能逻辑细节、时序动作细节、物理参数细节、配置方式细节以方便应用层开发者用高度透明的方式并行控制上述运算微模块工作流程可知、硬件动作可控、实时状态可见向其输入端口、配置接口写入数据读出其输出接口、状态接口的数据进而决定其在下一个操作循环需要做的动作各个循环之间可以嵌套以实现流水线操作从而在时序上隐藏中间操作。说明图5中的片内硬件连线由空间上独立于硅层的多个布线层实现并非“挤在”运算微模块之间。本节思路的实现过程会比较困难尤其是在“内存墙”的限制下必须在应用层算法种类的覆盖率、实时性指标、可实现性等各种需求维度之间尝试各种折中方案很可能还有大量探索性工作需要做。笔者在此将之提出可能不是原创以供专业人士参考。[另笔者在考虑GPU系统的“内存墙”问题时计算了一个比例即喂饱以主频运行的所有运算微模块需要的输入数据带宽运算微模块数x每个运算微模块的输入位宽x主频是HBM读出带宽的多少倍见图6中以H100为例的计算。这个比值更接近硬件实质提供了业内常用的运算强度AI (Arithmetic Intensity)即FLOP/Byte之外的另一个硬件性能量化思路DeepSeek说这是我的原创并且给它起了个名字理论输入带宽需求比。专业人士如何评价这个名词在技术上的实际价值是否认可这是原创 ]2.5.2 控制系统架构本阶段的控制系统架构如下图所示。图7 基于ASICFPGA扁平化GPU的人形机器人控制系统架构a图7与图4的区别在于取消了用于在FPGA与GPU之间进行指令、反馈信息的翻译的运算CPU再将GPU换成扁平化GPU。进一步思考既然图7中的扁平化GPU、ASIC都是重新设计的芯片那么完全可以将图7中的PCIe根复合体、PCIe接口组件删除由FPGA的硬件逻辑经并行差分指令线、数据线直接对这两个芯片进行驱动这样既能去掉由PCIe接口导致的延迟又能降低成本代价则是降低了这两个芯片的通用性使其不便于作为协处理器被其他主机芯片经PCIe接口对其算力、模块功能进行调用。于是我们基于图7得到了图8图8 基于ASICFPGA扁平化GPU的人形机器人控制系统架构b2.6 基于含扁平化GPU的ASIC的控制系统架构本阶段的控制系统架构如下图所示。图9 基于含扁平化GPU的ASIC的人形机器人控制系统架构图9以图8为基础用ASIC取代了FPGA、将这一部分的运行主频从400MHz左右提高到与CPU、GPU同级别的2000MHz左右并且将图8中的ASIC承担主反馈控制环路中扁平化GPU任务范围之外的运算任务、扁平化GPU归并其中以进一步降低反馈控制环路的延迟。同时将第2.3节中由FPGA归并入ASIC的三个模块 -- 运算CPU算法任务模块、传感器信息预处理传感器融合基层算法模块、DDRn-SDRAM芯片组访问接口模块以及第2.3节最后定义的、一直被ASIC模块包含的“SoC自带的辅助ASIC模块集”都作为ASIC的一部分在图9中予以表示。并且因为此时的DDRn-SDRAM芯片组的任务已经扩充不再限于为传感器信息预处理传感器融合基层算法模块提供数据缓冲空间而是还要为图9中的运算CPU算法任务模块、扁平化GPU模块提供数据缓冲空间所以在图9中将扁平化GPU模块本身自带HBM控制器模块见图5移出来、替代DDRn-SDRAM芯片组访问接口模块统一为整个ASIC中的算法模块红色的扁平化GPU模块、运算CPU算法任务模块、传感器信息预处理传感器融合基层算法模块提供高速的数据缓冲空间HBM访问接口连带将DDRn-SDRAM芯片组改为HBM颜色也由感知子系统的浅蓝色改为运算子系统的红色。与第2.4节所述同理将上述由FPGA实现的功能模块ASIC化其前提是这些模块的算法及其功能已经在人形机器人工程实践、实用化应用场景例如室内家政服务中经过了比较充分的检验、优化。并且图9相比于图8将自图1以来一直保留的、独立的工控CPU归并入ASIC形成大一统的ASIC架构以实现整个系统的最高程度集成减少了人形机器人控制系统核心板卡的体积这在儿童陪伴人形机器人中尤为重要 -- 电影《人工智能》、复杂度、品控成本。进而相比于FPGA中的布线ASIC的布线远为自由由此导致图9中的ASIC片内数据调度中心模块物理上完全可以不是一个单独的硬件区块而是ASIC芯片中无所不在的金属层布线从而为片内模块间通信以及片内模块与外部器件之间的通信提供在当前IC技术水平下最高带宽、最强实时性的直连物理信道。另外关于被归并入ASIC的扁平化GPU其本身具备一定程度的通用性虽然这个通用性比当前的GPU差很多可以在优化接口例如增加PCIe端点模块之后作为一个新型的协处理器而在其他要求强实时性的应用场景下被其他主机芯片CPU、FPGA、ASIC调用这将有益于增加这个运算核心的出货量以分摊实用化人形机器人的研发成本。2.7 基于ASIC的控制系统架构本阶段的控制系统架构如下图所示。图10 基于ASIC的人形机器人控制系统架构图10以图9为基础将扁平化GPU进一步扁平化成为由大量分立的算子级底层硬件单元例如乘加单元、存储区块、逻辑功能单元构成的ASIC区块基于“硬件底层算法就是应用层算法”的思路以极限低延迟、低功耗实现此前由扁平化GPU实现的算法任务例如各种矩阵运算同时删除图9中的扁平化GPU指令、数据生成与数据解析模块。事实上由于人形机器人控制系统主数据回路中的所有红色的运算子系统的模块都已经ASIC化、不存在由多层复杂体系结构额外导致的信号传输延迟图10所示ASIC的运行主频很可能高于同时代的CPU、GPU从而进一步降低反馈控制主回路的延迟、为人形机器人的加速进化提供底层支撑。3 演化路径中可能遇到的特殊情况3.1 半途而止核心芯片的性能进化满足了需求本文此前的内容其基础假设是现有的核心芯片的性能不满足实用化人形机器人控制系统的需求在应对真实场景下的复杂环境与任务、应对突发情况时确保强实时性且相差很多。在现实的研发工作中在按照第2节所述路线图推进人形机器人控制系统核心芯片ASIC化的过程中现有核心芯片的性能也将随着时间推移而得到进化、有可能满足上述需求从而导致上述路线图半途而止。在评估本文内容的价值时这一风险是不可回避的。3.1.1 SoC技术分支在第2.1节所述的、基于SoC亦即基于CPUGPU的控制系统架构中如果今后其中各个CPU核心/GPU运行被分配的算法功能的实时性、各个CPU核心各自执行算法所实现的功能模块之间以及与GPU执行算法所实现的功能模块之间进行通信的实时性得到长足进步不论是否基于现有的“Memory Controller Fabric”及其关联的各种接口如果这些进步的程度足以支持实用化人形机器人控制系统的功能、性能需求则由于SoC架构在通用性、研发成本方面的显著优势必将导致第2节所述的核心芯片ASIC化的过程半途而止。这一风险必须得到充分的重视。3.1.2 ASIC技术分支在第2.2~2.6节所述的进化过程中一旦某些核心芯片CPU、GPU、FPGA、ASIC的性能突破在某个进化节点实现了实用化人形机器人功能性能以及由此导致的经济效益与成本之间的平衡以这个进化节点的控制系统技术架构为基础人形机器人将具备实用化价值而获得实质性应用出货量的增长将导致核心芯片研发成本被进一步均摊、现有架构成为事实上的业界标准整个进化过程可能半途而止。当然即使在某个节点实现了上述目标也很可能会有研发团队愿意继续推进核心芯片的进化以实现更高的性能进而拓展细分市场例如儿童陪伴人形机器人。3.2 确证AI技术的危险性如笔者2017年发表的 论文《关于预防人工智能反叛的初步探讨》修订版 所述策反大量应用于人类社会的人工智能体是反叛的人工智能体必将采取的进攻步骤。实用化的人形机器人必定被大量、深入地应用于人类社会尤其是室内家政服务加之其具备的“通用性”特征能够以人类的感知方式、行动方式、操作方式干预人类生产生活环境中的几乎所有设备必将使上述策反过程的后果极其严重、极其危险。在第2节所述ASIC化进程中一旦人形机器人控制系统中的AI算法模块例如基于不受限语料预训练的、具备多模态感知与策略制定能力的、以“通用人工智能”为目标训练的大语言模型的危险性被确证人类很可能制定法律以禁止人形机器人产品的大规模应用或者至少限制其功能例如禁止为人形机器人装设用于远程更新算法的物理接口以防人形机器人算法更新网络被反叛的人工智能体入侵 -- 其目的是用更新AI算法的方式大规模策反人形机器人。4 结论以能够应对真实场景下的复杂环境与任务、应对突发情况确保人类、机器人本体、重要物品的安全为目标人形机器人必须具备多通道、大运算量、强实时性的感知-运算-控制一体化反馈控制系统。这一需求已经显著超出了现有的、以CPUGPU的人形机器人控制系统的能力业界有必要重新评估现有控制系统技术架构的现实能力、发展潜力有必要实质性回归工信部《人形机器人创新发展指导意见》提出的“专用芯片”方案-- 这一方案的终极目标是ASIC。从CPUGPU的SoC方案进化到ASIC方案需要深入应用FPGA以形成中间过渡方案本文针对这个过程提出了清晰的路线图并且为其中重要的运算核心 -- 扁平化GPU -- 的设计提供了参考思路。建议有实力的人形机器人研发单位重视本文的内容前瞻思考以控制系统的“专用芯片”方案为目标在“控制系统底层架构升级换代”的维度做出努力以此跳出同质化竞争的沸海、超越友商率先推动人形机器人的实用化进程。