核函数,是小百架构实现高效并行运算的核心载体。整套架构的并行计算工作,全得靠小白核函数来落地。
这些小白核函数跑在GPU上。
每一个核函数运行实例,都独立对应一条运算线程。
开发的时候,赵卫国可以写小白C/C++代码,搭配专属的语法和操作指令,来自定义编写和调用这些核函数。
不止如此,小白架构还搭了一整套完善的开发工具链和函数资源库,专门针对GPU编程和并行计算的各种场景。
配套资源包括专用的编译器、调试工具、性能检测分析软件,还有各种专业化的数学函数库。
靠着这套辅助开发工具,赵卫国写代码、调试、做性能迭代优化,效率高得不是一星半点,系统综合性能也被夯得死死的。
从芯片底层的架构原理来看,机器学习的核心运算其实就是大规模矩阵运算加多线程并行计算。
所以,适配这套智能系统的芯片,并行运算能力必须顶尖,得能稳稳扛住海量高强度复杂计算任务。
要达标这种超高性能标准,就得定制开发海量的专属运算单元,再搭配多通道数据流转、并行指令处理等一系列核心技术。
现在市面上普及的那种365nm制程芯片,不管是运算性能还是硬件架构,都够不着这么严苛的要求。
另外,芯片研发设计的时候,还得兼顾两件事:低功耗运行,超高能效输出。
机器学习这活儿,对算力输出强度和功耗控制精度,要求都极其苛刻,两方面都别想糊弄。
芯片要是做了低功耗优化,设备在海量数据处理、复杂模型运行这些高负荷场景下,才能一直保持稳定高效的运行状态。
围绕这个核心目标,赵卫国专门给芯片电路架构做了定制优化,融合低功耗制程工艺、智能功耗管控这些技术,最后顺利把低能耗的设计指标拿下来了。
与此同时,高速的数据传输和存储性能,也是这款芯片必须有的核心能力。
机器学习作业对数据吞吐效率、读写速度要求本来就极高,没有强悍的存储传输性能,根本撑不住海量数据运算和模型参数的快速调取、存储。
为了保证数据交互和传输过程又稳又快,芯片搭载了高速数据总线和专业传输接口,硬是搭出了一套稳定、高速的数据传输通道。
再加上片上高速缓存、高性能内存控制器这些核心硬件配置,数据读写流程被进一步提速,高频次、大规模的数据存取作业,也有了充足性能支撑。
计算架构方面,这款芯片需要适配量化计算机制,全面覆盖机器学习场景下各种基础运算——浮点乘加、各类激活函数运算,这些核心操作一个不能少。
为了进一步提升整体运算效率、降低能耗,芯片还兼容了定点数计算模式。用量化计算替代一部分高精度浮点运算,有效减少整体运算量的同时,也能把功耗精准管控住。