原标题：CNN IP 新“门类”！ASIP处理器设计指南

本文根据云天励飞处理器架构总监李炜在智东西公开课推出的《面向AI的ASIP处理器设计》上的系统讲解整理而来。本期讲解是AI芯片系列课第二季第一讲。

本次讲解中，李炜老师首先从性能、能耗、复杂度、灵活性四个方面，详细介绍了GPU、DSP、ASIC以及ASIP等几种不同类型的CNN IP方案。ASIP作为 CNN IP新“门类”，是针对某种特定的运算或者某类算法的定制，具有高性能、高灵活度、低功耗、低复杂度的特点。

此外，结合云天励飞ASIP处理器，李炜老师还从算法需求分析、软硬件切割、架构定义、指令集定义、指令集模拟器开发、ISS仿真&架构迭代优化等方面，系统讲解了ASIP处理器架构的设计流程，以及设计过程中RTL开发、验证、后端物理实现等难点和注意事项。

精华整理

李炜：大家好，我是云天励飞处理器架构总监李炜，目前主要从事针对AI处理器的架构以及微架构设计等方面的工作。今天分享的主题是《面向AI的ASIP处理器设计》，主要包括以下5个部分：

1. AI背景介绍；
2. CNN的IP方案介绍；
3. AI ASIP处理器架构设计；
4. AI ASIP处理器实现难点；
5. AI ASIP处理器配套工具链。

过去几年，深度学习在视觉识别、语音识别以及自然语言处理等方面都表现得非常出色。在不同类型的深度学习神经网络中，CNN卷积神经网络是得到最深入研究的神经网络，它由很多层组成，主要包括：

1. 卷积层（Convolutional layer），用来提取不同的特征值；
2. 池化层（Pooling layer），主要对输入的特征图进行压缩，使特征图变小，从而简化计算。另一方面能够进行特征的压缩，取特定区域的最大、最小或者平均值，从而得到新的维度、较小的特征。
3. 线性整流层（ReLU layer），主要是引入非线性。由于现实世界中的很多东西都是非线性的，因此引入非线性后，就可以逼近任何函数；
4. 全连接层(Fully-Connected layer)，把所有的局部特征变成全局特征，用来计算最后每一类的得分。

除了这些层之外，卷积神经网络还包括很多其他的运算。CNN的网络结构也有很多种，常见的包括GoogleNet、AlexNet、VGG16、DensNet以及MobileNet等。这些网络都有着不同的结构，每一层所需要的运算也有所不同，并且每种网络的层数以及需要支持的各种操作也是不太一样的。

CNN的IP方案介绍

CNN计算具有操作相对固定、计算量大、需要的带宽大三个特点。目前CNN IP方案可以分为GPU类方案、DSP类方案、ASIC类方案以及ASIP类方案几种。ASIP是指针对某种特定的应用或者算法来定制的处理器。

右边这张图展示了各种方案在各个方面的特点比较，主要包括性能、能耗、复杂度以及灵活性四个方面。

首先，在性能方面，ASIC的性能是最高的，因为它是专门实现某类定制的电路算法。ASIP也是针对某种特定的运算或者是根据某类算法来定制的。它的性能要比ASIC要低一些，因为ASIP还涉及到软件编程的问题，因此它的性能要比ASIC低；接下来是GPU，性能最低的是DSP，因为DSP要通过软件编程实现所有层的计算，因此它的性能是最低的。

第二，在能耗方面，DSP的能耗是最高的，因为DSP的所有计算过程都要通过软件来实现。其次是GPU，GPU的大部分计算也是通过软件编程来实现的，因此能耗也是比较高的；再往下是ASIP，虽然它也涉及到一些指令编程，但它却做了很多定制的操作和处理，因此我们认为ASIP的能耗要比DSP低。能耗最低的是ASIC，因为它完全不需要编程，所有控制都是通过硬件状态机来控制的，因此它的能耗是最小的。

第三，在灵活性方面，我们认为能够通过软件编程来实现的架构灵活性就高，因此DSP的灵活性是最高的，其次是ASIP和GPU，灵活性最差是ASIC。

第四，复杂度方面，这里所说的复杂度不仅仅是指硬件，还有配套的工具链以及软件的复杂度，因此，我认为复杂度从高到低依次是DSP、 GPU、 ASIP和 ASIC。从硬件上来说，ASIC的控制复杂度要稍高一点，因为它是通过硬件状态机来实现的。但是从软件的角度来看，ASIC不需要软件编程，而软件只需要通过一些配置寄存器就可以了。因此综合来讲，ASIC的复杂性是最低的。

接下来跟大家介绍下各类CNN IP方案，我举了一些典型的例子，大家来可以看一下各类CNN IP方案的特点。