神经网络硬件方面的调查研究.ppt

神经网络硬件方面的调查研究 智能计算作业 姓名：张可新 学号 文献摘要 在过去的十年中，并行人工神经网络模型的硬件开发设计很多。本文旨在对人工神经网络硬件进行回顾述。介绍硬件规格、执行评价等神经网络的基础技术，介绍人工神经网络主要结构类型。详细描述了CNAPS（连接网络的自适应处理器） 和SYNAPSE-1（神经算法在并行脉动阵列中的合成 ）两种神经硬件以及一些神经网络硬件的应用。讨论了神经网络硬件的未来发展与挑战。 一、介绍 在过去十年，神经网络的硬件有了迅速的发展。神经网络硬件设备被认为在一些领域中上具有发展空间，如图像处理，语音合成分析，模式识别，高能物理等。 神经网络硬件通常被认为是实施神经网络结构和学习算法的设备，特别是那些具有神经网络所固有并列属性的设备。 一、介绍 在过去十年，神经网络的硬件有了迅速的发展。神经网络硬件设备被认为在一些领域中上具有发展空间，如图像处理，语音合成分析，模式识别，高能物理等。 神经网络硬件通常被认为是实施神经网络结构和学习算法的设备，特别是那些具有神经网络所固有并列属性的设备。 本文概述了神经网络硬件结构的发展现状，介绍了神经网络的硬件规格、分类、结构种类、设计方法以及最新的发展状况以及实际应用。对神经网络硬件的发展趋势进行了讨论。 二、人工神经元模型和神经网络的结构 人工神经元模型 二、人工神经元模型和神经网络结构 人工神经网络结构 三、神经网络的硬件与软件 神经网络软件 当所处理的任务不需要非常快的运行速度时，大多数神经网络设计师的解决方案，是采用软件应用于电脑或工作站上，而不是寻求特殊附加硬件去解决。 即使是最快的串行处理器也无法提供实时响应和对大量的神经元、突触的网络学习。 三、神经网络的硬件与软件 神经网络硬件 多个简单处理单元并行处理，可以提供巨大加速。当硬件实现时，神经网络可以充分利用其固有的并行性，并且其运行量级远远大于软件模拟。 一般来说，神经网络硬件设计人员所采用的方法有两种。一种方法是建立一个普通但较贵的系统上，这个系统可根据不同任务重新编程，如自适应解决方案CNAPS[ 15 ]。另一个办法是建立一个专门的廉价芯片迅速有效的处理一件事，如IBM ZISC [ 16 ]。 四、模块表示法及其规范 四、模块表示法及其规范 激活模块，是执行wj、xj相乘并且对各相乘组求和，它是位于在神经元芯片（或神经元计算机的处理单元）。 其他模块，即神经元状态块，权值模块和传输功能模块均可以设在芯片上或芯片外，其中一些功能可以由主机执行。这些模块之间的数据传输是通过芯片上的控制单元控制着。而控制参数是主机用来控制硬件的。 四、模块表示法及其规范 数据流是权值模块中的权值，外部的输入或从相乘后的输出结果作为的输入，在激活模块概括出结果，并通过转换、总和以上结果在神经状态模块中得到输出。 四、模块表示法及其规范 传递函数 对于多层感知器和Hopfield(霍普菲尔)神经网络（例如[ 18 ]）的传递函数可能是一个阈值，线性，斜坡和双弯曲函数。Kohonen网络（例如[ 19 ]），通过激活模块计算要符合输入和权重向量的欧式距离。 四、模块表示法及其规范 规范 对于量化神经网络硬件性能传统的方法是在单位时间测量乘法和累加计算数目和权值更新率。这两种测量方法有些符合MIPS或传统系统中的MFLOPS测量。他们只是提供一种指示，必须对不同精度和尺寸进行细心比较。 由于缺乏有效的、便携的软件，因而没有尽力去做出一个与神经网络硬件相适应的综合基准。 五、神经网络硬件分类 分类标准：神经网络硬件根据不同属性对神经网络的硬件进行分类，如系统结构、并行度、处理器间通信网络、通用或专用设备、芯片上运算或不在芯片上运算等等。 基于并行度，神经网络硬件可分为4类：粗粒子，中粒子，细粒度和大规模并行处理[ 24 ]。 五、神经网络硬件分类 对文献[ 5 ]所提出的方案进行分析，将神经网络硬件为四大类，如图所示。 基于集成电路标准，神经元计算机首先分为两大部分。一部分主要加速器板和并行多处理器系统组成的。加速器板，可以加快传统电脑如个人电脑或工作站；并行多处理器系统，可以单独运行，也可通过计算机主机对其监控。另一部分是建立在专用神经元ASIC（专用集成电路）上的神经元芯片。这些神经元芯片可以是数字，模拟，或混合。 五、神经网络硬件分类 加速器板介绍 加速器板是最常用于神经元的商业硬件，因为他们是相对便宜的，应用广泛，连接到电脑或工作站较为简单，并且可以提供用户友好的软件工具。