人工神经网络算法.pptxVIP

人工神经网络算法

Part01,Part02,Part03,Part04CONTENTS目录2

新建DOC文档_20240105130451.pdfPage1人工神经网络(ArtificialNeuralNetwork,ANN)，它是现今最火热的人工智能研究方向深度学习的基础。人工神经网络以其独特的网络结构和处理信息的方法，在自动控制领域、组合优化问题、模式识别、图像处理、自然语言处理等诸多领域，己经取得了辉煌的成绩。深度学习是基于神经网络发展起来的技术，而神经网络的发展具有悠久的历史，且发展历程可谓一波三折。如今，历经两次潮起潮落后，神经网络迎来了它的第三次崛起。下图展示了其发展历程中的转折点。通过此图还可以看出，人们对神经网络的研究可以追溯到20世纪40年代，并且第

新建DOC文档_20240105130451.pdf一次热潮持续到了20世纪60年代末

1.第一阶段

1943年，美国神经生理学家沃伦·麦卡洛克(WarrenMcCulloch)和

数学家沃尔特·皮茨(WalterPitts)对生物神经元进行建模，首次提出

了一种形式神经元模型。这个神经元模型通过电阻等元件构建的物理网

络得以实现，被称为M-P模型。1958年，罗森布拉特(Roseblatt)

又提出来了感知器，这意味着经过训练后，计算机能够确定神经元的连

接权重。就这样，神经网络的研究迎来了第一次高潮。然而在1969

年，明斯基(Minsky)等人指出感知器无法解决线性不可分问题，使得神

新建DOC文档_20240105130451.pdf2.第二阶段

1986年，Rumelhart(鲁梅尔哈特)等人提出了误差反向传播算法

(BackPropagation,BP)通过设置多层感知器，解决了线性不可分问

题。从反向传播算法的发表开始，神经网络迎来第二次高潮。1989年，

YannLecun等研究人员实现了一个7层的卷积神经网络LeNet-5，

识别手写数字的精度达到了98%。在这段时间内，一大批学者和研究

人员围绕Hopfield提出的人工神经网络方法展开了进一步研究，形成

了20世纪80年代中期以来人工神经网络的研究热潮。可是好景不长，经网络网络的研究陷入了第一次低谷

新建DOC文档_20240105130451.pdf1234在20世纪末，支持向量机(SVM)和其他机器学习算法的流行程度逐渐高涨，更重要的是其他机器学习算法在实现效率上远超神经网络。随着PageRank等互联网新兴的算法不断被提出，学者们的研究重心也开始转移到其他机器学习算法上，神经网络的研究热潮又迎来了第二次低

新建DOC文档_20240105130451.pdf谷3.第三阶段Page42006年，Hinton(辛顿)等人利用限制玻尔兹曼机对神经网络的连续层进行建模，使用逐层预训练的方法抽取模型数据中的高维特征，后来又提出了深度信念网络。这一技巧随后被众多学者推广到了许多不同的神经网络架构上，大大地提高了模型在测试集上的泛化效果。同时，随着硬件计算能力和算法的提升，网络隐层可以不断增加，于是以Hinton为代表的研究人员重新将人工神经网络定义为深度学习人工神经网络定义为深度学习，并进行推广。自201l年起，神经网络就在语音识别

新建DOC文档_20240105130451.pdf和图像识别基准测试中获得了压倒性优势，由此迎来了它的第三次高诸多领域的广泛应用。而且由于卷积神经网络的结构非常适合用于识别据的收集也更加容易。在硬件方面，通过高速的GPU并行运算，只需潮。这一次神经网络的高潮与开源运动相结合，衍生了一系列的深度学图像，再结合那些研究成果，所以也重新受到了人们的重视。与第二次几天即可完成深层网络(例如IO层网络)的训练。另外，随着互联网的习开源框架，才有了今天深度学习在无人驾驶、机器翻译、金融风控等崛起时不同的是，在这个时期，硬件已得到了进一步发展，大量训练数普及，我们能够获得大量的训练数据，进而抑制过拟合。这些外界环境

新建DOC文档_20240105130451.pdf的变化也为神经网络的技术进步提供了有力支撑

1Page

Page1

2,

,2

2,

,3

2,

,4

-18THEPROFESSIONALTEMPLATE